1、负责数据中心的数据采集与爬取、解析处理、入库及备份等数据日常工作;
2、负责分析新的数据需求, 评估数据采集难度,安排采集工作及时交付;
3、负责数据的清洗、整理、整合及合并等工作;
4、负责数据中心团队的规划与管理工作 。
1、计算机、互联网相关专业大专以上学历,有数据采集相关工作经验。
2、精通一种或几种主流的数据采集工具优先,如八爪鱼采集器等。
3、精通网页抓取原理及技术、正则表达式、xpath,能够从结构化的和非结构化的数据中获取信息;
4、至少熟悉一种关系型数据库,如Mysql、Oracle、MSSQL等;
5、良好的沟通能力和团队合作精神,有团队管理工作经验优先考虑。