岗位职责：

1.负责设计和开发网络爬虫系统，进行多平台信息的抓取和分析工作；

2.负责网页信息和APP数据抽取、清洗、消重等工作，提升平台的抓取效率；

3.参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；

4.实时监控爬虫的进度和警报反馈；

任职要求：

1.熟悉Linux系统，掌握Python；

2.了解多线程、多进程、网络通信编程相关知识，有数据挖掘经验；

3.掌握网页抓取原理及技术，了解基于Cookie的登录原理，熟悉基于正则表达式、XPath、CSS等网页信息抽取技术；

4.熟悉APP模拟及接口验签破解技术，了解APP用户授权访问机制，掌握Selenium，APP破解技术优先；

5.做过数据处理、ETL等相关工作优先。