一、岗位职责：
1. 负责执行和开发分网络爬虫系统，进行多平台信息的抓取和分析；

2. 负责网页信息和APP数据抽取、清洗、消重等工作，提升平台的抓取效率；

3. 设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；

4. 实时监控爬虫的进度和警报反馈；

5. 精通selenium，对于web自动化有开发经验；
二、任职要求：
1. 专科及以上学历，1年以上爬虫开发相关经验，熟练使用Python进行开发， 并且熟练操作linux系统；

2. 熟练使用正则表达式、pyquery、xpath等，能够从结构化的和非结构化的数据中获取信息；

3. 熟练掌握redis、mongodb等常用nosql技术并具有实战经验；

4. 熟悉各种抓取技术，包括代理、selenium、验证码处理等；

5. 熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验；

6. 具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先；

7. 快速学习能力，工作积极主动，有创业热情和良好的团队协作能力
2、

三、薪资待遇：
1、6000——10000
2、弹性工作、年终奖金、周末双休、带薪年假、五险一金、节日福利