职位描述
岗位职责：
1. 负责采集公开数据，一些相关信息的提取，优化爬虫策略，进行多平台信息的抓取和分析
2. 设计爬虫策略和防屏蔽规则，完成对复杂网站的信息抓取
3. 参与业务功能需求探讨，数据分析处理落地，并提供后端接口
4.优先考虑会逆向手段来突破一些反爬措施，包括但不限于cookie信息认证，参数加密，响应数据加密等等
任职资格：
1. 熟悉 web抓取原理及技术，熟悉常用的爬虫网络框架及重要组件；
2. 熟悉 Python编程语言，熟练掌握 MySQL、Redis、MongoDB等数据库的使用
3. 了解常见的反爬机制，能够破解常见的反爬机制，有对常见的验证码的逆向经验
4. 了解抓包调试技巧，突破抓包验证
5. 具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于分析问题解决问题