岗位职责： 1.系统设计：优化和升级现有爬虫架构，加强核心技术研究与开发，钻研前沿爬虫技术并实践； 2.系统开发：设计与开发爬虫核心搜索策略、算法； 3.项目设计：根据需求合理高质量的设计底层数据库结构，保证扩展性，可维护性以及性能需求； 4.项目开发：确保分配的项目任务按时，按质量完成； 5.系统维护：不定期检查和维护爬虫系统，及时解决问题； 6.文档编写：负责编写项目和系统开发工程中所需要的各类文档。 岗位要求： 1.全日制统招本科及以上学历，计算机相关专业； 2.精通Java开发，精通SpringMVC、SpringBoot、SpringCloud等开源框架，了解原理和机制； 3.熟练掌握分布式系统的设计和应用； 4.熟练掌握Reids缓存、Kafka等消息中间件，能对分布式常用技术进行合理利用，解决实际问题； 5.熟练掌握微服务开发流程，掌握多线程等高性能的设计与编码方法； 6.具备良好的文字功底和排版能力，能完成结构清晰、编排合理的技术文档； 7.熟练掌握HTTP协议和各种Web前端技术（HTML/JavaScript/AJAX等）； 8.至少熟练掌握并使用过一种爬虫架构，如Scrapy、Gocolly、Webmagic等； 9.具备丰富反反爬经验，有独立处理账号限制、复杂验证码、数据加密等疑难问题的能力