岗位职责:
1.编写抓取互联网内容的爬虫,攻克反爬网站;
2.数据抽取核心算法的编写与优化,提升爬虫抓取效率和质量;
3.抓取策略算法的更新维护,以及确保数据抽取准确、高效。
任职要求:
1.本科专业以上学历;
2.熟悉多线程、多进程、网络通信编程相关知识;
3.熟练使用python nodeJs 进行爬虫开发,scrapy爬虫框架,puptter,selenium动化测试及phantomJS;
4.掌握JavaScrip、HTML、XML、CSS技术,熟悉网页抓取原理及技术,熟悉正则表达式,从结构化的和非结构化的数据中获取信息;
5.具有js逆向,app逆向相关经验。熟悉js hook 原理 ,熟悉各种反爬风控常见手段;
5.具有团队合作意识,对本职工作认真负责,有较强的组织协调和沟通能力。