1、主导和参与爬虫系统的架构设计、开发与优化；
2、研究优化爬虫算法，提升爬虫系统的稳定性、可扩展性；
3、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
4、能独立解决实际开发过程中碰到的各类问题；
5、负责大数据产品所需的信息抓取、解析、清洗等研发与优化工作。