爬虫工程师岗位职责
一、爬虫工程师职责
1、负责网站爬虫开发及运行管理工作；
2、收集、整理各类信息，例如政府新闻、公司报道等；
3、根据客户需求分析、设计爬虫程序；
4、参与爬虫结果数据的清洗、分析及展现；
5、构建爬虫程序的可扩展性和稳定性，并建立数据收集系统；
6、根据客户需求，优化收集的数据，协助客户提供更好的服务人；
7、对已抓取数据进行定期检查及质量控制，保证数据的可靠性及安全性；
8、监控运行中的爬虫，保证爬虫的稳定性，深入分析爬虫系统在不同条件下的运行情况；
9、根据爬虫的需求，实施爬虫项目的重构以及性能优化；
10、负责编写及维护爬虫文档，以及可供管理人员和领导使用及查看的报表；
11、完成相关领导给定的其他工作任务。
python爬虫开发
二、爬虫工程师要求
1、熟练掌握Python编程语言，有Scrapy爬虫开发实践经验者优先；
2、熟练掌握基础Web前端技术，HTML/CSS/Javascript/AJAX等；
3、有引擎优化和数据挖掘经验或者经验者优先考虑；
4、有较强的系统分析能力和建模能力，熟练使用MySQL、Oracle等常用数据库；
5、有较强的文字功底。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。