《互联网数据采集》课程标准
一、课程名称
互联网数据采集。
二、适用专业
大数据技术应用专业。
三、课程学时与学分
72学时，4学分。
四、课程性质
本课程是大数据技术应用专业的一门专业核心课程，是从事数据采集工程师、数据分析师等岗位必须学习的课程，将为后续学习《数据清洗与预处理》、《数据可视化》、《大数据分析》、《大数据ETL》等课程奠定基础。本课程开设在第3学期，学习该课程之前需具备一定的Python编程、数据库操作能力，《大数据基础》、《计算机网络技术应用基础》、《Python程序设计基础》、《web前端技术应用》
是该课程的前导课程。本课程学习的知识和技能可以为第4学期考取数据采集X证书（初级）做知识和技能准备。
五、课程目标
通过本课程的学习，能完成热点舆情数据采集任务、农产品营销数据采集任务、招聘网站数据采集任务、农作物监控数据采集任务，达到以下具体目标：
（一）素养目标
1. 培养社会主义核心价值观、爱国主义情操、家国情怀。（培养规格1）
2. 能够熟练掌握互联网数据采集的相关知识与技能，了解大数据产业文化，遵守国家数据相关法律法规，具备社会责任感和担当精神。（培养规格3）
3. 遵守互联网安全伦理规范，防范信息泄露，保护数据安全。（培养规格6）
4. 具备数据思维、数字化素养，具有较强的逻辑思维能力。（培养规格8）
5. 具备良好的自我管理能力，拥有较为清晰的职业与人生目标以及较好的职业生涯规划能力。（培养规格2）
6. 具备主动学习的意识与能力，能适应大数据行业的不断变革发展，具备解决实际问题、持续学习的能力，能从事实际的数据采集工作，具有较强的规划观念、精益求精意识。（培养规格5）
（二）知识目标
1. 了解数据采集在大数据分析流程中的重要作用。（培养规格13）
2. 掌握数据采集项目的行业企业规范流程。（培养规格7）
3. 了解数据采集的定义、数据采集的类型和主要实践工具，掌握互联网数据采集的流程。（培养规格13）
4. 掌握HTML语言的基础知识，熟悉HTML语言的常用标签。（培养规格13）
5. 了解计算网络的基础知识，掌握HTTP协议的GET、POST请求。（培养规格11）
6. 了解正则表式的基础语法，掌握使用正则表达式匹配字符串的方法。（培养规格11）
7. 掌握Xpath的语法规则，了解JavaScript的工作机制。（培养规格11）
8. 掌握八爪鱼等数据采集工具的应用流程和操作步骤。（培养规格11）
9. 掌握Python语言的re库、requests库、Pandas库、JSON库BeautifulSoup库的安装、配置和使用方法。（培养规格11）
10. 了解静态数据采集和动态数据采集的异同点，掌握处理动态数据采集的方法。（培养规格13）
11. 了解常见的反爬手段，根据反爬手段制定相应的反爬虫策略。（培养规格13）
12. 掌握简单的数据预处理方法，基于处理数据绘制简单的可视化图形。（培养规格17）
（三）能力目标
1. 能够基于数据采集项目需求分析，规划数据采集顶层设计，制定相数据采集策略。（培养规格13）
2. 能够使用八爪鱼数据采集工具完成简单的互联网数据采集任务。（培养规格13）
3. 能够使用Python语言及第三方库编写数据采集程序，完成多种类型的数据采集任务。（培养规格13）
4. 能够使用Python第三方库完成简单的数据预处理并进行数据核验。（培养规格16）
5. 能够基于采集处理后的数据规划可视化看板，提供解决方案。（培养规格17）
6. 能够独立分析、解决互联网数据采集项目中的技术问题，能够快速准确参考技术资料帮助解决问题。（培养规格13）
7. 能够按照规范编写项目需求文档、项目实施文档以及相关技术文档。（培养规格3）python 爬虫教学
8. 能够独立完成互联网数据采集项目的设计、开发以及测试等工作。（培养规格13）
9. 具备考取大数据采集X证书（初级）的能力。（培养规格13）
六、课程内容与要求
本课程以各种不同类型的数据采集任务为载体，坚持立德树人的根本要求，结合学生学习特点，遵循职业教育人才培养规律，落实课程思政要求，有机融入思想政治教育内容，紧密联系工作实际，突出应用性和实践性，注重学生职业能力和可持续发展能力的培养。合理设计：学习单元、能力点、学习内容与要求。
本课程按照知识难度和工艺流程从简单到复杂，技能水平从单一技能到综合技能、技术沿革从传统技术到智能技术的规律确定学习单元的编排顺序，合理序化教学内容。学习单元1、2、3、4在知识体系上是并列关系，在难易度上是递进关系。
表1 课程内容与要求
七、课程实施
（一）师资队伍
1.专任教师
职业能力：具备优秀的专业课教学开展与组织能力，掌握计算机网络技术、Python编程能力、网络爬虫使用能力，能够以情境任务要求爬取数据。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。