全国职业院校技能大赛
赛项规程
一、赛项名称
赛项编号：GZ-2021041
赛项名称：大数据技术与应用
英文名称：Big Data Technology And Application
赛项组别：高职
赛项归属：电子信息大类
二、竞赛目的
为推进实施国家大数据战略，进一步落实国务院《关于促进大数据发展行动纲要》（国发[2015]50号）以及2021年政府工作报告中“加快数字化发展，打造数字经济新形态，协同推进数字产业化和产业数字化转型，加快数字社会建设步伐，提高数字政府建设水平，营造良好数字生态，建设数字中国。”等要求，
不断推进大数据专业人才培养，建立健全多层次、多类型的大数据人才培养体系。
本赛项旨在结合当前大数据行业中技术要求，通过大赛让参赛选手熟悉一个大数据项目中各个环节的实现过程。通过竞赛来检验教学水平，引领和促进职业教育教学改革，促进与世界最新水平接轨，营造崇尚技能的社会氛围。
通过大赛培养参赛选手在企业真实项目环境下进行大数据平台部署管理、数据采集与处理、数据清洗与挖掘分析、数据可视化及综
合分析的能力；同时培养选手的理解力、沟通力、抗压力、6S规范等职业素质；激发学生自主学习能力和解决问题能力，以达到“以赛促学、以赛促教、以赛促改”目的。
赛项围绕大数据产业各个岗位的实际需求和要求进行设计，通过大赛搭建校企合作的平台，深化产教融合，推进产教融合人才培养模式，提升大数据技术与应用专业及其他相关专业毕业生能力，同时大赛将促进相关教材、资源、师资、认证、实习就业等全面建设，推动院校和企业联合培养大数据人才，加强学校教育与产业发展的有效衔接，促进职业院校信息类相关专业共同发展，为国家战略规划提供大数据领域的高素质技能型人才。
三、竞赛内容
（一）选手需具备能力
本赛项基于企业真实项目和工作模块，结合企业岗位对学生职业技能的最新需求，在规定的时间内完成指定大数据模块。其中，主要考核参赛选手在大数据平台部署管理、数据采集与处理、数据清洗与挖掘分析、数据可视化及综合分析等方面技能。此外，竞赛同时考核参赛选手工作组织和团队协作能力、沟通和人际交往能力、解决问题能力以及致力于紧跟行业发展步伐的自我学习能力。
本项目竞赛内容通过对技能实操表现来评估知识理解以及技能的熟练程度，将不再另外举行知识及理解性质的理论测试。
（二）竞赛模块
1.竞赛时间
竞赛总时长为8小时。各竞赛队在规定的时间内，独立完成“竞赛内容”规定的竞赛模块。
2.竞赛内容
本竞赛结合国内行业、企业的实际业务模型；本竞赛只考核技能部分，不涉及理论。本竞赛进行的技能实操考核，涉及大数据平台及组件的部署管理、数据采集与处理、数据清洗与挖掘分析、数据可视化、综合分析。
python 爬虫教学备注1：关于最终赛题将由专家组讨论决定。其中，各模块的详细内容描述如下：（1）Hadoop平台及组件的部署管理
依据大数据Hadoop平台的技术特点能够独立下载、解压、安装Hadoop不同版本的介质。能够对不同版本的Hadoop介质进行文件参数配置，日志查看、状态查看、服务启动、组件部署、组件管理等。
参赛选手需要掌握以下并不仅限于以下技能：
根据需求解压一个Hadoop版本
根据需求设置一个Hadoop环境变量
根据需求配置相关Hadoop环境文件
根据需求配置相关Hadoop环境状态
根据需求管理相关Hadoop环境启停
根据需求部署Hive组件
根据需求管理Hive组件
根据需求应用Hive组件
根据需求部署HBase组件
根据需求管理HBase组件
根据需求应用HBase组件
根据需求部署Sqoop组件
根据需求管理Sqoop组件
根据需求应用Sqoop组件
根据需求部署Kafka组件
根据需求管理Kafka组件
根据需求应用Kafka组件
根据需求部署Flume组件
根据需求管理Flume组件
根据需求应用Flume组件
根据需求部署Spark组件
根据需求管理Spark组件
根据需求应用Spark组件
根据需求部署Zookeeper组件
根据需求管理Zookeeper组件
根据需求应用Zookeeper组件
（2）数据采集与处理模块
利用Chrome浏览器查看网页源码、分析网站网页结构。按照要求使用Python语言编写爬虫代码、爬取指定数据项；综合利用ETL 工具对企业数据进行采集，并对采集结果数据集进行数据探索、以及必要的处理操作。
参赛选手需要掌握以下并不仅限于以下技能:
能够按要求对网页源码进行分析
能够按要求分析出网页结构
能够创建爬虫项目框架
能够按要求构建爬虫请求
能够按要求定义相关字段
能够按要求获取有效数据
能够将爬取到的数据保存到本地
能够将爬取到的数据保存到指定Mysql

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。