217
1 引言
随着计算机技术与互联网技术的发展,数据呈现出爆发式的增长,根据著名咨询机构互联网数据中心的预测,人类社会产生的数据以每年50%的速度增长,也就是说,大约每两年就增加一倍,2020年全球总共拥有35ZB 的数据量[2]。面对如此巨大的数据量,需要使用新技术对其采集、存储、处理以及分析,从而得到有价值的数据,这一系列的过程产生了大量的人才需求,高职院校为了培养相关人才纷纷申报了大数据专业,但因大数据专业为新兴专业,师资力量储备不足、教师经验不足,而大数据涵盖的知识技术广、难度大,高职院校学生在校学习时间短等等。如何通过调整课程体系设置,增强大数据技术与应用专业课程之间的关联性、整合力,促进高职学生就业等是高职院校研究的重点。2 问题分析
以下通过学情、岗位、技术三个层面分析高职院校大数据技术与应用专业课程设置需综合考虑的问题。
2.1 学情分析
高职院校学生学制3年,但在校时间一般2年,2年中需要安排基本素质课、专业通识课、专业核心课和专业拓展课,时间有限,安排的课程即有限。但是大数据囊括的技术非常多,难度也大,课程设置时要
考虑课程设置的贯通性、整合性。
2.2 就业岗位业务需求分析
通过对各大招聘网站调研,发现面向高职院校招聘的大数据相应岗位主要包括大数据开发、大数据运维、大数据分析与挖掘[1],分别占比67.5%、24%、5%。相应岗
位的工作任务和知识技能要求如表1所示。综合分析就业岗位、工作任务及知识技能要求,学生应掌握的知识包括:Linux 平台应用、编程语言Java 及Python 的使用、Hadoop 集及相关组件的安装、部署及应用等[3-4]。课程设置时应注意课程之间的衔接性、整体性,避免重复性,例如数据库学习可以有SQLServer、Oracle、MySQL 等,但是从整体性考虑MySQL 在整个课程体系中使用更广泛、衔接性更好。
表1 大数据就业岗位表
就业岗位
工作任务
知识技能要求
大数据开
发工程师
数据清洗,数据平台各系统的性能分析与系统优化
1、掌握Hadoop 集的搭建部署;
2、熟悉Hadoop 生态体系,包括HDFS/、MapReduce/Yarn/Hive/
YARN/Spark/Pig/Impala/Storm 等;
3、熟悉数据库MySQL、NoSQL(Redis,Mangodb,HBase);
4、熟悉Linux 系统,精通Java 及Shell/Python/Perl 一种语言。
大数据运维工程师
大数据平台搭建、维护、优化、管理、监控,保障大数据平台安全、稳定、可靠运行。
1、掌握Linux 的配置、管理及优化;
2、熟悉 Hadoop、Hive、Hbase、Yarn、Spark、Storm 等组件的
原理及运维方式;
3、掌握 Hadoop 集的部署、配置、维护;
4、掌握shell、python 等语言,能开发相关运维工具。大数据分析与挖掘工程师
根据业务需求进行数学建模,应用机器学习、数据挖掘技术进行数据分析与数据挖掘。
1、熟悉Linux;
2、熟练运用 Java/Python/R/Scala 等编程语言;
3、熟悉 Hadoop/Spark/Storm 等大数据处理开源框架;
4、具备一定的自然语言处理、机器学习、数据挖掘理论和技术基础,熟悉分类、聚类、关联规则挖掘、协同过滤等常用机器学习和数据挖掘算法;
5、熟悉爬虫技术,能运用相关开发语言完成爬虫任务。
对高职院校大数据技术与应用专业课程体系设置的
几点建议
耿 学
(山东工业职业学院 山东 淄博 256414)
【摘要】近几年,各高职院校纷纷申报大数据技术与应用专业,但是鉴于新专业涉及技术面广、技术新,师资力量配备不充分等情况,院校对该专业的课程设置等还停留在探索阶段,课程体系设置的系统性、整体性、衔接性不足。本文从学情、职位、技术三个层面对大数据技术与应用专业进行分析,对合理设置课程体系提出几点建议。【关键词】大数据;课程体系;人才培养
【中图分类号】G434 【文献标识码】A 【文章编号】1009-5624(2021)01-0217-02必须要针对目前我国的计算机网络技术的发展实际情况,选择合适的方式开展相关的网络信息技术研讨会,增强用户的安全防范意识,加强计算机网络信息安全的有效防范,建立健全相应的网络信息安全体系,逐步地为保证国家的社会公共利益提供一定的后续支撑。【参考文献】
[1]李昊林.计算机网络安全技术与防范措施探讨[J].数码世界,2020(2):258-258.
[2]朱慧超,谢新屋.计算机网络安全问题及其防范措施研究[J].信息与电脑,2019(12):225-226.
[3]董朝贤.计算机网络应用安全问题与影响因素分析[J].电脑知识与技术,2019,15(14):12-13,18.
[4]苗伟.计算机网络安全技术与防范措施探讨[J].电脑知识与技术,2019,15(5):42-43,53.
作者简介:张淑杰(1987- ),女,河北唐山,本科,助理工程师,研究方向:计算机科学。
218
2.3 大数据技术分析
从大数据分析角度来说,典型的大数据分析过程包括:数据采集与预处理、数据存储与管理、数据处理与分析、数据可视化;这些分析过程中涵盖的相关技术既包含底层的操作系统(Linux、Windows)、网络技术,还包含编程语言(Java、Python、R、Scala、C),包含Hadoop生态体系(HDFS、MapReduce、HBase、Hive、Zookeeper、Pig、Flume、Sqoop、Mahout、Ambari 等)(见图1所示)、Spark 生态系统(Spark Core、SparkSQL、SparkStreaming、MLib 等)(见图2所示),数据采集工具Kettle、可视化技术ECharts 等。面对如此多的技术,如何合理安排课程以衔接人才培养方
案,也是需要考虑的内容。
图1 图2
3 建议
综上所述,高职大数据技术与应用专业所需掌握的技术多、难度大、时间短,在课程设置方面应注重课程的衔接性、整体性,避免重复性:
3.1 注重课程选择的系统性,避免课程重复
前面所述,大数据专业涉及技术广、选择性也多,所以课程设置时要根据人才培养定位总体把握,避免出现课程重复的情况,例如,数据库课程开设的是SQLServer,而在Hadoop 学习时更多是使用Linu
x 平台,在Linux 平台上连接数据库优选MySQL,这样就造成了课程之间的脱节、重复。
大数据专业的人才定位是大数据开发、运维、分析与挖掘,那么面对Java、C 语言、C++、Scala、Python、R 语言等大数据中常用的编程语言,如何进行选择?根据学生学习时间及相近课程最少化原则,Java 及Python 是最好的选择,Hadoop 是Java 语言开发,若要使用其核心组件HDFS 及MapReduce 进行大数据存储及处理,掌握Java 语言更方便,开发的程序也更稳定;进行大数据开发必须要掌握一门web 开发技术,那目前比较流行的是PHP 和JavaWeb,JavaWeb 和Java 是一个体系,开设JavaWeb,学生学习既可以达到深化的目的又可以形成整体的知识架构,而PHP 是新课程,学生学习会有抵触的心理,而且构建的知识会比较零散。此外,选择性比较多的还有数据库,数据库有SQLServer、MySQL、Oracle,SQLServer 早期产品只适用于Windows,Oracle 是收费软件,MySQL 开源免费,MySQL 无论是在Java Web 保存数据还是在Hive 元数据存储方面都更胜一筹。
3.2 注重课程之间的衔接性,避免知识断层
第一学期可开设计算机文化基础、网络技术、Java 程序设计课程,培养学生大数据平台搭建以及数据处理的专业基础知识技能;第二学期可开设大数据概论、MySQL 数据库、Linux 操作系统以及HTML 等课程,培养学生平台
应用以及数据存储专业知识技能;第三学期进入专业核心课程学习,开设Python、数据清洗、JavaSc
ript、Hadoop 大数据技术与应用等,培养学生的大数据采集、清洗、分析、展示各阶段的专业技能;第四学期进入专业知识拔高以及综合运用阶段,可开设Spark 编程提高大数据处理速度,开设Hbase 进行大数据查询等,见表2所示。
表2 大数据技术与应用专业课程设置
课程分类
课程名称
学期
一
二
三
四
python大数据就业前景专业基础课
计算机文化基础1计算机网络技术1Java 程序设计1
大数据概论
1MySQL 数据库1Linux 操作系统1HTML5网页设计1
JavaWeb 程序设计
1JavaScript 程序设计1专业核心课
Python 编程和网络数据爬取
1Hadoop 大数据技术与应用
1数据清洗1
Spark 编程
1OpenStack 云计算平台1数据可视化技术
1Hbase 1大数据项目实战
1
3.3 注重课程的整体性,避免课程覆盖多而杂
Hadoop 生态系统和Spark 生态系统包含诸多组件,数据采集有爬虫、flume 采集等,但教学中不能就每个技术逐个详细讲解,所以课程设置时要综合考虑就业岗位知识技能需求以及课程之间的贯通性。4 结语
大数据技术与应用专业作为新兴专业,其在专业课程设置方面应该经过充分的调研论证,以知识点为抓手,以应用为目的,强化课程体系的整合建设,推动高职院校的办学能力。【参考文献】
[1]涂家海.以大数据技术与应用为方向的计算机应用技术专业课程体系研究[J].电脑知识与技术,2019,15(28):168-170.[2]向冲.高职“大数据”人才培养研究[J].科教导刊,2014(12):32-33.
[3]孙凤娇,赵晶晶,郭相臣,等.高职院校大数据专业人才培养研究与实践[J].科技与创新,2019(12):94-95,97.[4]李翔宇,李瑞兴.高职大数据应用人才培养模式探究[J].兰州教育学院学报,2017(12):86-88,90.
作者简介:耿学(1986- ),女,山东淄博,硕士,助教,研究方向:大数据、云计算、软件开发。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论