《大数据Hadoop基础》课程标准
一、课程说明
课程编码〔37601〕           承担单位〔计算机信息学院〕
制定〔〕                     制定日期〔2022年11月16日〕
审核〔专业指导委员会〕       审核日期〔2022年11月26日〕
批准〔二级学院（部）院长〕   批准日期〔2022年11月28日〕
（1）课程性质：
《大数据应用技术基础》由Hadoop开发基础、分布式存储HDFS开发基础和分布式计算Map Reduce开发基础三部分组成，它是由Apache基金会所开发的分布式系统基础架构，一个能够对大量数据进行分布式处理的软件框架；Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，能够处理PB级数据。从学科性质上讲，它既是大数据技术与应用专业的基础课程，又是大数据技术与应用专业的专业核心课程，它为大数据技术与应用专业后继课程的学习提供必
要的理论与实践基础。
（2）课程任务：
通过本门课程的学习，使学生知道Hadoop框架最核心的设计是:HDFS和Map Reduce；HDFS是部署在Hadoop集的底层为海量的数据提供了存储，而Map Reduce为海量的数据提供了计算；而且能够理解并掌握HDFS文件系统的存储原理、两种访问HDFS文件系统的模式以及理解Hadoop集的计算框架Map Reduce的工作原理，为《Hadoop基础实战》、《数据的可视化》和《Spark数据计算》等课程的学习提供理论依据和实战基础。
（3）课程衔接：
《大数据应用技术基础》的先修课程为《Java程序设计》、《Linux系统管理》等，这些课程的学习将为本课程的学习奠定了理论基础。
《大数据应用技术基础》的后续课程是《Hadoop基础实战》、《数据的可视化》和《Spark数据计算》等，通过该课程的学习可为这些课程内容的学习奠定良好的理论和实战基础，在教学中起到承上启下的作用。
二、学习目标
通过本门课程的学习，首先，使学生知道Hadoop集的基本架构，理解并掌握Hadoop集搭建的三种模式；其次，知道HDFS是部署在Hadoop集的一个分布式文件存储系统，理解并掌握HDFS文件系统的存储原理以及两种访问HDFS文件系统的模式；最后，理解Hadoop集的计算框架Map Reduce的工作原理，并且掌握map Reduce分析年气象数据和英语单词统计，从而提高学生的发现问题、分析问题和解决问题的能力。
1.知识目标
知道《大数据应用技术基础》这门课程的性质、地位和作用以及Hadoop的基础架构；
理解掌握Hadoop集搭建的三种模式；
理解并掌握访问HDFS文件系统的两种模式；
掌握map Reduce分析年气象数据和英语单词统计。
2.能力目标
力求在简洁的基础上使学生能从整体上了解和掌握Hadoop的整
体框架内容体系，培养学生自学能力以及获取计算机新知识、新技术的能力，使学生能够在实际工作和后续学科的学习中灵活、自如地应用Hadoop的基础理论。
3.素质目标
培养对新知识、新技能的学习能力与创新能力；
锻炼学生的自学能力、理解能力和表达能力；
培养学生具有团队合作的精神；
培养学生善于沟通、团结协作和与人为善的处事能力；
引导学生树立科学的世界观，激发学生的求知热情、探索精神、创新欲望以及敢于向旧观念挑战的精神。
三、课程设计
本课程根据能力培养目标的要求，确定学习目标及学习任务内容；具体的学习内容和学时分配如表1。表1学习领域的内容与学时分配
hadoop分布式集搭建
学习单元
Hadoop开发基础
学时
42
学习目标
能力目标
知识目标
素质目标
1.通过本门课程的学习培养学生的实际动手操作能力；
2.通过本门课程的学习锻炼学生的自我学习能力。
1.掌握并理解Linux静态IP的设置以及主机名的设置；
2.了解Linux的常用命令；
3.会使用Linux系统配置ssh免密码配置；
4.掌握在Linux系统上安装和卸载mysql的命令；
5.掌握Hadoop环境配置以及Linux系统JDK的安装。
1.通过本单元内容的学习帮助学生树立良好的时间观念；
2.通过本单元的学习提高学生职业道德和职业素养。
学习内容
内容名称
主要知识点
Linux基础环境
1.Linux设置静态IP地址；
2.修改主机名和映射关系；
3.Linux常用命令；
4.配置本地yum源；
5.ssh免密配置；
6.NTP网络时间服务器。
Linux软件安装
1.Linux系统安装MySQL数据库；
2.Linux系统卸载MySQL数据库；
3.输入法拼音安装。
Hadoop基础环境
1.Linux系统JDK的安装和配置；
2.Hadoop单机分布式配置与测试；
3.Hadoop伪分布式配置与测试；
4.Hadoop完全分布式配置与测试。
教学方法设计
课堂教学以合作学习为主、分小组讨论为主，借助多媒体声像演示，对项目进行演示；在这部分教学内容中注意学生的实际动手操作能力训练，引导学生理论联系实际，应用所学理论解决实际操作问题。
学习单元
分布式存储HDFS开发基础
学时
20
学习目标
能力目标
知识目标
素质目标
1.通过本单元的学习培养学生的独立思考的能力；
2.通过本单元内容的学习能够利用所学知识完成后继课程的学习。
1.熟练HDFS Shell基本命令操作；
2.掌握Hadoop的RPC机制，验证Data Node存储的块信息；
3.会linux环境下使用ecplise以及通过ecplise创建HDFS的Java项目；
4.能够使用HDFS的JavaAPI进行文件移动、创建目录等。
1.通过本单元的学习使学生初步掌握科学的学习方法和良好的学习习惯；
2.通过本单元的学习培养学生注重团队合作精神。
学习内容
内容名称
主要知识点
HDFS Shell命令
1.HDFS Shell基本命令操作（一）；
2.HDFS Shell基本命令操作（二）。
HDFS原理
1.Hadoop的RPC机制；
2.验证Data Node存储的块信息。
HDFSAPI操作
1.Linux下安装eclipse及创建hdfs项目；
2.HDFS Java API操作——创建目录和删除目录；
3.HDFS Java API操作——上传文件和下载文件；
4.HDFS Java API操作——判断文件存在以及文件与目录；
5.HDFS Java API操作——对文件重命名、追加内容或者合并内容及移动。
教学方法设计
采用任务驱动教学方式，激发学生学习兴趣，充分发挥学生的主观能动性。上机试验是本课程的重要教学环节，通过上机动手操作使理论应用于实践中。
学习单元
分布式计算Map Reduce开发基础
学时
58
学习目标
能力目标
知识目标
素质目标
1.通过本单元的学习，使学生能用其理论和方法解决一些实际问题的能力；
2.会用map Reduce
分析实际问题，提高分析与解决问题的能力。
1.理解map Reduce执行原理；
2.理解map和reduce阶段；
3.熟悉统计的原理；
4.熟悉单词统计原理并掌握英语单词统计；
5.熟悉函数的使用和去重原理；
6.掌握分析年气象数据；
7.掌握map Reduce统计封装；
8.掌握map Reduce操作数据。
1.通过本单元的学习培养学生良好的思想品德、心理素质；
2通过本单元的学习培养学生追求真理、严谨求实的科学态度和刻苦钻研的作风。
学习内容
内容名称
主要知识点
MR2Yarn数据流
1.Map Reduce英语单词频数与个数的统计；
2.Map Reduce分析年气象数据平均温度；
3.Map Reduce分析年气象数据最高温度和最低温度；
4.Map Reduce分析学生总成绩报表和各科平均成绩报表。
MR2Yarn调优
Map Reduce统计封装。
MR2YarnShuffle
Map Reduce多条数据去重处理；
Map Reduce非结构日志文件处理。
教学方法设计
课堂教学采取分组教学。贯彻应用启发式、导入式及案例分析的教学方法相结合的原则；本章内容兼顾深度和广度，强调知识的系统性和基础性。
表2课程总体设计
学习单元名称
子单元名称
学习内容
计划学时
单元1：Hadoop开发基础
Linux基础环境
实验一：Linux设置静态IP地址
14
实验二：修改主机名和映射关系
实验三：Linux常用命令
实验四：配置本地yum源
实验五：ssh免密码配置
实验六：ssh服务管理
实验七：NTP网络时间服务器
Linux软件安装
实验一：Linux系统安装MySQL数据库
4
实验二：Linux系统卸载MySQL数据库
实验三：输入法拼音安装
Hadoop基础环境
实验一：Linux系统JDK的安装和配置
28
实验二：Linux系统下HelloWorld
实验三：hadoop单机分布式配置与测试
实验四：hadoop伪分布式配置与测试
实验五：hadoop完全分布式配置与测试
单元2：分布式存储HDFS开发基础
HDFS Shell命令
实验一：HDFS Shell基本命令操作（一）
8
实验二：HDFS Shell基本命令操作（二）
HDFS原理
实验一：Hadoop的RPC机制
实验二：验证Data Node存储的块信息
HDFSAPI操作
实验一：Linux下安装ecplise及创建hdfs项目
12
实验二：HDFS Java API操作-创建目录
实验三：HDFS Java API操作-显示目录列表
实验四：HDFS Java API操作-删除目录
实验五：HDFS Java API操作-判断文件存在
实验六：HDFS Java API操作-目录和文件判断
实验七：HDFS Java API操作-重命名文件
实验八：HDFS Java API操作-文件移动
实验九：HDFS Java API操作-上传文件
实验十：HDFS Java API操作-下载文件
实验十一：HDFS Java API操作-本地文件合并
实验十二：HDFS Java API操作-追加内容

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。