《H a d o o p》实验教学大纲
课程代码：
实验学时：16
先修课程：《大数据导论》
一、目的要求
目的：使学生能够掌握大数据平台Hadoop的基本概念，并根据Hadoop处理大批量数据集的存储与分析计算，掌握调试程序的基本技巧，初步了解大数据开发所要经历的阶段，为学生从事大数据开发和数据处理工作打下坚实的基础。
要求：熟悉Linux系统和Java se编程，根据实验内容和要求，认真完成程序编写、上机调试、运行结果分析，书写实验报告。
二、实验项目内容及学时分配
实验一、Linux及虚拟机安装搭建（3学时）
1.实验目的要求
（1）安装VMware虚拟机；
（2）通过VMware虚拟机编译、安装Linux CentOS系统。
2.实验主要内容
通过在计算机系统上编译和安装Linux系统环境，为Hadoop软件安装和搭建提供工作环境。
3.实验类别：基础
4.实验类型：验证
5.实验要求：必做
6.主要仪器：微型计算机
实验二、Hadoop的安装搭建（3学时）
1.实验目的要求
掌握大数据核心框架Hadoop的安装和部署，包括伪分布式集的安装部署和完全分布式的安装和部署。
2.实验主要内容
通过上机在Linux系统环境进行Hadoop平台的安装和部署，完成大数据分布式处理平台的搭建。
3.实验类别：基础
4.实验类型：验证
5.实验要求：必做
6.主要仪器：微型计算机
实验三、HDFS Shell应用（3学时）
1.实验目的要求
（1）掌握分布式文件存储与管理系统hdfs的数据上传与下载命令；
（2）掌握hdfs文件增删改查等操作命令；
（3）掌握分布式系统hdfs的运行原理。
2.实验主要内容
（1）hdfs hadoop put get mkdir ls 等命令的使用
（2）NameNode datanode的作用及原理
3.实验类别：基础
4.实验类型：设计
5.实验要求：必做
6.主要仪器：微型计算机
实验四、MapReduce编程（3学时）
1.实验目的要求
（1）正确使用MapReduce编程；
（2）MapReduce编程的编程格式；
（3）“WC”编程；
2.实验主要内容
（1）MapReduce固定格式语法编程，map编程、reduce编程
（2）自定义函数编程，UDF、UDAF等函数编程
3.实验类别：专业基础
4.实验类型：设计
5.实验要求：必做
6.主要仪器：微型计算机
实验五、MapReduce数据倾斜等优化（4学时）
1.实验目的要求
（1）掌握MapReduce编程的优化；
（2）熟练掌握数据倾斜等MapReduce任务问题的优化。
2.实验主要内容
（1）数据集特殊值问题的处理
（2）数据清洗的原则、MapReduce编程规范
3.实验类别：专业基础
4.实验类型：设计
5.实验要求：必做
6.主要仪器：微型计算机hadoop安装与使用实验报告
三、考核方式
1、实验成绩：预习10%、操作过程40%、实验报告40%、实验记录10%
2、无期中抽考、有实验的课程最终成绩=平时成绩×0.1+实验成绩×0.2+期末考试成绩×0.7。
3、有期中抽考、有实验的课程最终成绩=平时成绩×0.1+实验成绩×0.2+抽考成绩×0.1+期末考试成绩×0.6。
4、考试课按百分制统计课程最终成绩。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。