《Hadoop大数据技术》实验教学大纲
一、课程基本情况
课程代码： 1041139
课程名称：Hadoop大数据技术/Hadoop Big Data Technology
课程类别：专业必修课
总学分：3.5
总学时：56
实验/实践学时：24
适用专业：数据科学与大数据技术
适用对象：本科
先修课程：JAVA程序设计、Linux基础
二、课程简介
《Hadoop大数据技术》课程是数据科学与大数据技术专业的专业必修课程，是数据科学与大数据技术的交叉学科，具有极强的实践性和应用性。《Hadoop大数据技术》实验课程是理论课的延伸，它的主要任务是使学生对Hadoop平台组件的作用及其工作原理有更深入的了解，提高实践动手能力，并为Hadoop大数据平台搭建、基本操作和大数据项目开发提供技能训练，是提高学生独立操作能力、分析问题和解决问题能力的一个重要环节。
三、实验项目及学时安排
序号
实验/实践项目名称
java学习资源
实验学时
实验
类型
每组
人数
实验要求
对应的课程教学目标
1
实验一 Hadoop环境搭建
4
综合性
1
必做
5
2
实验二 通过API和Shell访问HDFS
4
验证性
1
必做
2
3
实验三 MapReduce基础编程与WordCount程序
4
验证性
1
必做
1、2
4
实验四 HBase的安装与配置、Shell访问与Java API访问
4
综合性
1
必做
1
5
实验五 基于Local模式的Hive环境搭建和常用操作
2
验证性
1
必做
1
6
实验六 Flume的安装与基本使用
2
验证性
1
必做
6
7
实验七 Sqoop的安装与基本使用
4
验证性
1
必做
6
合计
24
四、实验内容
实验一  Hadoop环境搭建实验
实验目的：
1.掌握Hadoop伪分布式模式环境搭建的方法；
2.熟练掌握Linux命令（vi、tar、环境变量修改等）的使用。
实验设备：
1.操作系统：Ubuntu16.04 
2.Hadoop版本：2.7.3或以上版本
实验主要内容及步骤：
1.实验内容
在Ubuntu系统下进行Hadoop伪分布式模式环境搭建。
2.实验步骤
（1）根据内容要求完成Hadoop伪分布式模式环境搭建的逻辑设计。
（2）根据设计要求，完成实验准备工作：关闭防火墙、安装JDK、配置SSH免密登录、Hadoop安装包获取与解压。
（3）根据实验要求，修改Hadoop配置文件，格式化NAMENODE。
（4）启动/停止Hadoop，完成实验测试，验证设计的合理性。
（5）撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。
实验二（1）  Shell命令访问HDFS实验
实验目的：
1.理解HDFS在Hadoop体系结构中的角；
2.熟练使用常用的Shell命令访问HDFS。
实验设备：
1.操作系统：Ubuntu16.04 
2.Hadoop环境：已部署的Hadoop2.7.3或以上版本
实验主要内容及步骤：
1.实验内容
（1）练习常用hdfs操作命令
（2）练习常用hdfs管理命令
（3）命令的综合运用
2.实验步骤
（1）根据内容要求完成实验的逻辑设计。
（2）根据设计要求，完成实验数据准备工作。
（3）根据实验要求，练习利用常用hdfs操作命令和管理命令操作实验数据。
（4）命令的综合运用，完成实验测试，验证设计的合理性。
（5）撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。
实验二（2）  通过API访问HDFS实验
实验目的：
1.理解HDFS在Hadoop体系结构中的角；
2.熟悉通过Java API访问 HDFS。
实验设备：
1.操作系统：Ubuntu16.04 
2.Hadoop环境：已部署的Hadoop2.7.3或以上版本
3.JDK版本：1.8或以上版本
4.开发环境：Eclipse/IDEA、Maven
实验主要内容及步骤：
1.实验内容
练习通过Java API访问 HDFS
2.实验步骤
（1）根据内容要求完成Java API访问 HDFS的逻辑设计。
（2）根据设计要求，完成实验准备工作。
（3）根据实验要求，采用Eclipse/IDEA创建Maven工程。
（4）调用Hadoop HDFS的Java API编写程序，完成实验测试，验证设计的合理性。
（5）撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。
实验三  MapReduce基础编程与WordCount程序实验
实验目的：
1.熟练理解和掌握MapReduce编程模型
2.调用MapReduce的Java API编写wordcount程序
实验设备：
1.操作系统：Ubuntu16.04 
2.开发环境：Eclipse/IDEA、Maven
3.Hadoop环境：已部署的Hadoop2.7.3或以上版本
实验主要内容及步骤：
1.实验内容
利用Hadoop Mapreduce相关Java API编写wordcount程序对输入文件统计单词频率。
2.实验步骤
（1）根据内容要求完成Java API访问Mapreduce统计单词频率程序的逻辑设计。
（2）根据设计要求，完成实验数据准备工作。
（3）根据实验要求，采用Eclipse/IDEA创建Maven工程。
（4）调用Hadoop Mapreduce的Java API编写程序，完成实验测试，验证设计的合理性。
（5）撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。
实验四（1）  HBASE的安装与配置实验
实验目的：
1.掌握HBase的伪分布式模式的搭建。
实验设备：
1.操作系统：Ubuntu16.04 
2.Hadoop环境：已部署的Hadoop2.7.3或以上版本
3.JDK版本：1.8或以上版本
4.Hbase安装包：hbase-1.3.
实验主要内容及步骤：
1.实验内容
完成HBase的伪分布式模式搭建。
2.实验步骤
（1）根据内容要求完成HBASE伪分布式模式搭建的逻辑设计。
（2）根据设计要求，完成实验准备工作。
（3）根据实验要求，修改HBASE配置文件。
（4）完成HBase伪分布式搭建，完成实验测试，验证设计的合理性。
（5）撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。
实验四（2）  Shell访问HBASE实验
实验目的：
1.掌握HBase Shell常用指令的使用。
实验设备：
1.操作系统：Ubuntu16.04 
2.Hadoop环境：已部署的Hadoop2.7.3或以上版本
3.JDK版本：1.8或以上版本
4.Hbase环境：已经搭建好的HBase1.3.1伪分布式环境
实验主要内容及步骤：
1.实验内容
利用HBase Shell常用指令访问HBASE。
2.实验步骤
（1）根据内容要求完成Shell访问HBASE的逻辑设计。
（2）根据设计要求，完成实验准备工作。
（3）根据实验要求，完成Shell访问HBASE实验，完成实验测试，验证设计的合理性。
（4）撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。
实验四（3）  通过Java API 访问HBase实验
实验目的：
1.掌握常用的HBase Java API。
实验设备：
1.操作系统：Ubuntu16.04 
2.Hadoop环境：已部署的Hadoop2.7.3或以上版本
3.JDK版本：1.8或以上版本
4.Hbase环境：已经搭建好的HBase1.3.1伪分布式环境
实验主要内容及步骤：
1.实验内容
利用Hbase相关Java API编写程序操作HBASE数据库。
2.实验步骤
（1）根据内容要求完成Java API访问HBASE数据库程序的逻辑设计。
（2）根据设计要求，完成实验准备工作。
（3）根据实验要求，采用Eclipse/IDEA创建Maven工程。
（4）调用Hbase的Java API编写程序，打包运行完成实验测试，验证设计的合理性。
（5）撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。
实验五（1）  采用Local模式搭建Hive环境实验
实验目的：
1.掌握Hive的环境搭建方法。
2.采用Local模式搭建Hive。
实验设备：
1.操作系统：Ubuntu16.04 
2.Hadoop环境：已部署的Hadoop2.7.3或以上版本
3.JDK版本：1.8或以上版本
4.Hive版本：hive-2.3.3
实验主要内容及步骤：
1.实验内容
采用Local模式搭建Hive
2.实验步骤
（1）根据内容要求完成Local模式搭建Hive环境的逻辑设计。
（2）根据设计要求，完成实验准备工作。
（3）根据实验要求，完成Mysql数据库安装与配置。
（4）完成Hive安装与配置，完成实验测试，验证设计的合理性。
（5）撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。
实验五（2）  Hive-常用操作实验
实验目的：
1.掌握Hive常用的使用方法。
实验设备：
1.操作系统：Ubuntu16.04 
2.Hadoop环境：已部署的Hadoop2.7.3或以上版本
3.JDK版本：1.8或以上版本
4.Hive环境：已部署的Hive2.3.3环境
实验主要内容及步骤：
1.实验内容
利用Shell访问Hive练习HQL常规操作。
2.实验步骤
（1）根据内容要求完成HQL常规操作Hive的逻辑设计。
（2）根据设计要求，完成实验准备工作。
（3）根据实验要求，利用Hive HQL对实验数据进行操作。
（4）完成实验测试，验证设计的合理性。
（5）撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。
实验六  Flume的安装与基本使用
实验目的：
1.理解Flume的基本原理，掌握各组件的作用及关系；
2.熟悉Flume的常用配置。
实验设备：
1.操作系统：Ubuntu16.04 
2.Hadoop环境：已部署的Hadoop2.7.3或以上版本
3.JDK版本：1.8或以上版本
4.Flume版本：flume1.8.0
实验主要内容及步骤：
1.实验内容
（1）完成Flume的安装搭建。
（2）了解Flume的基本使用。
2.实验步骤
（1）根据内容要求完成Flume的安装搭建的逻辑设计。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。