Hadoop大数据开发实战
课程教学大纲
课程编号：201709210012
学分：3学分
学时：46学时（其中：讲授学时：28学时上机学时：18学时）
先修课程：无
后续课程：Spark开发实战
适用专业：计算机相关专业
开课部门：计算机系
一、课程性质与目标
Hadoop大数据开发实战是计算机专业学生的一门重要专业拓展选修课。本课程中内容覆盖全面、讲解详
细，其中第1章首先让读者对大数据及Hadoop 有一个总体的认识；第2 章主要讲解如何搭建Hadoop 集；第3～第5章讲解HDFS 分布式文件系统、MapReduce 分布式计算框架以及Zookeeper 分布式协调服务；第6章讲解Hadoop 2.0 的新特性；第7～第10章主要讲解Hadoop 生态圈中的相关辅助系统，包括Hive、HBase分布式存储系统、Flume、Sqoop；第11 章讲解了综合项目——电商精准营销，该项目涵盖从前期设计到最终实施的整个过程的内容，对全书知识点进行串联和巩固，使读者融会贯通，加深对Hadoop 技术的理解。
二、课程的主要内容及基本要求
第1章初识Hadoop（2学时）
[知识点]
➢大数据简介
➢大数据技术的核心需求
➢Hadoop简介
➢离线数据分析流程介绍
➢大数据学习流程
[重点]
➢Hadoop简介
➢离线数据分析流程介绍
➢大数据学习流程
[难点]
➢Hadoop简介
➢离线数据分析流程介绍
➢大数据学习流程
[基本要求]
➢了解大数据的概念
➢熟悉大数据的应用场景
➢了解Hadoop框架
➢了解大数据的学习流程
[实践与练习]
完成相关习题。
第2章搭建Hadoop集（4学时）[知识点]
➢安装准备
➢Linux基本命令
➢Hadoop集搭建
➢Hadoop集测试
➢使用Hadoop集
[重点]
➢Linux基本命令
➢Hadoop集搭建
➢Hadoop集测试
➢使用Hadoop集
[难点]
➢Hadoop集搭建
➢Hadoop集测试
➢使用Hadoop集
[基本要求]
➢了解虚拟机的安装和克隆
➢掌握Linux基本命令的用法
➢熟悉Linux系统网络配置
➢掌握Hadoop集的搭建和配置方法
➢熟悉Hadoop集案例操作
[实践与练习]
完成相关习题。
第3章 HDFS分布式文件系统（4学时）[知识点]
➢HDFS简介
➢HDFS存储架构和数据读写流程
hadoop分布式集搭建
➢HDFS的Shell命令
➢Java程序操作HDFS
➢Hadoop序列化
➢Hadoop小文件处理
➢通信机制RPC
[重点]
➢HDFS存储架构和数据读写流程
➢HDFS的Shell命令
➢Java程序操作HDFS
➢Hadoop序列化
➢Hadoop小文件处理
➢通信机制RPC
[难点]
➢HDFS存储架构和数据读写流程
➢HDFS的Shell命令
➢Java程序操作HDFS
➢Hadoop序列化
➢Hadoop小文件处理
➢通信机制RPC
[基本要求]
➢掌握HDFS的架构和原理
➢掌握HDFS的Shell和Java API操作方法
➢了解Hadoop序列化
➢了解Hadoop小文件处理方式
[实践与练习]
完成相关习题。
第4章 MapReduce分布式计算框架（6学时）[知识点]
➢认识MapReduce
➢MapReduce编程组件
➢MapReduce作业解析
➢MapReduce工作原理
➢Shuffle阶段
➢优化—数据倾斜
➢MapReduce典型案例—排序
➢MapReduce典型案例—倒排索引
➢MapReduce典型案例—连接
➢MapReduce典型案例—平均分以及百分比
➢MapReduce典型案例—过滤敏感词汇
[重点]
➢MapReduce编程组件
➢MapReduce作业解析
➢MapReduce工作原理
➢Shuffle阶段
➢优化—数据倾斜
➢MapReduce典型案例—排序
➢MapReduce典型案例—倒排索引
➢MapReduce典型案例—连接
➢MapReduce典型案例—平均分以及百分比
➢MapReduce典型案例—过滤敏感词汇
[难点]
➢MapReduce编程组件
➢MapReduce作业解析
➢MapReduce工作原理
➢Shuffle阶段
➢优化—数据倾斜
➢MapReduce典型案例—排序
➢MapReduce典型案例—倒排索引
➢MapReduce典型案例—连接
➢MapReduce典型案例—平均分以及百分比
➢MapReduce典型案例—过滤敏感词汇
[基本要求]
➢理解MapReduce的基本原理
➢理解MapReduce经典案例WorldCount的实现原理
➢掌握MapReduce运行流程
➢掌握MapReduce程序设计方法
[实践与练习]
完成相关习题。
第5章 Zookeeper分布式协调服务（4学时）[知识点]
➢认识Zookeeper
➢Zookeeper安装和常用命令
➢Zookeeper客户端编程
➢Zookeeper典型应用场景
[重点]
➢Zookeeper安装和常用命令
➢Zookeeper客户端编程
➢Zookeeper典型应用场景
[难点]
➢Zookeeper安装和常用命令
➢Zookeeper客户端编程
➢Zookeeper典型应用场景
[基本要求]
➢理解Zookeeper的工作原理
➢熟悉Zookeeper的安装
➢掌握Zookeeper的客户端编程方法
[实践与练习]
完成相关习题。
第6章 Hadoop2.0新特性（2学时）
[知识点]
➢Hadoop2.0的改进
➢YARN资源管理框架
➢Hadoop的HA模式

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。