大数据技术入门 --- Hadoop+Spark 教学大纲
教学目标2:理解大数据存储的基本原理,掌握大数据存储的基本技术,能够应用常用的大数据存储 系统进行数据存取及管理。
教学目标3:理解大数据处理的基本原理,掌握大数据处理的基本编程模型并能够进行初级实践。 教学目标4: 了解大数据技术的发展趋势,认识到大数据技术的发展及应用对社会发展的影响。 教学目标5:理解大数据应用需求及技术环境的多样性,认识到自我学习的必要性。
2.2课程教学目标与毕业要求的关系矩阵
课程教学目标与毕业要求的关系矩阵见表1。
表1课程教学目标与毕业要求的关系矩阵
1课程基本信息 课程中文名称: 课程代码: 课程类别: 考核性质: 先修课程: 适用专业:
开课单位: 课程团队负责人:
2教学目标 2.1课程教学目标 大数据技术入门- Hadoop+Spark 专业基础课 考试 Java 语言 课程英文名称:
学时/学分: 课程性质: 后续课程: 开课学期: 成员: 教学目标1:掌握大数据的基本概念, Big Data Technology and Practice 了解大数据技术发展历程、技术体系及应用领域。
注:•相关程度大;O表示有相关。
3课程基本内容和学时安排
3.1教学单元1:大数据概述
教学单元1-1研究背景和意义
教学单元1-2数据定义及其技术持点
教学单元1-3大数据处理的主要技术特点与难点
hadoop分布式集搭建
教学单元1-4研究大数据的意义
重点:数据定义及其技术持点
难点:3大数据处理的主要技术特点与难点
3.2教学单元2: Hadoop简介及安装部署
教学单元2-1 Hadoop简介及生态体系
教学单元2-1 Hadoop集架构
教学单元2-1 Hadoop集运行环境搭建
重点:Hadoop简介及生态体系
难点:Hadoop集运行环境搭建
3.3教学单元3: HDFS分布式文件系统
教学单元3-1相关基本概念
教学单元3-2 HDFS存储架构
教学单元3-3 HDFS的特点
教学单元3-4 HDFS常用Shell命令
教学单元3-5 HDFS的Java API
重点:HDFS存储架构
难点:HDFS 常用Shell 命令、HDFS 的Java API 3. 4教学单元4: MapReduce计算框架
教学单元4-1 MapReduce核心思想
教学单元4-2 MapReduce的工作原理
教学单元4-3 M叩Reduce的运行机制
教学单元4-4 MapReduce数据本地化
教学单元4-5 MapReduce编程
教学单元4-6 MapReduce编程示例
重点:MapReduce核心思想
难点:MapReduce的工作原理、运行机制
3.5教学单元5: Hive数据仓库
教学单元5-1 Hive概述
教学单元5-2 Hive安装
教学单元5-3 Hive数据库相关操作
重点:Hive安装
难点:Hive数据库相关操作
3. 6教学单元6: HBase分布式数据库
教学单元5-1 HBase的概述
教学单元5-2 HBase安装
教学单元5-3 HBase数据模型
教学单元5-4 HBase的Shell操作
教学单元5-5 Hbase常用Java API及示例程序
重点:HBase安装
难点:HBase的Shell操作
3.7教学单元7: Spark基础
教学单元7-1 Spark概述
教学单元7-2 Spark的安装
教学单元7-3 Spark运行架构与原理
教学单元7-4 Spark运行基本流程
重点:Spark运行架构与原理
难点:Spark运行基本流程
3.8教学单元8: Spark RDD弹性分布式数据集
教学单元8-1 RDD的设计与运行原理
教学单元8-2 RDD创建
教学单元8-3 RDD操作
教学单元8-4程序示例:倒排索引
重点:RDD的设计与运行原理
难点:RDD操作
4.9 教学单元9: spark SQL
教学单元9-1 spark SQL概述
教学单元9-2 DataFrame
教学单元9-3 Dataset
教学单元9-4 Spark SQL编程
重点:DataFrame
难点:Spark SQL编程
5.10教学单元10: Spark Streaming实时计算框架
教学单元10-1 Spark Streaming概述
教学单元10-2 DStream编程模型
教学单元10-3 DStream编程模型示例
重点:DStream编程模型
难点:DStream编程模型示例
6.11 教学单元11: Spark Streaming与Flume、Kafka的整合

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。