《大数据平台安装与部署》
教学大纲
课程名称：大数据平台安装与部署
英文名称：
学分数：
建议学时数：64学时
课程性质：实验课
教学目的：
学习Hadoop平台框架，学会手动搭建Hadoop环境，掌握Hadoop平台上存储及计算的原理、结构、配置和工作流程，掌握Hadoop生态圈常用组件的作用、结构、配置和工作流程、并具备一定的动手及问题分析能力，使用掌握的知识应用到实际的项目实践中。
通过本课程的学习，引导学生养成工程师逻辑思维、系统思维的思维方式及习惯。
课程中实验由浅及深，有一定的步骤及难度，操作不当可能会遇到问题，遇到问题时老师会给出引导，但不会直接告诉解决方案，因此，如何分析，分析完成后实施具体的解决步骤，都需要学生摸索完成，在这个摸索实践过程中，学生的分析及解决问题的能力得到培养。
开设本学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领域的问题。完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产问题。
课程的主要内容及基本要求：
主要内容包含Linux系统操作、虚拟化软件、Hadoop平台安装部署、组件安装配置、大数据平台实施、监控等。
实验1：虚拟化软件使用
1.1 VMware虚拟机简介
1.2 安装VMware虚拟机
学时分配：2学时
教学内容：介绍虚拟机技术，介绍VMware，演示安装VMware虚拟机。
实验2：Linux操作系统安装和使用
2.1 安装Centos7.2操作系统
2.2 简单的shell命令
学时分配：4学时
教学内容：演示在VMware中安装CentOS7.2操作系统，介绍安装操作系统时每一步配置注意事项，介绍常用的shell命令。
实验3：Hadoop平台安装
3.1 计算机集
3.2 Hadoop 的运行模式
学时分配：2学时
教学内容：介绍计算机集的概念、集分类、集技术特点、Hadoop集、Hadoop集的规模、Hadoop集的拓扑结构，介绍Hadoop的三种运行模式，启动Hadoop集。
实验4：平台的基础环境配置
4.1 配置网络
4.2主机名修改
4.3 hosts文件配置
4.4防火墙配置
4.5免密登录
4.6时间同步
4.7jdk安装与配置
学时分配：4学时
教学内容：介绍并演示配置网络准备三台虚拟机（最小化安装），采用NAT联网方式。修改IP为静态IP，将各节点的主机名分别改为master，slave1，slave2，进入/etc/hosts，配置主机名和ip的映射，关闭防火墙，设置免密登录，使用date命令检查每个节点的现在时间，保证所有节点一致，安装jdk与配置环境变量。
实验5：Hadoop文件参数配置
5.1 解压安装包
5.2 hadoop-env.sh
5.l
5.4 l
5.5 l
5.6 l
5.7 slave
5.8 环境变量配置
学时分配：4学时
教学内容：介绍并演示下载并解压hadoop安装包，修改hadoop的配置文件，安装文件分发。
实验6：Hadoop集运行
6.1 格式化namenode
6.2 启动hadoop
6.3 验证
学时分配：4学时
教学内容：介绍并演示在主节点上格式化namenode，启动hadoop集，输入命令验证启动是否成功。
实验7：Hbase组件安装配置
7.1 检查集时间是否同步
7.2 检测防火墙是否关闭
7.3 检测主机 ip映射
7.4下载安装包、解压
7.5 修改环境变量
7.6 修改Zookeeper配置文件
7.7分发安装包
7.8修改其他节点的配置文件
7.9启动
7.10验证
学时分配：4学时
教学内容：介绍并演示通过命令检查集时间是否同步，检查防火墙是否关闭，检查主机IP映射是否配置，下载zookeeper安装包并解压，配置zookeeper环境变量，修改集中主节点zookeeper配置文件，将安装包分发到集子节点，修改集中子节点zookeeper配置文件，启动zookeeper并进行验证。
实验8：Hive组件安装配置
8.1 下载解压安装包
8.2 配置环境变量
8.3修改配置文件
8.4拷贝hadoop的配置文件到hbase的配置文件目录
8.5分发安装文件并启动
8.6启动
学时分配：4学时
教学内容：介绍并演示下载hbase安装包并解压，配置hbase环境编辑，修改集中每一台主机配置文件，将主节点中hadoop的配置文件拷贝到hbase的配置文件目录，分发到子节点主机，启动hbase。
实验9：Zookeeper组件安装配置
9.1 Mysql安装
mysql下载jar包9.2 Hive安装
学时分配：4学时
教学内容：介绍并演示在主节点安装MySQL数据库，安装完成后替换以前的mariadb，并设置允许远程登陆；下载并解压Hive安装包，修改配置文件，启动Hive数据库。
实验10：Sqoop组件安装配置
10.1 解压安装包
10.2 拷贝mysql驱动jar包
10.3配置环境变量
10.4测试
学时分配：4学时
教学内容：介绍并演示下载并解压sqoop安装包，复制MySQL驱动jar包，配置sqoop环境变量，运行sqoop进行测试。
实验11：Flume组件安装配置
11.1 下载安装包并解压
11.2 配置flume-env.s件
11.3配置环境变量
11.4验证Flume
学时分配：4学时
教学内容：介绍并演示下载Flume安装包并解压，配置flume-env.s件，配置Flume环境变量，验证Flume。
实验12：大数据平台监控命令
12.1 常用命令
学时分配：4学时
教学内容：介绍并演示大数据平台常用命令，包含但不限于：显示hadoop目录结构、在hadoop指定目录内创建新目录、将本地文件夹存储至hadoop、将本地文件存储至hadoop、查看指定目录下内容、打开某个已存在文件、在hadoop指定目录下新建一个空文件、将hadoop上某个文件重命名、将hadoop上某个文件down至本地已有目录下、将hado
op指定目录下所有内容保存为一个文件，同时下载至本地、删除hadoop上指定文件、删除hadoop上指定文件夹、将正在运行的hadoop作业kill掉、查看帮助。
实验13：大数据平台监控界面和报表
13.1 监控 HDFS
13.2 监控Yarn
学时分配：4学时
教学内容：介绍并演示监控 NameNode、监控 DataNode；监控Yarn，查看1个MapReduce任务，查看多个MapReduce任务，中断MapReduce任务。
实验14：告警和日志信息监控
14.1 flume常用命令
14.2 flume的配置和运行
14.3简单实例
学时分配：4学时
教学内容：介绍并演示Flume的常用操作命令；创建一个Flume配置文件，启动Flume Agent；使用exec source接收外部数据源，将数据缓存在memory channel，hdfs作为sink，数据保存在HDFS中。
实验15：大数据平台及组件安装部署
15.1 Hadoop组件安装部署
学时分配：4学时
教学内容：介绍并演示配置集中时钟同步、配置主机名、配置网络环境、关闭防火墙、配置 hosts 列表、安装 JDK并配置环境变量、配置免密登录、下载并解压Hadoop 安装包、修改配置文件、将已经配置好的Hadoop复制到其他节点、格式化文件系统、启动集并测试。
实验16：大数据平台运行与应用
16.1 官方实例
16.2 Maven项目创建
16.3任务提交到集
学时分配：4学时
教学内容：介绍并演示常使用 hadoop jar 命令提交 MapReduce 任务给集运行，创建Maven项目进行代码编写，将完成的项目进行打包后上传到主机，并将数据上传到hdfs，使用hdfs命令查看结果。
实验17：大数据平台维护
17.1 Hadoop日志存放路径详解
17.2 历史服务器 (JobHistory Server)
17.3作业运行日志
17.4任务运行日志 (Container 日志)
学时分配：4学时
教学内容：介绍并演示Hadoop日志存放路径，Hadoop 系统服务输出的日志Mapreduce 程序输出来的日志；配置Hadoop系统服务日志，历史服务器 (JobHistory Server)配置，介绍HA模式下的历史服务器配置，启动历史服务器；介绍作业运行日志概念，演示作业运行日志配置，讲解作业运行日志产生过程；介绍Container日志基本概念，演示不开启日志聚合时的日志配置，讲解开启日志聚合时的配置参数。
考核模式与成绩评定办法
本课程为上机考核课程，期末考试采用百分制的机试模式。
学生的考试成绩由平时成绩（30%）和期末考试（70%）组成，其中，平时成绩包括出勤（10%）、上机成绩（20%）。
完成情况
评分
按时提交报告，报告内容基本完整、准确，版式清晰
A（85-100分）
按时提交报告，报告内容比较完整、准确，版式比较清晰
B（70-85分）
按时提交报告，报告内容不够完整、准确，版式不够清晰
C（60-70分）
不能按时提交报告，报告内容很不完整、错误较多，版式不清晰
D（60分以下）
不能提交报告
E（0分）

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。