《大数据技术及应用》课程教学大纲
一、课程基本信息
课程名称
大数据技术及应用（英文名称）Big data technology and Application
课程代码
课程类别
选修
课程性质
专业课程
课程学分
3
课程学时
其中：理论30学时，实验24学时
开课学期
考核方式
考试+课程论文
开课单位
先修课程
Clinux在线命令查询平台语言程序设计；Java程序设计；数据结构；Linux操作系统；
后续课程
软件设计综合实训；专业实习；毕业设计；
适用专业
数据科学与大数据技术、人工智能、模式识别与人工智能；信息技术-职业技术教育方向
二、课程的性质、目的和任务
《大数据技术及应用》是计算机相关专业大学本科生及研究生选修的一门专业课程，通过本课程学习，使学生能较系统地掌握大数据的基本知识、原理和方法，初步具备大数据的应用、开发的能力，为从事大数据分析、建模、可视化奠定基础。目的是让学生了解并掌握四个领域即大数据系统的起源及系统特征；大数据系统的架构设计及功能目标设计；大数据系统程序开发；企业大数据案例分析的内容，同时利用真机实验环节以及大数据实训一体机来提升学生对大数据开发的实践能力；
本课程重点让学生掌握三个方面的内容：
（1）基础篇：主要包括HDFS使用操作、MapReduce开发；、HBase数据库的开发；
（2）核心篇：YARN架构、Spark集计算、Spark机器学习、Hive数据仓库开发；
（3）应用篇：医药大数据案例分析。
三、课程教学目标
（一）总体目标
掌握大数据分析的基本理论、技术，了解大数据分析的典型应用场景、掌握如何分析数据、解决问题、完成相关研究的方法，具有创新和独立思意识。
（二）具体目标
通过本课程的学习，学生应达到如下目标：
1．知识与技能
（1）了解大数据平台搭建的步骤，掌握大数据的存储、分析的原理；
（2）了解大数据分析的典型应用场景，例如文本挖掘、Web广告、聚类、推荐系统、Web链接分析、社交网络大数据分析、频繁项集；
（3）理解大数据分析和挖掘的基本理论技术；
（4）能获取、处理、分析和应用大数据资源。
2．过程与方法
（1）经过对大数据领域的探索，学会用大数据思维认识、分析和解决问题。
3．情感与态度
（1）通过探究活动，养成认真严谨的学习态度；
（2）通过师生、生生互动交流，体验大数据的价值和魅力。
四、教学内容及教学基本要求
第一章大数据概述
（一）教学目的
通过本章的学习掌握大数据基本概念，理解大数据的处理流程，了解大数据在行业中的应用和未来趋势。
（二）教学要求
1、解释大数据基本概念；
2、分析大数据的分析处理流程；
3、知道大数据技术应用场景和前景。
（三）教学内容
第一节大数据的概述知识要点：大数据的定义和特征。
第二节大数据分析的过程、技术及工具知识要点：大数据的采集、存储方式、分析技术、展示及应用。
第三节大数据的价值和影响知识要点：大数据在各行各业的重大价值、挑战与风险。
第四节大数据的应用知识要点：电商、医疗、教育、金融、农业、旅游、气象大数据的应用。
第五节大数据的处理流程知识要点：大数据处理流程的4个阶段——数据采集、数据处理与集成、数据分析和数据解释。
第六节大数据成为人工智能产业的燃料知识要点：人工智能与大数据的关系。
第七节大数据技术的发展前景知识要点：大数据技术不断发展，出现更多的应用项目。
（四）教学重点与难点
1．教学重点：大数据的基本概念。
2．教学难点：大数据分析处理的流程。
第二章  大数据集系统基础
（一）教学目的
能分析大数据集，阐明其基本原理；在虚拟化计算机系统中安装CentOS 7操作系统，通过SecureCRT/Xshell访问CentOS 7操作系统，以三台节点机搭建大数据集环境。
（二）教学要求
1.掌握虚拟机软件VMware Workstation 10 及以上和终端仿真程序SecureCRT/Xshell的下
载、安装和使用方法；
2.掌握VMware Workstation 10中安装CentOS 7的方法；
3.理解大数据集相关组成和技术，部署大数据集。
（三）教学内容
第一节大数据集系统概述知识要点：集概念、分类、目的。
第二节 Linux操作系统知识要点：Linux概念、特点、基本使用操作。第三节虚拟化技术知识要点：虚拟化技术概念、原理、常用软件、优缺点。
第四节 CentOS大数据集系统的组成知识要点：CentOS概念、CentOS集系统拓扑图。
第五节大数据集技术的架构知识要点：大数据集的构架组成——硬件资源层、OS层、基础设施管理层、文件系统层、资源管理和大数据集层、大数据应用层。
第六节操作实践：大数据集的部署知识要点：集规划、网络配置、安全配置、时间同步、SSH登录。
（四）教学重点与难点
1．教学重点：VMwareWorkstation、CentOS 7、SecureCRT的安装和使用。
2．教学难点：大数据集的部署。
第三章Hadoop分布式系统
（一）教学目的
Hadoop的使用需要搭建一个完整的分布式系统，在理解Hadoop工作原理的基础上配置和运行Hadoop。
（二）教学要求
1.说明Hadoop的运行原理。
2.掌握Hadoop环境的安装与配置。
（三）教学内容
第一节 Hadoop概述知识要点：Hadoop概念、发展、原理及运行机制。第二节 Hadoop相关技术及生态系统知识要点：构成Hadoop生态系统的相关技术。
第三节操作实践：Hadoop安装与配置知识要点：JDK安装、Hadoop安装、Hadoop运行、浏览Hadoop页面。
（四）教学重点与难点
1．教学重点：Hadoop安装过程中hadoop-env.sh、yarn-env.sh、slaves、l、l、l、l文件的配置。
2．教学难点：Hadoop安装过程中参数的配置。
第四章 HDFS分布式文件系统
（一）教学目的
Hadoop采用分布式HDFS，通过本章学习掌握HDFS的基本原理，掌握HDFS相关的操作命令，并能够应用Java 对HDFS 进行编程。
（二）教学要求
1．了解HDFS 的特点、架构、数据读取过程、数据写入过程。
2. 掌握HDFS操作。
（三）教学内容
第一节HDFS知识要点：HDFS设计前提和设计目标、Namenode和Datanode、文件系统的名字空间、数据复制、HDFS读写流程。
第二节HDFS操作实践知识要点：HDFSShell、HDFS JavaAPI、Eclipse开发环境、综合实例。
（四）教学重点与难点
1．教学重点：HDFS的原理、数据读写的原理。
2．教学难点:HDFS综合实例。
第五章分布式计算系统—MapReduce及其应用实例
（一）教学目的
Hadoop采用分布式计算系统MapReduce，通过本章的学习，掌握MapReduce的基本原理、架构以及工作机制，并且掌握MapReduce的编程操作，从而运用到实处。
（二）教学要求
1.分析MapReduce的基本原理、架构以及工作机制；
2.操作MapReduce WordCount编程和MapReduce倒排索引编程，实现其应用。
（三）教学内容
第一节 MapReduce简介知识要点：MapReduce架构、原理、工作机制。
第二节 MapReduce操作实践知识要点：MapReduceWordCount编程实例、MapReduce倒
排索引编程实例。
（四）教学重点与难点
1.教学重点：MapReduce的基本原理、架构以及工作机制等知识内容。
2.教学难点：MapReduce WordCount编程实例；MapReduce倒排索引编程实例
第六章HBase分布式数据库应用
（一）教学目的
Hbase是一个分布式的、面向列的开源数据库，通过本章的学习了解Hbase的构建与组件并掌握Hbase的安装部署、综合操作。
（二）教学要求
1.了解Hbase的数据模型、构架与组件。
2.实践Hbase表操作编程、HBase过滤查询编程实例。
（三）教学内容
第一节HBase简介知识要点：HBase原理、构架与组件、存储。
第二节 HBase集部署知识要点：HBase参数配置、运行与测试。常用命令，如创建表，对表的内容进行删除、插入内容等处理。
第三节  HBase Shell操作命令知识要点：general操作、namespace操作、DDL操作、DML操作、授权。
第四节 HBase过滤器知识要点：过滤器筛选数据。
第五节 HBase编程知识要点：HBase表操作编程、HBase过滤查询编程。
（四）教学重点与难点
1.教学重点：HBASE操作、过滤。
2.教学难点：HBASE表操作编程实例、HBase过滤查询编程实例。
第七章YARN资源分配
（一）教学目的Hadoop
采用资源分配系统YARN，通过本章的学习掌握YARN的基本原理、基本架构以及应用场景。
（二）教学要求
1.通过统一资源管理和调度平台引例，对YARN有一个大概的了解；
2.分析YARN的基本原理、架构等知识；
3.操作YARN Shell实例。
（三）教学内容
第一节统一资源管理和调度平台引例知识要点：了解统一资源管理和调度平台的作用。
第二节 YARN简介知识要点：YARN架构、工作流程、优势。
第三节操作实践：YARN Shell实例知识要点：YARN Shell实例的命令使用。
（四）教学重点与难点
1.教学重点：YARN的基本原理、架构及其工作流程。
2.教学难点：YARN Shell应用
第八章 Spark集计算
（一）教学目的
通过本章的学习，能够领会Spark的基本原理、架构以及相关应用，掌握Spark的核心RDD的相关编程原理及其操作。
（二）教学要求
1.领会Spark的原理、基本架构以及RDD等知识内容；2.实践Spark RDD编程操作以及相关算法实例。
（三）教学内容
第一节Spark简介知识要点：Spark生态系统、架构。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。