大数据采集与融合技术
一、课程说明
课程编号： 092103Z10
课程名称：大数据采集与融合技术/ Data Acquisition and Fusion Technology
课程类别：选修课
学时/学分：32/2
先修课程：数据库原理、操作系统
适用专业：数据科学与大数据技术
教材、教学参考书：
1.刘鹏编著.大数据.北京:电子工业出版社.2017年；
2.林子雨编著.大数据技术原理与应用（第2版）.北京:人民邮电出版社.2017年；
3.赵刚著.大数据:技术与应用实践指南（第2版）.北京:电子工业出版社.2016年；
4.王振武编著. 大数据挖掘与应用.北京：清华大学出版社.2017年；
5.伊恩·艾瑞斯（Ian Ayres）著，宫相真译.大数据思维与决策.北京：人民邮电出版社，2014年。
二、课程设置的目的意义
大数据采集与融合技术是为数据科学与大数据技术专业开设的一门专业选修课，课程的设置目的是让学生对大数据的概念、大数据采集与融合的基本原理以及大数据的应用价值建立清晰和全面的认识。将大数据关键技术联系起来，构建数据采集－数据分析－数据应用的知识体系，建立数据获取－数据预处理－数据存储－数据分析和展示-辅助决策支持一体化意识，结合本专业的“大数据技术”方向的要求，既关注大数据前期预处理问题，也关注大数据分析和应用问题，有利于创新性的研究相关算法和展开不同的大数据应用需求，扩展专业领域，将数据处理问题与辅助决策支持融合，为从事数据分析及相关行业的研究开发工作奠定基础。
三、课程的基本要求
知识：掌握大数据的基本概念，大数据采集方法和架构、预处理算法和ETL工具，大规模、异构、多源的大数据的融合方法，数据分析挖掘算法，大数据展示方法以及互联网大数据处理分析方法等知识。学会从数据采集-数据预处理-数据分析-数据挖掘-数据可视化展示的大数据数据分析方法。
能力：利用爬虫技术获取数据、并对清洗数据以及进行数据规约处理；利用数据分析方法对数据进行融合和挖掘分析；利用QlikView等工具进行数据可视化展示，培养解决复杂工程问题的能力；掌握大数据的数据分析方法，针对具体问题提出有效的解决方案，提高大数据分析能力；在将理论算法应用于大数据商业应用分析的讨论中培养创新意识，提高分析、发现、研究和解决问题的能力；
素质：建立理论算法－行业大数据－商业应用的架构，通过课程中的分析讨论辩论培养分析沟通交流素质；建立理论算法联系实际应用的思维模式，提升理解大数据项目开发的基本素质。通过课外导学的模式，提升自主学习和终身学习的意识，形成不断学习和适应发展素质。
四、教学内容、重点难点及教学设计
章节
教学内容
总学时
学时分配
教学重点
教学难点
教学方案设计（含教学方法、教学手段）
讲课
(含研讨)
实践
第1章
绪论
大数据的概念、产生、作用，大数据的技术支撑、研究内容、应用场景、大数据和云计算
2
2
0
大数据的概念和研究内容
　
教学思路：以淘宝网发展为例讲解大数据的概念，研究内容以及应用场景。
教学模式：课前导学（前修课知识归纳与思考题）、课堂讲授和讨论（1.5学时）、专题讨论（0.5学时）；
第2章
大数据采集与预处理
大数据采集架构；爬虫技术；数据预处理原理和算法；ETL工具
；数据存储
技术
8
6
2
大数据采集架构，爬虫技术和数据预处理算法
　爬虫技术和数据预处理相关算法
教学思路：由数据库引出大数据采集的重要性；用爬虫技术说明大数据采集的框架以及数据预处理原理和相关  算法。
教学模式：课前导学和文献查阅、课堂讲授和讨论（5学时）、专题讨论（1学时）；数据采集实验（2学时）。
第3章
大数据融合
技术
传统数据采集分析，大规模、异构、多源的大数据的融合技术，数据规约相关算法
6
6
0
大数据融合工作原理和基本架构；数据融合相关算法；数据规约技术。
大数据融合相关算法和数据规约技术
教学思路：通过军事应用中数据融合的典型案例引出大数据融合的原理和框架以及数据规约问题。
教学模式：课前导学和文献查阅、课前准备和课堂讨论；一般归纳和重点解析相结合。课堂讲授和讨论（5学时）、专题讨论（1学时）。
第4章
数据挖掘和大数据挖掘工具
传统数据的统计分析方法，数据挖掘中的聚类、分类、关联规则、预测分析模型等算法，Spar等k数据挖掘
工具
8
6
2
数据挖掘概念；分类、聚类、预测模型等算法； Spark等数据挖掘  工具。
数据挖掘相关算法和Spark  工具；
教学思路：以视频网站视频推荐为例引出数据分析的重要性；结合统计分析进行专题介绍和现场教学，强调创新性的算法研究。
教学模式：课前导学和文献查阅、课堂讲授、现场讨论、课中提问抢答。课堂讲授和讨论（5学时）、专题讨论（1学时）；Spark数据挖掘实验（2学时）
第5章
大数据可视化
传统数据的图表展示方法，大数据可视化的重要性和相关方法，大数据可视化软件与工具
2
2
0
大数据可视化相关算法和  工具
大数据可视化工具：Tableau、Infogram、QlikView
教学思路：通过现场演示数据可视化的方法和结果。
教学模式：课前导学和文献查阅、课堂分析、现场演示、知识抢答；课堂讲授和讨论（1.5学时）、专题讨论（0.5学时）；
第6章
互联网大数据处理
互联网大数据的抓取，文本分词，倒排索引，网页排序算法，信息检索、信息推荐以及数据可视化展示。
4
4
0
文本分词，网页排序算法，信息检索。
互联网大数据处理过程
教学思路：通过实例讲解互联网大数据处理过程。
教学模式：课前导学和文献查阅，课堂讲授（2学时），专题辩论（1学时），大型作业展示（1学时），课外实践（4学时）
第7章
行业大数据和大数据商业
应用
介绍几个重要行业大数据以及其研究重点，包括交通大数据、地震大数据、环境大数据、警务大数据等。
2
2
0
行业大数据的特点分析和研究难点
行业大数据的特点分析
教学思路：以案例分析的方式介绍行业大数据的特点；结合实际应用介绍大数据研究重点；
教学模式：课前导学和文献查阅，课堂讲授（1学时），专题辩论（1学时），课外实践（4学时）。
合计
32
28
4
五、实践教学内容和基本要求（课程中有实践内容可参照此部分）
实验名称
实验内容
学时
基本要求
大数据采集实验
通过爬虫技术采集互联网数据，并对数据进行预处理。
2
使学生全面了解对数据采集过程
Spark数据挖掘
利用Spark工具，分析某电商的商品推荐过程。
2
掌握大数据分析基本方法和过程
六、考核方式及成绩评定
教学过程中采取讲授、讨论、分析、大型作业、课前导学和文献查阅的方式进行，注重过程考核，考核方式包括：笔试、作业、讨论、辩论、课内互动，课外阅读等；过程考核占总评成绩的50%，期末考试点50%。
考核方式
考核内容
数据可视化的概念成绩比例（%）
备注
课内互动和抢答
基本知识，学习主动性
10%
专题讨论和辩论
分析能力，交流素质
10%
分组进行
大型作业
创新和解决问题能力
10%
分组进行
课外实践
文献和自学能力与素质
10%
课程考勤
主动性和团队素质
10%
期末考试
课程知识和分析能力
50%
七、大纲主撰人：                  大纲审核人：

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。