深度学习
一、课程说明
课程编号： 092115Z10
课程名称（中/英文）：深度学习/Deep Learning
课程类别：选修
学时/学分：32/2
先修课程：机器学习、线性代数、概率论与数理统计、高等数学、计算机程序设计基础
适用专业：大数据、计算机科学与技术、智能科学与技术、物联网工程、信息安全
教材、教学参考书：
[1] 台湾大学 Machine Learning and having it deep and structured. 毅 u.edu.tw/~tlkagk/courses_MLDS17.html
[2] 《Deep Learning》. Ian Goodfellow，Yoshua Bengio，and Aaron Courville（著）. MIT, 2017
[3] 《机器学习》. 周志华（著）. 清华大学出版社, 2016
[4] 《深度学习:原理与应用实践》. 张重生（著）. 电子工业出版社, 2016
[5] 《Deep Learning: A Practitioner's Approach》. Adam Gibson and Josh Patterson （著）. O'Reilly Media, 2017
[6] 《深度学习儿方法与应用》. 邓力, 俞栋（著）， 谢磊 (译）.机械工业出版社, 2016
[7] 《神经网络与深度学习》. 吴岸城 （著）. 电子工业出版社,2016
二、课程设置的目的意义
本课程是为大数据专业设立的拓展知识体系的专业选修课。深度学习是人工智能特别是机器学习领域近几年兴起的一个研究热点，主要是研究如何利用多层次的深度人工神经网络运用模块化思想自动的学习数据的特征的一种端到端机器学习模式。课程设置的目的是让学生了
解深度学习这一机器学习和大数据分析前沿研究领域，从而一方面训练学生的科研思维能力，另一方面为学生在机器学习、大数据分析等领域的创新实践提供创新思维训练。
三、课程的基本要求
知识：掌握单个神经元与逻辑回归的对应关系，以及前向全连通神经网络基本架构；理解深度神经网络的模块化思想；掌握深度学习在训练和测试阶段进行分别优化的技巧（如自适应学习率、正则化、Dropout等）；掌握卷积神经网络基本思想并学会灵活运用；理解和掌握词嵌入、自编码器、迁徙学习等无监督学习的基本原理；掌握结构化学习的基本概念、原理和框架，并结合循环神经网络进一步理解结构化学习的理念；了解和掌握深度强化学习的基本概念和方法。
能力：能够熟练掌握深度学习开发工具（如TensorFlow）的框架，并能够基于深度神经网络设计和实现深度学习应用；能够根据卷积神经网络的3个属性灵活运用卷积神经网络到不同类型的机器学习任务；能够运用词嵌入、自编码器、迁徙学习等技术完成各类无监督学习的训练任务；能够运用循环神经网络完成训练机器翻译等结构化学习的任务。
素质：建立深度学习基于框架的商业软件开发观念，通过课程中的演示、交互、讨论培养表达、归纳、分析、沟通、交流等素质，通过课程学习及课程项目建立深度学习技术到应用的思维模式，提升理解工程管理与经济决策的基本素质。通过课外导学的模式，提升自主学习和终身学习的意识，形成不断学习和适应发展素质。
  四、教学内容、重点难点及教学设计
模块化设计的目的
章节
教学内容
总学时
学时分配
教学重点
教学
难点
教学方案设计（含教学方法、教学手段）
讲课
(含研讨)
实践
第1章
绪论
2
2
0
　
　
　从深度学习的发展历程出发，介绍深度学习的基本概念和思想，然后通过对各种类型的深度神经网络典型应用的介绍，形成对深度学习这一前沿领域的初步认识。
第2章
神经元与逻辑回归
2
2
2（课外)
最大似然估计与交叉熵；逻辑回归与分类的区别和联系；单个神经元与逻辑回归的对应关系
Sigmoid函数的数学推导；生成模型和判别模型的区别；交叉熵与方差用在逻辑回归上的区别         
教学思路：从逻辑回归和分类的区别和联系出发，引出生成模型和判别模型的区别和关联，引出sigmoid和softmax函数的物理意义；从逻辑回归的局限性引出逻辑回归和单个神经元的关联，并说明层次化连接多个神经元的必要性。
教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课外作业。　
第3章
深度学习框架及模块化思想
4
2
2（课内实验）
掌握深度神经网络的基本框架；理解深度学习模块化思想
对深度学习模块化思想的理解；理论知识的实践运用
教学思路：首先通过前向神经网络来理解深度神经网络的基本框架，再通过浅层和深层神经网络（相同数量级的参数）的性能对比引出深层神经网络的模块化思想，从而说明加深网络层数的益处。
教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课内实验。
第4章
深度学习训练技巧
2
2
2（课外）
自适应学习率（Momentum等）、Dropout的思想与具体流程，及其与Ensemble的联系；Early Stopping; Batch Normalization
梯度消失问题；Maxout与ReLu的关系；L1与L2正则化的本质区别；Dropout测试阶段权重乘以系数背后的原因
教学思路：首先说明深度学习训练和测试的基本流程，并说明初学者容易在训练效果不太好的时候就归罪于过拟合是有其片面性的，并由此引出分别针对训练和测试阶段的效果不好的问题而推荐使用的一些技巧。
教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课外作业。
第5章
卷积神经网络CNN
4
2
2（课内实验）
CNN的3个核心属性；CNN的基本框架；卷积和池化的技术细节；揭秘CNN隐藏层所学内容的  方法
揭秘CNN隐藏层所学内容的方法；CNN针对具体任务的灵活  运用
教学思路：首先介绍使用CNN来识别图像的3个主要原因，并由此引出CNN的基本框架，以及框架中卷积和池化这两个模块所具备的特性是如何对应上述3个原因的，最后再介绍卷积和池化的具体细节。在此基础上，介绍各种解释CNN隐含层所学内容的方法，以及图像之外的一些CNN应用。
教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课内实验。
第6章
词嵌入和网络嵌入
4
2
2（课内实验）
词嵌入方法获取词语语义的原理；网络嵌入的基本原理
词嵌入和主成分分析的异同
教学思路：首先介绍1-hot向量和词向量的基本概念，再通过比较基于计数的和基于预测的词嵌入方法，说明词嵌入方法的基本流程、网络结构、原理，然后从词与词之间的关系引入关系嵌入的概念以及词嵌入的相关应用，最后，介绍受词嵌入启发而提出的网络嵌入等前沿热点。
教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课内实验。
第7章
自编码器与可变自编码器
2
2
2（课外）
自编码器的原理
可变自编码器的原理和网络设计
教学思路：首先通过比较主成分分析和自编码器说明自编码器的架构、原理和作用，再通过介绍自编码器的应用场景来加深对自编码器的理解，并通过与CNN的结合引出反卷积和反池化的概念，最后，通过具体应用引出可变自编码器（一种利用自编码器的生成模型）。
教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课内实验。
第8章
迁徙学习
2
2
2（课外作业）
各种迁徙学习类型的典型模型；层迁徙在具体应用场景下的区别；多任务学习和渐进神经网络的异同
领域对抗训练的理解；迁徙学习针对具体应用场景的灵活运用
教学思路：首先从为什么需要迁徙学习入手引出迁徙学习的基本概念，然后分别从源数据集和目标数据集是否有标签作为迁徙学习分类依据将迁徙学习分类4类，并分别讲解每种类型下的代表性模型。
教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课外作业。
第9章
结构化学习
2
2
2（课外）
结构化学习的概念和基本框架；结构化学习的算法
结构化学习的算法和针对具体应用场景的灵活运用
教学思路：首先介绍结构化学习的基本概念和典型应用，然后给出结构化学习的基本框架，再通过具体案例进行讲解并与深度神经网络建立起关联，最后再进一步介绍结构化的线性模型和支持向量机模型。
教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课外作业。
第10章
循环神经网络RNN
4
2
2（课内实验）
RNN的核心思想；LSTM的原理
RNN与结构化学习的关联以及针对具体应用场景的灵活运用
教学思路：首先通过具体案例引出RNN的必要性和RNN的基本概念，并在此基础上进一步引出双向RNN和LSTM的基本概念，然后通过指出RNN在训练的过程中容易出现的问题引出GRU、Clockwise RNN、SCRN等解决方案，接着，通过RNN的具体应用案例来进一步理解RNN，最后，讨论一下RNN与注意力模型、存储网络、结构化学习的关联（通过自然语言处理中的具体案例序列标签问题）。
教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课内实验。
第11章
深度强化学习
2
2
2（课外）
强化学习的基本思想；深度强化学习的不同之处
深度强化学习训练的困难以及针对具体应用场景的灵活运用
教学思路：首先介绍一下强化学习的基本概念，再通过机器打游戏等案例来进一步理解强化学习，然后通过基于策略、基于值以及两者结合的的三种强化学习类型分别讲解。
教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课外实验。
注：实践包括实验、上机等

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。