深度学习报告
在写本报告前，阅读了《The History Began from AlexNet: A Comprehensive Survey on Deep Learning Approaches》，并在网上查看了一些相关的内容，对其整合和理解。但是其中的很多细节还没有足够的时间去探索，有的概念也不是很确定自己说的对不对，还望指正。
这篇报告的主要目标是介绍深度学习的总体思路及其应用相关领域，包括有监督（如 DNN、CNN 和 RNN）、无监督（如 AE、GAN）（有时 GAN 也用于半监督学习任务）和深度强化学习（DRL）的思路。在某些情况下，深度强化学习被认为是半监督/无监督的方法。本论文的其余部分的组织方式如下：第一节主要介绍深度学习分类和特征。第二节讨论 DNN，第三节讨论 CNN；第四节介绍了不同的先进技术，以有效地训练深度学习模型； 第五节讨论 RNN； 第六节讨论AE； 第七节讨GAN；第八节中介绍强化学习（RL）；第九节解释迁移学习； 第十节介绍了深度学习的高效应用方法和硬件； 第十一节讨论了深度学习框架和标准开发工具包（SDK）。
下面是AI，ML,NN,DL的关系图：
                                 
一.深度学习分类和特征
A.深度学习类型
正则化英语
    深度学习方法可以分为以下几个类：监督学习，半监督学习，无监督学习，此外，还有另一类学习方法称为强化学习（RL）或深度强化学习（DRL），它们经常在半监督或有时在非监督学习方法的范围内讨论。
（1）监督学习
    将大量的数据输入机器，这些数据被事先贴上标签，例如，要训练一个神经网络来识别苹果或者橙子的图片，就需要给这些图片贴上标签，机器通过识别所有被标记为苹果或橙子的图片来理解数据，这些图片有共同点，因此机器可以利用这些已识别的图片来更准确的预测新图片中的内容到底是苹果还是橙子。他们看到的标记数据越多，看到的数据集越大，预测准确性就越高。所以监督学习是一种使用标注数据的学习技术。在其案例中，环境包含一组对应的输入输出 。比如，输入是 x_t，智能体预测后的值与标签对比来获得损失值。接着智能体不断迭代调整网络参数，从而更好地近似期望输出。成功训练之后，智能体可对环境问题做出正确回答。
      监督学习主要有以下几种：深度神经网络 (DNN)、卷积神经网络 (CNN)、循环神经网络（RNN）
（2）无监督学习
    一种不使用标注数据的学习技术，即不知道输入数据对应的输出结果是什么。在这种情况下，无监督学习只能默默的读取数据，自己寻数据的模型和规律，而不需要监护人的指导。无监督学习方法通常有聚类、降维和生成技术等。有些深度学习技术擅长聚类和非线性
降维，如自编码器（AE）和 GAN等。此外，RNN（比如 LSTM）和 RL也被用作半监督学习 [243]。到目前为止，在任何方面无监督学习都达不到监督学习的准确性和有效性。
（3）半监督学习
    一种使用部分标注数据的学习技术（通常被称之为强化学习），半监督学习训练中使用的数据，只有一小部分是标记过的，而大部分是没有标记的。因此和监督学习相比，半监督学习的成本较低，但是又能达到较高的准确度。在一些案例中，深度强化学习（DRL）和生成对抗网络（GAN）常被用作半监督学习技术。此外，包含 LSTM 的 RNN 和 GRU 也可划分为半监督学习。
（4）强化学习（RL）
    强化学习（RL）不同于监督学习和非监督学习。在强化学习（RL）中没有原始已知数据可以学习。强化学习面对的是一个不断变化的状态空间要解决的是一个决策链问题。其目的是到在当前环境（状态空间）下最佳决策是什么。这里的挑战是，当下的决策好坏当下无法验证和评估，要根据多次决策以后才能知道。就像下棋，当前的决策（棋子落点）要在五
步十步棋之后才能判断是好是坏。所以强化学习中并没有大量的原始已知输入数据，机器需要在变化的环境中通过多次的试错学习，再根据某种规则到产生最佳结果的最佳路径，从而做出最佳决策。比较常见的应用有下棋（包括下围棋和象棋）、机器人、自动驾驶等,这些人工智能技术中都用到了强化学习。
B.特征学习
    通过机器学习解决问题的思路：传感器获得数据——》预处理——》特征提取——》特征选择——》推理，预测和识别（机器学习的部分），中间三部分也叫特征表达，而特征是机器学习系统的原材料，对最终模型影响很重要，数据要能够被很好的表达成特征，但是这一部分一般是靠人工提取特征，而手工提取需要专业知识，费时，靠经验和运气。传统的机器学习特征提取算法包括：尺度不变特征变换（SIFT）、加速鲁棒特征（SURF）、GIST、RANSAC、直方图方向梯度（HOG）、局部二元模式（LBP）、经验模式分解（EMD）语音分析，支持向量机（SVM）、随机森林（RF）、主成分分析（PCA）、核主成分分析（KPCA）、线性递减分析（LDA）、Fisher 递减分析（FDA）等。所以就想到能不能自动的学习一些特征，深度学习就是来干这个事的，不需要人参与特征选择的过程，而让机器自动的学习良好的特征。
C.应用深度学习的时机和领域
    人工智能在以下领域十分有用，深度学习在其中扮演重要角：
    1. 缺乏人类专家（火星导航）；
    2. 人们尚无法解释的专业知识（演讲、认知、视觉和语言理解）；
    3. 问题的解决方案随时间不断变化（追踪、天气预报、偏好、股票、价格预测）；
    4. 解决方案需要适应特定情况（生物统计学、个性化）；
    5. 人类的推理能力有限，而问题的规模却很大（计算网页排名、将广告匹配到 Facebook、情感分析）。
目前几乎所有领域都在应用深度学习。因此，这种方法通常被称为通用学习方法。下图显示了一些示例应用程序
                         
D.深度学习的前沿发展
深度学习在计算机视觉和语音识别领域有一些突出的成就，如下所述：
1）ImageNet 数据集上的图像分类
      Imagenet数据集是目前深度学习图像领域应用得非常多的一个领域关于图像分类、定位、检测等研究工作大多基于此数据集展开。它有1400多万幅图片，涵盖2万多个类别。Imagenet数据集文档详细，有专门的团队维护，使用非常方便，在计算机视觉领域研究论文中应用非常广，几乎成为了目前深度学习图像领域算法性能检验的“标准”数据集。下图显示了 2012 年深度学习技术的发展历程。时至今日，我们开发的模型 ResNet-152在这个数据集上只有 3.57％的误差，低于人类约 5% 的误差。
   
2）自动语音识别
    深度学习通过 TIMIT 数据集（通用数据集通常用于评估）完成的小规模识别任务是深度学习在语音识别领域的初次成功体现。TIMIT 连续声音语音语料库包含 630 位来自美国的八种主要英语口音使用者，每位发言人读取 10 个句子。下图总结了包括早期结果在内的错误率，并以过去 20 年的电话错误率（PER）来衡量。条形图清楚地表明，与 TIMIT 数据集上以前的机器学习方法相比，最近开发的深度学习方法（图顶部）表现更好。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。