(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号 CN 107742152 A
(43)申请公布日 2018.02.27
(21)申请号 CN201710901017.8
(22)申请日 2017.09.28
(71)申请人 天津大学
    地址 300072 天津市南开区卫津路92号
(72)发明人 李潇 庞彦伟 梁金升
(74)专利代理机构 天津市北洋有限责任专利代理事务所
    代理人 程毓英
(51)Int.CI
     
                                                                  权利要求说明书 说明书 幅图
正则匹配快代理
(54)发明名称
      非随机Dropout正则化的卷积神经网络设计方法
(57)摘要
      本发明涉及一种非随机Dropout正则化的卷积神经网络设计方法，用于图像分类，对随机Dropout正则化的卷积神经网络设计方法进行改进。在训练过程中，将特征图上所有小于某一个阈值的特征点置零，置零后的特征点不参与网络训练过程中的正向传播和反向传播过程，在测试过程中不进行Dropout操作。
法律状态
法律状态公告日
法律状态信息
法律状态
2021-03-12
发明专利申请公布后的驳回
发明专利申请公布后的驳回
2018-03-23
实质审查的生效
实质审查的生效
2018-02-27
公开
公开
权 利 要 求 说 明 书
1.一种非随机Dropout正则化的卷积神经网络设计方法,用于图像分类,对随机Dropout正则化的卷积神经网络设计方法进行改进。在训练过程中,将特征图上所有小于某一个阈值的特征点置零,置零后的特征点不参与网络训练过程中的正向传播和反向传播过程,在测试过程中不进行Dropout操作。
2.根据权利要求1所述的设计方法,其特征在于,包括下列步骤:
步骤1:数据准备过程:准备好训练图像和相应的类标;
步骤2:网络设计过程:设计卷积神经网络的结构;设定卷积层的个数以及每个卷积层特征图的个数和大小;
步骤3:网络初始化过程:初始化非随机Dropout方法的阈值t;用随机数对卷积核的参数进行初始化;
步骤4:非随机Dropout正则化过程:对卷积神经网络从前往后进行正向传播;在卷积层中对输入图像或者特征图进行卷积操作,对卷积后的结果应用激活函数,之后采用非随机Dropout对特征图进行操作,即如果某一个特征值比所设定的阈值t小,那么这一个特征值将被置零;如果特征值大于或等于所设定的阈值t,那么这一个特征值将保持不变;
步骤5:按照步骤2设计的卷积神经网络的结构,从第一层到最后一层依次进行卷积、激活、非随机Dropout操作,并在非随机Dropout的结果上进行池化操作;
步骤6:运用反向传播算法对卷积层的参数进行训练,得到训练好的神经网络。
说  明  书
<p>技术领域
本发明涉及人机交互、计算机视觉和深度学习领域,特别涉及一种非随机Dropout正则化的方法。
背景技术
图像分类是计算机视觉中一个十分重要的研究领域,它是行人检测、人脸检测、车辆检测等应用的基础,可以广泛地用于智能监控、无人驾驶汽车以及图像检索等领域。图像分类技术是众多应用的基础,人们对它的性能要求也越来越高。与此同时,凭借优异的分类效果,卷积神经网络得到越来越多的重视。因此,技术人员自然而然地将卷积神经网络和图像分类结合在了一起。但是,由于训练数据的有限性和卷及神经网络结构的复杂性,卷积神经网络极易出现过拟合问题,影响了分类性能。
正则化是卷积神经网络中的重要技术,它有效解决了神经网络的过拟合问题,提升了神经网络的检测性能。在目前众多的正则化方法中,丢弃(Dropout)[1]方法是最简单有效的方法,因此是使用最广泛的一种方法。传统的Dropout是一种随机的方法,它以一定的概率(比如0.5)随机地在特征图上选取一部分特征点,然后将这一部分特征点的激活值设置为零,这一部分被置零的特征点将不会参与到卷积神经网络的正向传播和反向传播的训练过程中。但是,传统的Dropout方法有一定的局限性,例如:
1、Dropout是一种随机方法。因为这种方法的随机性,分类的结果很难重复。也就是说,运行两次同样的程序,将会产生两个不同的分类的准确率。
2、因为Dropout方法是随机选取一部分特征点,并没有对不同特征值(比如大值和小值)进行区分。而不同的值的特征点的重要性往往是不同的,如果能利用特征点的这种特性,分类的结果和网络的性能将会进一步得到提升。
除了传统的Dropout方法之外,科研人员也提出了其他的一些正则化方法。例如,丢弃连接(DropConnect)[2]也是一种正则化方法,这种方法是随机地选取一部分卷积核的参数(特征点的权重)并将它们置零来实现的正则化。但是这种方法同样是随机的方法,和传统Dropout具有同样的问题。Max-drop[3]方法是将Dropout层置于每一个卷积层之后,再在卷积神经网络的训练过程中,去掉特征图中的最大值,从而去掉特征图中的关键信息来得到通用的普遍信息。上述的这些方法都采用了不同的方式选取特征点进行置零,这些方法大都是通过自己设计的算法来筛选出需要置零的特征点。这些算法比较复杂,有的方法甚至需要进行多次循环才能确定是否应该将某一特征点置零。
参考文献
[1]Srivastava,N.,Hinton,G.E.,Krizhevsky,A.,Sutskever,I.,&Salakhutdinov,R.(2014).Dropout:asimplewaytopreventneuralnetworksfromoverfitting.JournalofMachineLearningResearch,15(1),1929-1958.
[2]Wan,L.,Zeiler,M.,Zhang,S.,Cun,Y.L.,&Fergus,R.(2013).Regularizationofneuralnetworksusingdropconnect.InProceedingsofthe30thInternationalConferenceonMachineLearning.

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。