(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010632236.2
(22)申请日 2020.07.03
(71)申请人 清华大学深圳国际研究生院
地址 518055 广东省深圳市南山区西丽大
学城清华园区
申请人 鹏城实验室
(72)发明人 戴涛　曾钰媛　夏树涛　李清　
特征正则化的作用李伟超　汪漪　
(74)专利代理机构 深圳市君胜知识产权代理事
务所(普通合伙) 44268
代理人 温宏梅
(51)Int.Cl.
G06N  3/04(2006.01)
G06N  3/08(2006.01)
(54)发明名称一种基于特征空间相关性的神经网络正则化方法(57)摘要本发明公开了一种基于特征空间相关性的神经网络正则化方法，所述方法包括：获取待处理特征图的空间相关性矩阵，基于空间相关性矩阵确定第一丢弃掩码矩阵；根据第一丢弃掩码矩阵以及待处理特征图，确定待处理特征图对应的第一特征图；确定所述第一特征图对应的通道相关性向量，并基于通道相关性向量确定待处理特征图对应的第二丢弃掩码矩阵；根据所述第二丢弃掩码矩阵以及所述第一特征图，确定所述待处理特征图对应的丢弃后的特征图。本发明基于空间特征相关性以及通道特征相关性对特征图进行特征丢弃，这样可以有效选择特征图中低相关性的特征进行丢弃，以达到自适应丢弃的目的，可以对CNN网络进行有效的正则，提高模型的泛
化能力。权利要求书2页  说明书13页  附图2页CN 111950699 A 2020.11.17
C N  111950699
A
1.一种基于特征空间相关性的神经网络正则化方法，其特征在于，所述方法包括：
获取待处理特征图的空间相关性矩阵，基于所述空间相关性矩阵确定所述待处理特征图对应的第一丢弃掩码矩阵；
根据所述第一丢弃掩码矩阵以及所述待处理特征图，确定所述待处理特征图对应的第一特征图；
确定所述第一特征图对应的通道相关性向量，并基于通道相关性向量确定所述待处理特征图对应的第二丢弃掩码矩阵；
根据所述第二丢弃掩码矩阵以及所述第一特征图，确定所述待处理特征图对应的丢弃后的特征图。
2.根据权利要求1所述基于特征空间相关性的神经网络正则化方法，其特征在于，所述待处理特征图为神经网络中一卷积层输出的特征图。
3.根据权利要求1所述基于特征空间相关性的神经网络正则化方法，其特征在于，所述获取待处理特征图的空间相关性矩阵具体包括：
对所述待处理特征图进行下采样，以得到待下采样特征图；
将所述下采样特征图转换为特征矩阵，并对所述特征矩阵进行归一化处理，以得到归一化特征矩阵；
根据特征正交性，确定所述归一化特征矩阵对应的空间相关性矩阵。
4.根据权利要求1所述基于特征空间相关性的神经网络正则化方法，其特征在于，所述基于所述空间相关性矩阵确定所述下采样特征图对应的第一丢弃掩码矩阵具体包括：根据所述空间相关性矩阵确定所述下采样特征图对应的第一丢弃概率向量，并根据所述第一丢弃概率向量，确定所述下采样特征图对应的第三丢弃掩码矩阵；
确定所述第三丢弃掩码矩阵对应的第一候选丢弃比例，并根据预设的第一丢弃比例以及所述第一候选丢弃比例，确定所述下采样特征图对应的第一目标丢弃比例；
根据所述第一目标丢弃比例，确定所述下采样特征图对应的第四丢弃掩码矩阵；
根据所述第三丢弃掩码矩阵和所述第四丢弃掩码矩阵，确定所述待处理特征图对应的第一丢弃掩码矩阵。
5.根据权利要求4所述基于特征空间相关性的神经网络正则化方法，其特征在于，所述根据所述第三丢弃掩码矩阵和所述第四丢弃掩码矩阵，确定所述待处理特征图对应的第一丢弃掩码矩阵具体包括：
在所述第三丢弃掩码矩阵中选取目标元素，其中，所述目标元素的元素值以及目标元素对应的候选元素的元素值均为0，候选元素为在所述第四丢弃掩码中的元素位置与目标元素在第三丢弃掩码矩阵中的元素位置相同；
将所述第三丢弃掩码矩阵中除目标元素外的其它元素的元素值设置为1，以得到所述下采样特征图对应的丢弃掩码矩阵；
对所述下采样特征图对应的丢弃掩码矩阵进行上采样，以得到待处理特征图对应的丢弃掩码矩阵，其中，所述待处理特征图对应的丢弃掩码矩阵对应的图像尺寸与待处理特征图的图像尺寸相同。
6.根据权利要求1所述基于特征空间相关性的神经网络正则化方法，其特征在于，所述根据所述第一丢弃掩码矩阵以及所述待处理特征图，确定所述待处理特征图对应的第一特
征图具体为：
将所述第一丢弃掩码矩阵与所述待处理特征图进行点积相乘，以得到所述待处理特征图对应的第一特征图。
7.根据权利要求1所述基于特征空间相关性的神经网络正则化方法，其特征在于，所述确定所述第一特征图对应的通道相关性向量具体包括：
将所述第一特征图沿通道方向转换，以得到所述第一特征图对应的特征矩阵；
根据特征正交性，确定所述特征矩阵对应的通道相关性向量。
8.根据权利要求7所述基于特征空间相关性的神经网络正则化方法，其特征在于，所述基于通道相关性向量确定所述待处理特征图对应的第二丢弃掩码矩阵具体包括：根据所述通道相关性向量确定所述第一特征图对应的第二丢弃概率向量，并根据所述第二丢弃概率向量，确定第一特征图对应的第五丢弃掩码矩阵；
确定所述第五丢弃掩码矩阵对应的第二候选丢弃比例，并根据预设的第二丢弃比例以及所述第二候选丢弃比例，确定所述第一特征图对应的第二目标丢弃比例；
根据所述第二目标丢弃比例，确定所述第一特征图对应的第六丢弃掩码矩阵；
根据所述第五丢弃掩码矩阵和所述第六丢弃掩码矩阵，确定所述待处理特征图对应的第二丢弃掩码矩阵。
9.一种神经网络模型，其特征在于，所述神经模型包括至少一个卷积模块，所述卷积模块包括卷积层以及正则化模块，所述卷积层的输出项为所述正则化模块的输入项；所述正则化模块用于执行如权利要求1-8任一所述的基于特征空间相关性的神经网络正则化方法。
10.一种终端设备，其特征在于，所述终端设备装载有如权利要求9所述的神经网络模型。
一种基于特征空间相关性的神经网络正则化方法
技术领域
[0001]本发明涉及神经网络技术领域，特别涉及一种基于特征空间相关性的神经网络正则化方法。
背景技术
[0002]深度神经网络是一种高度非线性的模型，在训练过程中很容易发生过拟合的问题，因此在机器学习的研究中，各类正则算法被提出，用以提高机器学习模型的泛化性能。早期的正则化方法通过在损失函数上增加一个正则项或罚项来限制模型(如线性模型，神经网络)的复杂度，如L1正则化，L2正则化等。该正则项通常是参数范数惩罚，用以减小模型参数的规模。在计算机视觉的研究中，数据增强是一种常用且有效的正则化方法。例如在图像中，数据增强通过对图像进行水平/垂直翻转，缩放，旋转，裁剪，增加彩抖动和噪声等方法增加训练数据集，使得训练集具有多样性，从而增强模型的泛化能力。
[0003]随着深度神经网络的发展，更有效的正则技术被提出。2012年由Hinton等人提出了Dropout应用于全连接网络中，该方法通过随机将神经网络中的部分神经元置零，达到网络正则的作用。针对CNN的结构特性，一大类基于随机丢弃的正则算法被提出，如Cutout, Spatial Dropout,DropBlock等。由于CNN在捕获图像特征时具有局部相关性的特点，因此这类正则算法通过设计结构化的丢弃规则来达到在CNN中有效丢弃局部特征的目的。其中Cutout在输入图像中随机置零连续的像素区域，达到数据增广的作用。Spat ial Dropout 则随机丢弃特征图中的部分通道，DropBlock在特征图的空间区域丢弃连续的激活区域来达到特征丢弃的目的。这类基于特征丢弃的方法，在一定程度上增大了网络的学习难度，进而达到模型正则的作用，使得模型学到泛化性能更好的特征。
发明内容
[0004]本发明要解决的技术问题在于，针对现有技术的不足，提供一种基于特征空间相关性的神经网络正则化方法。
[0005]为了解决上述技术问题，本发明所采用的技术方案如下：
[0006]一种基于特征空间相关性的神经网络正则化方法，所述方法包括：
[0007]获取待处理特征图的空间相关性矩阵，基于所述空间相关性矩阵确定所述待处理特征图对应的第一丢弃掩码矩阵；
[0008]根据所述第一丢弃掩码矩阵以及所述待处理特征图，确定所述待处理特征图对应的第一特征图；
[0009]确定所述第一特征图对应的通道相关性向量，并基于通道相关性向量确定所述待处理特征图对应的第二丢弃掩码矩阵；
[0010]根据所述第二丢弃掩码矩阵以及所述第一特征图，确定所述待处理特征图对应的丢弃后的特征图。
[0011]所述基于特征空间相关性的神经网络正则化方法，其中，所述待处理特征图为神
经网络中一卷积层输出的特征图。
[0012]所述基于特征空间相关性的神经网络正则化方法，其中，所述获取待处理特征图的空间相关性矩阵具体包括：
[0013]对所述待处理特征图进行下采样，以得到待下采样特征图；
[0014]将所述下采样特征图转换为特征矩阵，并对所述特征矩阵进行归一化处理，以得到归一化特征矩阵；
[0015]根据特征正交性，确定所述归一化特征矩阵对应的空间相关性矩阵。
[0016]所述基于特征空间相关性的神经网络正则化方法，其中，所述基于所述空间相关性矩阵确定所述下采样特征图对应的第一丢弃掩码矩阵具体包括：
[0017]根据所述空间相关性矩阵确定所述下采样特征图对应的第一丢弃概率向量，并根据所述第一丢弃概率向量，确定所述下采样特征图对应的第三丢弃掩码矩阵；
[0018]确定所述第三丢弃掩码矩阵对应的第一候选丢弃比例，并根据预设的第一丢弃比例以及所述第一候选丢弃比例，确定所述下采样特征图对应的第一目标丢弃比例；[0019]根据所述第一目标丢弃比例，确定所述下采样特征图对应的第四丢弃掩码矩阵；[0020]根据所述第三丢弃掩码矩阵和所述第四丢弃掩码矩阵，确定所述待处理特征图对应的第一丢弃掩码矩阵。
[0021]所述基于特征空间相关性的神经网络正则化方法，其中，所述根据所述第三丢弃掩码矩阵和所述第四丢弃掩码矩阵，确定所述待处理特征图对应的第一丢弃掩码矩阵具体包括：
[0022]在所述第三丢弃掩码矩阵中选取目标元素，其中，所述目标元素的元素值以及目标元素对应的候选元素的元素值均为0，候选元素为在所述第四丢弃掩码中的元素位置与目标元素在第三丢弃掩码矩阵中的元素位置相同；
[0023]将所述第三丢弃掩码矩阵中除目标元素外的其它元素的元素值设置为1，以得到所述下采样特征图对应的丢弃掩码矩阵；
[0024]对所述下采样特征图对应的丢弃掩码矩阵进行上采样，以得到待处理特征图对应的丢弃掩码矩阵，其中，所述待处理特征图对应的丢弃掩码矩阵对应的图像尺寸与待处理特征图的图像尺寸相同。
[0025]所述基于特征空间相关性的神经网络正则化方法，其中，所述根据所述第一丢弃掩码矩阵以及所述待处理特征图，确定所述待处理特征图对应的第一特征图具体为：[0026]将所述第一丢弃掩码矩阵与所述待处理特征图进行点积相乘，以得到所述待处理特征图对应的第一特征图。
[0027]所述基于特征空间相关性的神经网络正则化方法，其中，所述确定所述第一特征图对应的通道相关性向量具体包括：
[0028]将所述第一特征图沿通道方向转换，以得到所述第一特征图对应的特征矩阵；[0029]根据特征正交性，确定所述特征矩阵对应的通道相关性向量。
[0030]所述基于特征空间相关性的神经网络正则化方法，其中，所述基于通道相关性向量确定所述待处理特征图对应的第二丢弃掩码矩阵具体包括：
[0031]根据所述通道相关性向量确定所述第一特征图对应的第二丢弃概率向量，并根据所述第二丢弃概率向量，确定第一特征图对应的第五丢弃掩码矩阵；

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。