收稿日期：２０１９ １１ ０４；修回日期：２０１９ １２ ２６  基金项目：国家自然科学基金资助项目（６１６０１２３０）；江苏省自然科学基金资助项目（ＢＫ２０１４１００４）
  作者简介：李志恒（１９９４ ），男，江苏泰州人，硕士研究生，主要研究方向为机器学习、计算机视觉（ｌｉｚｈｉｈｅｎｇ８１５９１８＠１６３．ｃｏｍ）；何军（１９７８ ），男，河南郑州人，教授，硕导，博士，主要研究方向为机器学习、计算机视觉；胡昭华（１９８１ ），女，江苏南京人，副教授，硕导，博士，主要研究方向为视觉跟踪和识别．
基于ｄｒｏｐｏｕｔ正则化的半监督域自适应方法
李志恒ａ，ｂ，何　军ａ，ｂ
，胡昭华ａ
（南京信息工程大学ａ．电子与信息工程学院；ｂ．人工智能学院，南京２１００４４）
摘　要：针对机器学习中训练样本和测试样本概率分布不一致的问题，提出了一种基于ｄｒｏｐｏｕｔ正则化的半监
督域自适应方法来实现将神经网络的特征表示从标签丰富的源域转移到无标签的目标域。此方法从半监
督学习的角度出发，在源域数据中添加少量带标签的目标域数据，使得神经网络在学习到源域数据特征分布的同时也能学习到目标域数据的特征分布。由于有了先验知识的指导，即使没有丰富的标签信息，神经网络依然可以
很好地拟合目标域数据。实验结果表明，此算法在几种典型的数字数据集Ｓ
ＶＨＮ、ＭＮＩＳＴ和ＵＳＰＳ的域自适应任务上的性能优于现有的其他算法，并且在涵盖广泛自然类别的真实数据集ＣＩＦＡＲ １０和ＳＴＬ １０的域自适应任务上有较好的鲁棒性。
关键词：域自适应方法；正则化；半监督学习；神经网络中图分类号：ＴＰ３９１ ４１  　文献标志码：Ａ  　文章编号：１００１ ３６９５（２０２１）０２ ０５３ ０５９１ ０４ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１ ３６９５．２０１９．１１．０６５０
Ｓｅｍｉ ｓｕｐｅｒｖｉｓｅｄｄｏｍａｉｎａｄａｐｔａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｄｒｏｐｏｕｔｒｅｇｕｌａｒｉｚａｔｉｏｎ
ＬｉＺｈｉｈｅｎｇａ，ｂ，ＨｅＪｕｎａ，ｂ，ＨｕＺｈａｏｈｕａ
ａ
（ａ．ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｎｉｃｓ＆ＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ｂ．ＳｃｈｏｏｌｏｆＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１００４４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｏｆｉｎｃｏｎｓｉｓｔｅｎｔｐｒｏｂａｂｉｌｉｔｙｄｉｓｔｒｉｂｕｔｉｏｎｂｅｔｗｅｅｎｔｒａｉｎｉｎｇｓａｍｐｌｅｓａｎｄｔｅｓｔｓａｍｐｌｅｓｉｎｍａｃｈｉｎｅ
ｌｅａｒｎｉｎｇ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｓｅｍｉ ｓｕｐｅｒｖｉｓｅｄｄｏｍａｉｎａｄａｐｔａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｄｒｏｐｏｕｔｒｅｇｕｌａｒｉｚａｔｉｏｎｔｏｔｒａｎｓｆｅｒｎｅｕｒａｌ
ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｆｒｏｍｌａｂｅｌ ｒｉｃｈｓｏｕｒｃｅｄｏｍａｉｎｓｔｏｕｎｌａｂｅｌｅｄｔａｒｇｅｔｄｏｍａｉｎｓ．Ｆｒｏｍｔｈｅｐｅｒｓｐｅｃｔｉｖｅｏｆｓｅｍｉ ｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇ
，ｔｈｉｓｐａｐｅｒａｄｄｅｄａｓｍａｌｌａｍｏｕｎｔｏｆｌａｂｅｌｅｄｔａｒｇｅｔｄｏｍａｉｎｄａｔａｉｎｔｏｔｈｅｓｏｕｒｃｅｄｏｍａｉｎｄａｔａ，ｓｏｔｈａｔｔｈｅｎｅｕｒａ
ｌｎｅｔｗｏｒｋｃｏｕｌｄｌｅａｒｎｔｈｅｆｅａｔｕｒｅｄｉｓｔｒｉｂｕｔｉｏｎｏｆｔａｒｇｅｔｄｏｍａｉｎｄａｔａｗｈｉｌｅｌｅａｒｎｉｎｇｔｈｅｆｅａｔｕｒｅｄｉｓｔｒｉｂｕｔｉｏｎｏｆｓｏｕｒｃｅｄｏｍａｉｎｄａｔａ．Ｗｉｔｈｔｈｅｇｕｉ
ｄａｎｃｅｏｆｐｒｉｏｒｋｎｏｗｌｅｄｇｅ
，ｎｅｕｒａｌｎｅｔｗｏｒｋｃｏｕｌｄｆｉｔｔａｒｇｅｔｄｏｍａｉｎｄａｔａｗｅｌｌｅｖｅｎｗｉｔｈｏｕｔａｂｕｎｄａｎｔｌａｂｅｌｉｎｆｏｒｍａｔｉｏｎ．Ｅｘｐｅｒｉ ｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｉｓｓｕｐｅｒｉｏｒｔｏｏｔｈｅｒｅｘｉｓｔｉｎｇａｌｇｏｒｉｔｈｍｓｉｎｄｏｍａｉｎａｄａｐｔａｔｉｏｎｐｅｒｆｏｒｍａｎｃｅｏｎｄｉｇｉｔａｌｄａｔａｓｅｔｓａｎｄｒｏｂｕｓｔｏｎｒｅａｌｄａｔａｓｅｔｓｃｏｖｅｒｉｎｇａｗｉｄｅｒａｎｇｅｏｆｎａｔｕｒａｌｃａｔｅｇｏｒｉｅｓ．Ｋｅｙｗｏｒｄｓ：ｄｏｍａｉｎａｄａｐｔａｔｉｏｎｍｅｔｈｏｄｓ；ｒｅｇｕｌａｒｉｚａｔｉｏｎ；ｓｅｍｉ ｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇ；ｎｅｕｒａｌｎｅｔｗｏｒｋ
０　引言
深度神经网络［１］在计算机视觉、自然语言处理和机器人控制等多个领域的应用中取得了巨大的成功。然而，由于一种
称之为数据集偏置（
ｄａｔａｓｅｔｂｉａｓ）或者域漂移（ｄｏｍａｉｎｓｈｉｆｔ）的现象，深度神经网络在一个大规模的有标签的数据集上训练好后，并不能很好地推广到新的数据集中。最典型的解决方法就是在具体任务的数据集上，对预训练好的网络进行微调。但是获得足够多的带标签的数据来微调参数巨大的神经网络往往是困难的，因此域自适应学习方法被提出来解决这类问题。早期的域自适应学习方法主要可以分为基于实例和基于特征表示的自适应两类。对于基于实例的自适应，这些方法通过源域和目标域的非参数匹配来直接计算重采样权值。对于基于特
征表示的自适应，文献［
２～５］试图通过将两个域投射到一个共同的特征空间来减少源域和目标域之间的分布差异，例如深
度域混淆方法［４］
（ｄｅｅｐｄｏｍａｉｎｃｏｎｆｕｓｉｏｎｍｅｔｈｏｄ，ＤｏＣ）使用最
大平均差（
ｍａｘｉｍｕｍｍｅａｎｄｉｓｃｒｅｐａｎｃｙ，ＭＭＤ）损失，来学习从源域到目标域的特征表示。随着Ｇａｎｉｎ等人［６］
在２０１５年通过
一个梯度反转层成功实现了域自适应以来，对抗性域自适应方
法在迁移学习中得到越来越多的关注。受到对抗生成网络［７］
（ｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔ，ＧＡＮ）的启发，提出了运用竞争目标来跨域对齐分布的方法，如文献［８～１０］。尤其是文献［１１］引入了一种新的对抗性域自适应框架，目标域特征生成器Ｔ和
域判别器Ｄ相互竞争，
使得Ｔ生成接近源域的对等项的特征分布来欺骗域判别器Ｄ。与传统的对抗生成网络的思想不同，
Ｓａｉｔｏ等人［１２］
提出了一种在主分类器网络Ｃ上使用ｄｒｏｐｏｕｔ正则化（ｄｒｏｐｏｕｔｒｅｇｕｌａｒｉｚａｔｉｏｎ），产生一个能够检测处于决策边界的目标域数据的判别器来代替传统的域判别器，生成器Ｇ生成更具区分性的特征来避免这些特征空间；然而，当数据特征具有非常复杂的模态结构时，对抗方法无法捕获多模态的数据
结构，容易造成负迁移。Ｌ
ｏｎｇ等人［１３］
提出了一种条件对抗机制，旨在通过学习一个多维线性映射（
ｍｕｌｔｉｌｉｎｅａｒｍａｐ）来刻画多个特征和类别之间的关系。还有一些方法通过捕捉视觉模态和类语义模态之间的共同语义特征来实现域自适应。文献［
１４］提出了一种称为潜在空间编码的新的编码解码器方式，通过对不同的模态分别建模，然后联合优化，对于每一种模态
第３８卷第２期２０２１年２月　计算机应用研究
ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ．３８Ｎｏ．２
Ｆｅｂ．２０２１
都通过一个编码解码器框架来学习一个特征感知的潜在空间，
具有共性的特征被强制共享到相同的潜在空间中。文献［
１５］针对跨模态学习中的视觉语义嵌入和域自适应提出了两种相
应的方法，分别称为自适应结构嵌入（
ＡＳＴＥ）和自定步选择策略（ＳＰＡＳＳ）；ＡＳＴＥ通过自适应地调整松弛变量来体现训练实例之间的不同可靠性，在潜在结构的支持向量机框架中制定视觉语义交互；ＳＰＡＳＳ借鉴自定步长学习的思想，从可靠到不可靠的实例中迭代选择无标签的实例，逐步使知识从带标签的源
域适应到无标签的目标域。以上均是在无监督［
１６］
条件下的域自适应方法，虽然这类方法在迁移学习中取得了很好的效果，但它们仅仅是鼓励神经网络尽可能去学习和源域特征分布相似的目标域特征（即学习两个域数据的共性特征），而没有考虑到目标域数据自身的特征分布情况，这在一定程度上限制了目标域识别精度的提升。
考虑到无监督域自适应方法存在的不足，本文从半监督学习［
１７］
的角度出发，通过在源域数据中添加少量带标签的目标域数据，使得神经网络在学习到源域数据特征分布的同时，也能学习到一些目标域数据的特征分布的知识。在域自适应过程中由于有了先验知识的引导，神经网络能够更好地拟合目标域数据，从而提升目标域的识别精度。为了验证算法的可行
性，本文分别在三种典型的数字数据集Ｓ
ＶＨＮ、ＭＮＩＳＴ和ＵＳＰＳ的域自适应任务和真实世界数据集ＣＩＦＡＲ １０和ＳＴＬ １０的域自适应任务上作测试。实验结果表明，本文模型在目标域上的识别精度优于文献［１１，１２］和其他已有的方法。
１　算法设计
无监督域自适应学习是一种通过学习源域和目标域的域
不变（ｄｏｍａｉｎｉｎｖａｒｉａｎｔ）特征，从而在目标域没有标签的情况
下，将从源域学到的分类器应用于目标域的方法。Ａ
ＤＲ［１２］（ａｄｖｅｒｓａｒｉａｌｄｒｏｐｏｕｔｒｅｇｕｌａｒｉｚａｔｉｏｎ）方法是当前无监督域自适应领域中的佼佼者，它最大的创新点在于在主分类器网络Ｃ上使用ｄｒｏｐｏｕｔ正则化，产生一个能够检测处于决策边界的目标
域数据的判别器，特征提取器Ｇ为了避免这些特征空间，
不得不生成更有区分性的特征。模型原理如图１
所示。
ｄ（ｐ１（ｙ｜ｘｔ），ｐ２（ｙ｜ｘｔ
））衡量的是两个输出概率之间的差异性，式中的ｐ１（ｙ｜ｘｔ）、ｐ２（ｙ｜ｘｔ）分别表示在同一个输入的情况下Ｃ１和Ｃ２预测的概率。具体的计算函数如下：
ｄ（ｐ１，ｐ２
）＝１
２（Ｄｋ
ｌ（ｐ１｜ｐ２）＋Ｄｋｌ（ｐ２｜ｐ１））（１）
其中：Ｄｋｌ（ｐ｜ｑ）表示的是ｐ和ｑ之间的ＫＬ散度。当ｄ（ｐ１，ｐ２
）的值越小，表示Ｃ１和Ｃ２预测的概率越一致，
反之预测的概率相差越大。ＡＤＲ方法在训练主分类器Ｃ网络时最大化ｄ（ｐ１，ｐ２
），使得处在主分类器Ｃ上不同的神经元学习更多不同的特征表示，来加强主分类器对于处于决策边界
的目标域数据敏感
性。随后又在训练特征提取器Ｇ网络时最小化ｄ（ｐ１，ｐ２
），使得Ｇ网络学习到更有区分性的目标域特征。分类器Ｃ和特征
提取器Ｇ在训练过程中相互竞争、
交互更替，增强了模型对目标域数据的泛化性。
尽管ＡＤＲ方法在无监督的域自适应领域中取得了当前最
高水平的效果，但是它始终没有考虑到目标域数据的特征分布
情况，抑制了目标域识别精度的提升。本文引入Ａ
ＤＲ方法的思想，从半监督学习的角度出发，在源域数据中添加少量带标签的目标域数据，使得神经网络在学习到源域数据的特征分布的同时，也学习到了目标域数据的特征分布的知识。在本文算
法中，
Ｃ网络同时具有分类器和判别器两种作用，具体的优化过程可分为以下三个阶段：
第一阶段：在这个阶段Ｃ网络的主要作用是分类器，训练过程遵循监督学习的协议。如图２所示，特征提取器Ｇ和分类器Ｃ必须对混合数据进行准确的分类，才能获得更具区分性的特征。在整个数据集中，无标签的目标域数据和混合数据各占５０％，其中混合数据是由４０％的源域数据和１０％的带标
签的目标域数据组合而成（
１０％的带标签的目标域数据是从无标签的目标域数据中随机采样２０％进行人为标记得到的。带标签的目标域数据的比例可根据不同数据集的实际情况来自主设置，在本文实验中设置比例为１０％已经可以较好地拟合网络，所以本文以这个比例为例进行后续的实验）。最小化混合数据的标准分类损失来更新整个网络。具体损失函数为
ｍｉｎＣ，Ｇ
Ｌ（Ｘｍ，Ｙｍ）＝－Ｅ（ｘｍ，ｙｍ）～（Ｘｍ，Ｙｍ）∑Ｋ
ｋ＝１ｌｌ［ｋ＝ｙｍ
］ｌｏｇＣ（Ｇ（ｘｍ））ｋ（２）
其中：Ｘｍ、Ｙｍ表示的是在源域数据中添加少量带标签的目标域数据形成的新的数据集和它对应的标签信息。Ｃ（Ｇ（ｘｍ））ｋ表
示从数据集Ｘｍ中采样的数据ｘｍ被分成ｋ
类的概率。第二阶段：在这个阶段，Ｃ网络的主要作用是判别器，检测处于决策边界附近的目标域数据。如图３所示，通过对每个目标域数据（混合数据中的目标域数据除外）使用两次ｄｒｏｐｏｕｔ（两次ｄｒｏｐｏｕｔ是在固定Ｇ网络生成目标域特征的情况下，运行两次Ｃ网络），由于ｄｒｏｐｏｕｔ是随机删除网络中隐藏的神经元，所以相当于从Ｃ网络中采样出两个网络Ｃ１和Ｃ２，得到相应的分类概率Ｐ１（ｙ｜ｘｔ）和Ｐ２（ｙ｜ｘｔ）。然后最大化ｄ（ｐ１，ｐ２）来更新Ｃ网络的参数，使得Ｃ网络对处于决策边界的目标域数据敏感。具体损失函数如下：
ｍｉｎＣ
Ｌ（Ｘｍ，Ｙｍ）－Ｌａｄｖ（Ｘｔ
）（３）Ｌａｄｖ（Ｘｔ）＝Ｅｘｔ～Ｘｔ
［ｄ（Ｃ１（Ｇ（ｘｔ）），Ｃ２（Ｇ（ｘｔ）））］（４）
Ｃ１、Ｃ２是从Ｃ
网络中通过ｄｒｏｐｏｕｔ
正则化随机采样的。第三阶段：如图４所示，特征提取器Ｇ通过最小化ｄ（ｐ１，ｐ２
）来获得远离决策边界的目标域特征。具体损失函数如下：
ｍｉｎＧ
Ｌａｄｖ（Ｘｔ
）（５）
·２９５·计算机应用研究第３８卷
２　数据集和预处理
２ １　ＳＶＨＮ、ＭＮＩＳＴ和ＵＳＰＳ数据集
为了确保本文模型和其他域自适应模型的可比性，本文选用了ＭＮＩＳＴ［１８］、ＳＶＨＮ［１９］和ＵＳＰＳ作为标准数据集。在ＳＶＨＮ到ＭＮＩＳＴ的域自适应任务中，本文使用完整的数据集并将ＭＮＩＳＴ数据集中图片的大小调整到３２×３２，通道数改为３，保持与ＳＶＨＮ数据集一致。在ＭＮＩＳＴ到ＵＳＰＳ域自适应任务和ＵＳＰＳ到ＭＮＩＳＴ的域自适应任务中，本文从ＭＮＩＳＴ数据集中采样出２０００张图片，并且从ＵＳＰＳ数据集中采样出１８００张图片，然后将采样后的ＵＳＰＳ数据集中的图片大小调整到２８×２８，保持与ＭＮＩＳＴ数据集一致。
２ ２　ＣＩＦＡＲ １０和ＳＴＬ １０数据集
为了验证本文模型的适用性，本文选用了涵盖广泛自然类别的真实世界数据集ＣＩＦＡＲ １０和ＳＴＬ １０。在这个域自适应任务中，使用了完整的数据集并对ＳＴＬ １０的训练集和测试集分别作测试，如图５所示。值得注意的是，在ＳＴＬ １０的数据集中含有少量的灰度图片，在数据的预处理阶段应将这些图片转换成彩图片，保证所有图片的初始大小和维度是一致的。由于ＣＩＦＡＲ １０和ＳＴＬ １０的标签不是完全对应的，应将相同类别
的实物标签统一。
经过反复验证和比较，选用Ａｄａｍ优化器来更新网络反向
传播时的梯度和参数，并设置第一阶段的学习率为１×１０－３，
第二、第三阶段的学习率为２×１０－４。为了加快网络的收敛速
度，本文在卷积层和全连接层的后面添加了ＢＮ（ｂａｔｃｈｎｏｒｍａｌｉ
ｚａｔｉｏｎ）层，同时ＢＮ层也降低了网络出现过拟合现象的风险。
表１表示本文算法和已经存在的域自适应方法在同一个
尺度下对数字数据集域自适应任务的识别精度的比较。从表
正则化可以理解为一种什么法中不难发现，本文算法相比于基线ＡＤＲ方法拥有更好的域自
适应性能，同时也优于现有的其他方法。尤其是在ＳＶＨＮ到
ＭＮＩＳＴ的域自适应任务中，本文算法在ＭＮＩＳＴ数据集上取得
了９９．２４％的识别精度，几乎可以媲美ＭＮＩＳＴ数据集在监督学
习条件下的表现。实验证明，尽管无监督域自适应方法在域自
适应任务中有着很好的表现，但是想要更进一步提升算法在目
标域上的识别精度，还需要神经网络能学习到关于目标域的特
征分布的知识。本文算法从半监督学习的角度出发，在源域数
据中添加少量带标签的目标域数据，使得神经网络在第一阶段
学习到源域数据特征分布的同时也学习到了一些目标域数据的
特征分布的知识，当第三阶段用目标域数据对特征提取器进行
微调时，由于有了先验知识的指导，特征提取器能学到更好的目
标域特征，从而提高了神经网络在目标域数据上的识别精度。
表１　数字数据集上不同域自适应方法性能的对比
Ｔａｂ．１　Ｐｅｒｆｏｒｍａｎｃｅｃｏｍｐａｒｉｓｏｎｏｆｄｉｆｆｅｒｅｎｔｄｏｍａｉｎ
ａｄａｐｔｉｖｅｍｅｔｈｏｄｓｏｎｄｉｇｉｔａｌｄａｔａｓｅｔｓ／％
方法
识别精度
ＳＶＨＮｔｏＭＮＩＳＴＵＳＰＳｔｏＭＮＩＳＴＭＮＩＳＴｔｏＵＳＰＳ
ｓｏｕｒｃｅｏｎｌｙ６７．１６８．１７７．０
ＤＡＮＮ［６］７３．９７３．０±２．０７７．１±１．８
ＤｏＣ［４］６８．１±０．３６６．５±３．３７９．１±０．５
ＡＤＤＡ［１１］７６．０±１．８９０．１±０．８８９．４±０．２
ＡＤＲ［１２］９５．０±１．８７９３．１±１．２７９３．２±２．４６
本文算法９９．２４９８．７３９８．６８
  图７表示以ＳＶＨＮ到ＭＮＩＳＴ的域自适应任务为例，本文
算法和基线ＡＤＲ方法在目标域数据上识别精度的比较。从图
中可以清楚地看出，无论是从模型稳定性还是识别精度而言，
本文算法都优于ＡＤＲ方法。同时，在第三阶段ＡＤＲ方法在一
次完整的迭代中需要训练四次，而本文算法只需要训练一次，
有效地减少了训练所需的时间成本。
为了验证目标域数据的特征分布对于识别精度的影响，以
ＳＶＨＮ到ＭＮＩＳＴ域自适应任务为例，设计了四种实验：ａ）不添
加任何数据（ＡＤＲ方法）；ｂ）在ＳＶＨＮ数据集中添加２０％的标
签为“５”的ＭＮＳＩＴ数据；ｃ）在ＳＶＨＮ数据集中添加２０％的标
签为“１～５”的ＭＮＩＳＴ数据；ｄ）在ＳＶＨＮ数据集中添加２０％的
标签为“０～９”的ＭＮＩＳＴ数据。表２表示在本文算法的前提
下，对应以上四种情况，模型在目标域数据上识别精度的比较。
从表中可以发现，即使只是在ＳＶＨＮ数据集中添加标签为“５”
的ＭＮＩＳＴ数据，本文模型在识别精度上与基线ＡＤＲ方法相比
·
３
９
５
·
第２期李志恒，等：基于ｄｒｏｐｏｕｔ正则化的半监督域自适应方法  　
仍然有较大的提升。那是由于不同数据集之间存在数据集偏
置（
ｄａｔａｓｅｔｂｉａｓ）或者域漂移（ｄｏｍａｉｎｓｈｉｆｔ）的现象，ＡＤＲ方法通过鼓励神经网络学习不同域之间的共性特征来减少源域数据和目标域数据之间的分布差异，虽然取得较好的域迁移效果，但没有从根本上解决神经网络对目标域数据的特征分布模糊的问题。本文算法在源域数据中添加
了目标域数据之后，神经网络可以逐渐学习到目标域数据的特征分布知识，由于有了先验知识的指导，模型能更好地拟合目标域数据，从而提升了目标域的识别精度。当继续向ＳＶＨＮ数据集中添加标签为“１～５”甚至是“０～９”的ＭＮＩＳＴ数据时，随着添加数字的类别越来越丰富，模型对于ＭＮＩＳＴ数据集的识别精度也越来越高。这说明，在域自适应过程中，神经网络学习到的目标域的特征分布的知识越丰富，越能指导特征提取器生成更有区分性的目标域特征，提高模型的泛化性。
表２　ＳＶＨＮ到ＭＮＩＳＴ域自适应任务中添加不同类别数据性能的对比
Ｔａｂ．２　Ｐｅｒｆｏｒｍａｎｃｅｃｏｍｐａｒｉｓｏｎｏｆｄｏｍａｉｎａｄａｐｔａｔｉｏｎｆｒｏｍ
ＳＶＨＮｔｏＭＮＩＳＴｏｆａｄｄｉｎｇｄｉｆｆｅｒｅｎｔｌａｂｅｌｓｄａｔａ／％
方法不添加任何数据（ＡＤＲ方法）添加２
０％标签为“５”的数据添加２０％标签为“１～５”的数据添加２０％
标签为“０～９”
的数据
识别精度
９５．０±１．８７
９８．０３
９８．７７
９９．２４
３ ３　真实世界数据集之间的自适应：ＣＩＦＡＲ １０和ＳＴＬ １０为了验证本文算法的适用性，本文在涵盖广泛自然类别的
数据集ＣＩＦＡＲ １０和ＳＴＬ １０上作进一步的测试。由于，ＣＩＦＡＲ １０和ＳＴＬ １０的语义特征远比数字数据集要复杂得多，所以采
用ＶＧＧ １６网络作为此次实验的特征提取器。ＶＧＧ １６网络［２１］
是十分经典的ＣＮＮ模型，常被用在特征提取和迁移学习的任务中。ＶＧＧ网络最显著的特点就是通过反复地堆叠３×３的小卷积核和２×２的最大池化层，增加网络的深度，从而有效地提升模型的性能。其中，ＶＧＧ １６网络对于数据集有很好的泛化能力。由于与标准的ＶＧＧ １６的输入相比，ＣＩＦＡＲ １０和ＳＴＬ １０数据集中图片的尺寸要小很多，所以对ＶＧＧ １６网络中全连接层的参数进行了调整。网络结构如图８所示。
ｒｙｃｌａｓｓｉｆｉｅｒＧＡＮｓ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ３４ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ．２０１７：２６４２ ２６５１．
［５］ＰａｎＳＪ，ＹａｎｇＱｉａｎｇ．Ａｓｕｒｖｅｙｏｎｔｒａｎｓｆｅｒｌｅａｒｎｉｎｇ［Ｊ］．ＩＥＥＥＴｒａｎｓｏｎＫｎｏｗｌｅｄｇｅａｎｄＤａｔａＥｎｇｉｎｅｅｒｉｎｇ，２０１０，２２（１０）：１３４５ １３５９．［６］ＹａｎＨａｉｂｉｎ，ＡｎｇＭＨ，ＰｏｏＡＮ．Ｃｒｏｓｓ ｄａｔａｓｅｔｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅ ｃｏｇｎｉｔｉｏｎ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＲｏｂｏｔｉｃｓａｎｄＡｕｔｏｍａｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１１：５９８５ ５９９０．［７］ＭｉａｏＹＱ，ＡｒａｕｊｏＲ，ＫａｍｅｌＭＳ．Ｃｒｏｓｓ ｄｏｍａｉｎｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｓｕｐｅｒｖｉｓｅｄｋｅｒｎｅｌｍｅａｎｍａｔｃｈｉｎｇ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ１１ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１２：３２６ ３３２．
［８］ＳｈｏｃｈｅｒＡ，ＣｏｈｅｎＮ，ＩｒａｎｉＭ．Ｚｅｒｏ ｓｈｏｔｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎｕｓｉｎｇｄｅｅｐｉｎｔｅｒｎａｌｌｅａｒｎｉｎｇ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥ／ＣＶＦＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１８：３１１８ ３１２６．
［９］ＲｏｎｎｅｂｅｒｇｅｒＯ，ＦｉｓｃｈｅｒＰ，ＢｒｏｘＴ．Ｕ Ｎｅｔ：ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓｆｏｒｂｉｏｍｅｄｉｃａｌｉｍａｇｅｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］／／ＰｒｏｃｏｆＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅ ｒｅｎｃｅｏｎＭｅｄｉｃａｌＩｍａｇｅＣｏｍｐｕｔｉｎｇａｎｄＣｏｍｐｕｔｅｒ ＡｓｓｉｓｔｅｄＩｎｔｅｒｖｅｎ ｔｉｏｎ．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ，２０１５：２３４ ２４１．
［１０］ＬｉＳｈａｎ，ＤｅｎｇＷｅｉｈｏｎｇ．Ｒｅｌｉａｂｌｅｃｒｏｗｄｓｏｕｒｃｉｎｇａｎｄｄｅｅｐｌｏｃａｌｉｔｙ ｐｒｅｓｅｒｖｉｎｇｌｅａｒｎｉｎｇｆｏｒｕｎｃｏｎｓｔｒａｉｎｅｄｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．ＩＥＥＥＴｒａｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，２０１９，２８（１）：３５６ ３７０．［１１］ＬｕｃｅｙＰ，ＣｏｈｎＪＦ，ＫａｎａｄｅＴ，ｅｔａｌ．ＴｈｅｅｘｔｅｎｄｅｄＣｏｈｎ Ｋａｎａｄｅｄａｔａｓｅｔ（ＣＫ＋）：ａｃｏｍｐｌｅｔｅｄａｔａｓｅｔｆｏｒａｃｔｉｏｎｕｎｉｔａｎｄｅｍｏｔｉｏｎ ｓｐｅｃｉ ｆｉｅｄｅｘｐｒｅｓｓｉｏｎ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＣｏｍｐｕｔｅ
ｒＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１０：９４ １０１．
［１２］ＬｙｏｎｓＭＪ，ＡｋａｍａｔｓｕＳ，ＫａｍａｃｈｉＭ，ｅｔａｌ．ＴｈｅＪａｐａｎｅｓｅｆｅｍａｌｅｆａ ｃｉａｌｅｘｐｒｅｓｓｉｏｎ（ＪＡＦＦＥ）ｄａｔａｂａｓｅ［ＥＢ／ＯＬ］．ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．５２８１／ｚｅｎｏｄｏ．３４５１５２４．
［１３］ＤｈａｌｌＡ，ＧｏｅｃｋｅＲ，ＬｕｃｅｙＳ，ｅｔａｌ．Ｓｔａｔｉｃｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎａｎａｌｙｓｉｓｉｎｔｏｕｇｈｃｏｎｄｉｔｉｏｎｓ：ｄａｔａ，ｅｖａｌｕａｔｉｏｎｐｒｏｔｏｃｏｌａｎｄｂｅｎｃｈｍａｒｋ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎＷｏｒｋ ｓｈｏｐｓ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１１：２１０６ ２１１２．
［１４］ＧｏｏｄｆｅｌｌｏｗＩＪ，ＥｒｈａｎＤ，ＣａｒｒｉｅｒＰＬ，ｅｔａｌ．Ｃｈａｌｌｅｎｇｅｓｉｎｒｅｐｒｅｓｅｎ ｔａｔｉｏｎｌｅａｒｎｉｎｇ：ａｒｅｐｏｒｔｏｎｔｈｒｅｅｍａｃｈｉｎｅｌｅａｒｎｉｎｇｃｏｎｔｅｓｔｓ［Ｃ］／／ＰｒｏｃｏｆＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇ．Ｂｅｒｌｉ
ｎ：Ｓｐｒｉｎｇｅｒ，２０１３：１１７ １２４．［１５］ＳｉｌｖａＦＡＭＤ，ＰｅｄｒｉｎｉＨ．Ｅｆｆｅｃｔｓｏｆｃｕｌｔｕｒａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｎｂｕｉｌ ｄｉｎｇａｎｅｍｏｔｉｏｎｃｌａｓｓｉｆｉｅｒｔｈｒｏｕｇｈｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎａｎａｌｙｓｉｓ［Ｊ］．Ｊｏｕｒ ｎａｌｏｆＥｌｅｃｔｒｏｎｉｃＩｍａｇｉｎｇ，２０１５，２４（２）：１ ９．
［１６］ＺｈａｎｇＸｉａｏ，ＭａｈｏｏｒＭＨ，ＭａｖａｄａｔｉＳＭ，ｅｔａｌ．Ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｌｐ ｎｏｒｍＭＫＬｍｕｌｔｉｃｌａｓｓ ＳＶＭ［Ｊ］．ＭａｃｈｉｎｅＶｉｓｉｏｎａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２０１５，２６（４）：４６７ ４８３．
［１７］ＭａｙｅｒＣ，ＥｇｇｅｒｓＭ，ＲａｄｉｇＢ．Ｃｒｏｓｓ ｄａｔａｂａｓｅｅｖａｌｕａｔｉｏｎｆｏｒｆａｃｉａｌｅｘ ｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎａｎｄＩｍａｇｅＡｎａｌｙｓｉｓ，２０１４，２４（１）：１２４ １３２．
［１８］ＭｏｌｌａｈｏｓｓｅｉｎｉＡ，ＣｈａｎＤ，ＭａｈｏｏｒＭＨ．Ｇｏｉｎｇｄｅｅｐｅｒｉｎｆａｃｉａｌｅｘ ｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｄｅｅｐｎｅｕｒａｌｎ
ｅｔｗｏｒｋｓ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＷｉｎｔｅｒＣｏｎｆｅｒｅｎｃｅｏｎＡｐｐｌｉｃａｔｉｏｎｓｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１６：１ １０．
［１９］ＨａｓａｎｉＢ，ＭａｈｏｏｒＭＨ．Ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｅｎｈａｎｃｅｄｄｅｅｐ３Ｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＣｏｎｆｅ ｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＷｏｒｋｓｈｏｐｓ．Ｐｉｓｃａ ｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１７：２２７８ ２２８８．
［２０］ＳｈａｎＣａｉｆｅｎｇ，ＧｏｎｇＳｈａｏｇａｎｇ，ＭｃＯｗａｎＰＷ．Ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅ ｃｏｇｎｉｔｉｏｎｂａｓｅｄｏｎｌｏｃａｌｂｉｎａｒｙｐａｔｔｅｒｎｓ：ａｃｏｍｐｒｅｈｅｎｓｉｖｅｓｔｕｄｙ［Ｊ］．ＩｍａｇｅａｎｄＶｉｓｉｏｎＣｏｍｐｕｔｉｎｇ，２００９，２７（６）：８０３ ８１６．
［２１］ＭｅｇｕｉｄＭＫＡＥ，ＬｅｖｉｎｅＭＤ．Ｆｕｌｌｙａｕｔｏｍａｔｅｄｒｅｃｏｇｎｉｔｉｏｎｏｆｓｐｏｎ ｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｓｉｎｖｉｄｅｏｓｕｓｉｎｇｒａｎｄｏｍｆｏｒｅｓｔｃｌａｓｓｉｆｉｅｒｓ［Ｊ］．ＩＥＥＥＴｒａｎｓｏｎＡｆｆｅｃ
ｔｉｖｅＣｏｍｐｕｔｉｎｇ，２０１４，５（２）：１４１ １５４．［２２］ＺｈｏｕＪｕｘｉａｎｇ，ＸｕＴｉａｎｗｅｉ，ＧａｎＪｉａｎｈｏｕ．ＦｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｂａｓｅｄｏｎｌｏｃａｌｄｉｒｅｃｔｉｏｎａｌｐａｔｔｅｒｎｗｉｔｈＳＶＭｄｅｃｉｓｉｏｎ ｌｅｖｅｌｆｕｓｉｏｎｆｏｒｆａｃｉａｌｅｘ ｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＢｉｏ ＳｃｉｅｎｃｅａｎｄＢｉｏ Ｔｅｃｈｎｏｌｏｇｙ，２０１３，５（２）：１０１ １１０．
［２３］ＺａｖａｒｅｚＭＶ，ＢｅｒｒｉｅｌＲＦ，Ｏｌｉｖｅｉｒａ ＳａｎｔｏｓＴ．Ｃｒｏｓｓ ｄａｔａｂａｓｅｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｂａｓｅｄｏｎｆｉｎｅ ｔｕｎｅｄｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ３０ｔｈＳＩＢＧＲＡＰＩＣｏｎｆｅｒｅｎｃｅｏｎＧｒａｐｈｉｃｓ，ＰａｔｔｅｒｎｓａｎｄＩｍａｇｅｓ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１７：４０５ ４１２．
［２４］ＬｉｕＭｅｎｇｙｉ，ＬｉＳｈａｏｘｉｎ，ＳｈａｎＳｈｉｇｕａｎｇ，ｅｔａｌ．ＡＵ ｉｎｓｐｉｒｅｄｄｅｅｐｎｅｔｗｏｒｋｓｆｏｒｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｆｅａｔｕｒｅｌｅａｒｎｉｎｇ［Ｊ］．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２０１５，１５９：１２６ １３６．
［２５］ＬｉＳｈａｎ，ＤｅｎｇＷｅｉｈｏｎｇ．Ｄｅｅｐｅｍｏｔｉｏｎｔｒａｎｓｆｅｒｎｅｔ
ｗｏｒｋｆｏｒｃｒｏｓｓ ｄａ ｔａｂａｓｅｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ２４ｔｈＩｎｔｅｒｎａｔｉｏ ｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１８：３０９２ ３０９９．
（上接第５９４页）
［１０］ＳａｉｔｏＫ，ＷａｔａｎａｂｅＫ，ＵｓｈｉｋｕＹ，ｅｔａｌ．Ｍａｘｉｍｕｍｃｌａｓｓｉｆｉｅｒｄｉｓｃｒｅ ｐａｎｃｙｆｏｒｕｎｓｕｐｅｒｖｉｓｅｄｄｏｍａｉｎａｄａｐｔａｔｉｏｎ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＣｏｎｆｅ ｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１８：３７２３ ３７３２．
［１１］ＴｚｅｎｇＥ，ＨｏｆｆｍａｎＪ，ＳａｅｎｋｏＫ，ｅｔａｌ．Ａｄｖｅｒｓａｒｉａｌｄｉｓｃｒｉｍｉｎａｔｉｖｅｄｏ ｍａｉｎａｄａｐｔａｔｉｏｎ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１７：７１６７ ７１７６．
［１２］ＳａｉｔｏＫ，ＵｓｈｉｋｕＹ，ＨａｒａｄａＴ，ｅｔａｌ．Ａｄｖｅｒｓａｒｉａｌｄｒ
ｏｐｏｕｔｒｅｇｕｌａｒｉｚａ ｔｉｏｎ［Ｃ］／／ＰｒｏｃｏｆＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａ ｔｉｏｎｓ．２０１８．
［１３］ＬｏｎｇＭｉｎｇｓｈｅｎｇ，ＣａｏＺｈａｎｇｊｉｅ，ＷａｎｇＪｉａｎｍｉｎ，ｅｔａｌ．Ｃｏｎｄｉｔｉｏｎａｌａｄｖｅｒｓａｒｉａｌｄｏｍａｉｎａｄａｐｔａｔｉｏｎ［Ｃ］／／ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．２０１８：１６４０ １６５０．
［１４］ＹｕＹｕｎｌｏｎｇ，ＪｉＺｈｏｎｇ，ＧｕｏＪｉｃｈａｎｇ，ｅｔａｌ．Ｚｅｒｏ ｓｈｏｔｌｅａｒｎｉｎｇｖｉａｌａ ｔｅｎｔｓｐａｃｅｅｎｃｏｄｉｎｇ［Ｊ／ＯＬ］．ＩＥＥＥＴｒａｎｓｏｎＣｙｂｅｒｎｅｔｉｃｓ，２０１８．ｈｔ ｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１７１２．０９３００．
［１５］ＹｕＹｕｎｌｏｎｇ，ＪｉＺｈｏｎｇ，ＧｕｏＪｉｃｈａｎｇ，ｅｔａｌ．Ｔｒａｎｓｄｕｃｔｉｖｅｚｅｒｏ ｓｈｏｔｌｅａｒｎｉｎｇｗｉｔｈａｄａｐｔｉｖｅｓｔｒｕｃｔｕｒａｌｅｍｂｅｄｄｉｎｇ［Ｊ］．ＩＥＥＥＴｒａｎｓｏｎＮｅｕ ｒａｌＮｅｔｗｏｒｋｓａｎｄＬｅａｒｎｉｎｇＳｙｓｔｅｍｓ，２０１７，２９（９）：４１１６ ４１２７．［１６］殷瑞刚，魏帅，李晗，等．深度学习中的无监督学习方法综述［Ｊ］．计
算机系统应用，２０１６，２５（８）：１ ７．（ＹｉｎＲｕｉｇａｎｇ，ＷｅｉＳｈｕａｉ，ＬｉＨａｎ，ｅｔａｌ．Ｉｎｔｒｏｄｕｃｔｉｏｎｏｆｕｎｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇｍｅｔｈｏｄｓｉｎｄｅｅｐｌｅａｒｎｉｎｇ［Ｊ］．ＣｏｍｐｕｔｅｒＳｙｓｔｅｍｓ＆Ａｐｐｌｉｃａｔｉｏｎｓ，２０１６，２５（８）：１ ７．）
［１７］梁吉业，高嘉伟，常瑜．半监督学习研究进展［Ｊ］．山西大学学报：自然科学版，２００９，３２（４）：５２８ ５３４．（ＬｉａｎｇＪｉｙｅ，ＧａｏＪｉａｗｅｉ，ＣｈａｎｇＹｕ．Ｐｒｏｇｒｅｓｓｉｎｓｅｍｉ ｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇｒｅｓｅａｒｃｈ［Ｊ］．ＪｏｕｒｎａｌｏｆＳｈａｎｘｉＵｎｉｖｅｒｓｉｔｙ：ＮａｔｕｒａｌＳｃｉｅｎｃｅ，２００９，３２（４）：５２８ ５３４．）［１８］ＮｅｔｚｅｒＹ，ＴａｏＷ，ＣｏａｔｅｓＡ，ｅｔａｌ．Ｒｅａｄｉｎｇｄｉｇｉｔｓｉｎｎａｔｕｒａｌｉｍａｇｅｓｗｉｔｈｕｎｓｕｐｅｒｖｉｓｅｄｆｅａｔｕｒｅｌｅａｒｎｉｎｇ［Ｃ］／／ＰｒｏｃｏｆＮＩＰＳＷｏｒｋｓｈｏｐｏｎＤｅｅｐＬｅａｒｎｉｎｇ＆ＵｎｓｕｐｅｒｖｉｓｅｄＦｅａｔｕｒｅＬｅａｒｎｉｎｇ．２０１１．
［１９］ＬｅＣｕｎＹ，ＢｏｔｔｏｕＬ，ＢｅｎｇｉｏＹ，ｅｔａｌ．Ｇｒａｄｉｅｎｔ ｂａｓｅｄｌｅａｒｎｉｎｇａｐ ｐｌｉｅｄｔｏｄｏｃｕｍｅｎｔｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ，１９９８，８６（１１）：２２７８ ２３２４．
［２０］王秀席，王茂宁，张建伟，等．基于改进的卷积神经网络ＬｅＮｅｔ ５的车型识别方法［Ｊ］．计算机应用研究，２０１８，３５（７）：２２１５ ２２１８．（ＷａｎｇＸｉｕｘｉ，ＷａｎｇＭａｏｎｉｎｇ，ＺｈａｎｇＪｉａｎｗｅｉ，ｅｔａｌ．Ｖｅｈｉｃｌｅｔｙｐｅｒｅｃｏ ｇｎｉｔｉｏｎｂａｓｅｄｏｎｉｍｐｒｏｖｅｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋＬｅＮｅｔ ５［Ｊ］．ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ，２０１８，３５（７）：２２１５ ２２１８．）［２１］ＳｉｍｏｎｙａｎＫ，ＺｉｓｓｅｒｍａｎＡ．Ｖｅｒｙｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓｆｏｒｌａｒｇｅ ｓｃａｌｅｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎ［ＥＢ／ＯＬ］．（２０１４ ０９ ０４）．ｈｔｔｐｓ：／／ａｒｘ ｉｖ．ｏｒｇ／ａｂｓ／１４０９．１５５６．
［２２］ＪｅｔｌｅｙＳ，ＬｏｒｄＮＡ，ＬｅｅＮ，ｅｔａｌ．Ｌｅａｒｎｔｏｐａｙａｔｔｅｎｔｉｏｎ［ＥＢ／ＯＬ］．（２０１８ ０４ ０６）．ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８０４．０２３９１．
·
９
９
５
·
第２期赖阳文，等：嵌入注意力机制模型的人脸表情迁移学习方法  　

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。