doi:10.3969/j.issn.1001-893x.2021.01.020
引用格式：卢依宏，蔡坚勇，郑华，等.基于深度学习的少样本研究综述[J].电讯技术,2021,61(1):125-130.[LU Yiyong,CAI Jianyong,ZHENG Hua, et al.Researches on few-shot learning based on deep learning:an overview[J].Telecommunication Engineering,2021,61(1):125-130.]
基于深度学习的少样本研究综述∗
卢依宏，蔡坚勇∗∗，郑㊀华，曾远强
(福建师范大学光电与信息工程学院，福州350007)
摘㊀要：基于大数据的深度学习算法越来越完善，然而如何解决训练样本数非常少的情况，是目前神经网络研究领域中一个非常重要且极具挑战的问题㊂首先，介绍了少样本问题的定义；接着将现有的少样本学习方法分为数据增强㊁度量学习和元学习三类，分别从方法所用模型㊁数据集以及相应的实验结果进行分析；最后，总结了现有方法的不足，探讨了未来少样本研究的方向㊂
关键词：深度神经网络；少样本学习；数据增强；度量学习；元学习
开放科学(资源服务)标识码(OSID
):
扫描二维码
听独家语音释文
与作者在线交流
享本刊专属服务
中图分类号:TP391㊀㊀文献标志码:A㊀㊀文章编号:1001-893X(2021)01-0125-06
Researches on Few-shot Learning Based on
Deep Learning:an Overview
LU Yiyong,CAI Jianyong,ZHENG Hua,ZENG Yuanqiang
(College of Photonic and Electronic Engineering,Fujian Normal University,Fuzhou350007,China) Abstract:Deep learning algorithms based on big data are becoming more and more perfect.However,how to solve the situation where the number of training samples is very small is a very important and challenging problem in the existing neural network research field.Firstly,the definition of few-shot learning is intro-duced.Then,the existing few-shot learning methods are divided into three categories,data enhancement, metric learning and meta-learning,which are analyzed and discussed in terms of the models used in the method,data sets and corresponding experimental results.Finally,the shortcomings of the existing methods are summarized,and the direction of future few-shot learning research is discussed.
Key words:deep neural network;few-shot learning;data enhancement;metric learning;meta learning
0㊀引㊀言
由于基于深度学习的神经网络在目标特征的提
取上具有无可比拟的优势，因此神经网络在图像处
理领域中被广泛应用[1-3]㊂然而实验过程中发现，当训练数据非常少时，神经网络中的每个单元不得
不考虑到每个样本中物体的定位和分类特征，整个
神经网络会变得过拟合㊂因此少样本问题一直以来
是深度学习研究中的一个难点[4]㊂
本文针对深度学习领域中少样本学习的问题，总结并分析经典及最新的方法，最后展望其未来的研究方向㊂
1㊀少样本问题的定义
在训练一个高效㊁精确的神经网络时，通常需要大量带有标签的数据，而在许多情况下每个类别只有一个或几个训练样本，如视频监控㊁卫星图像㊁异
㊃521㊃
第61卷第1期
2021年1月电讯技术
Telecommunication Engineering Vol.61,No.1 January,2021
∗∗∗收稿日期:2020-04-21；修回日期:2020-06-19
基金项目：福建省自然科学基金项目(2017J01744)通信作者:cjy@fjnu.edu
常检测等㊂同时，在如生物医疗图像识别任务中，往往会遇到特殊病例下患病样本与正常样本数极度不平衡的情况，这时正常样本数越多越影响网络性能㊂因此，将这种由于样本数不足或样本质量有严重偏差从而导致神经网络的性能严重下降的情况称为少样本问题㊂
与普通的只训练一类数据的神经网络不同，少样本学习训练集(支持集)有许多不同的类，每类又包含许多不同的样本，因此少样本学习又称为N-
way㊁K-shot问题，其中N表示数据集共有N个类, K表示每个类中有K个样本㊂因为是少样本，所以K一般在1~20之间，实验中K往往取5㊁10㊁15㊂
2㊀基于深度神经网络的少样本学习方法2.1㊀数据增强
正则匹配一张图片数据增强是一种常用的数据处理方法㊂早期主要通过对数据进行空间变换，如旋转㊁平移㊁缩放㊁剪裁㊁颜变化等[5]，来生成更大数据集㊂随着深度神经网络的发展，也出现了许多利用如对抗生成网络(Generative Adversarial Nets,GAN)等其他网络来扩展数据的方法㊂
2.1.1㊀空间变化
Salehinejad等人[6]提出对医学图像采用径向变化方法，将笛卡尔坐标映射到极坐标来展开图像，得到一张图像很多个不同的径向变化图，不仅保留了原始图像的信息还提高了训练数据集的多样性，从而改善了神经网络的泛化性能㊂对现有
数据集进行简单的空间变化操作生成更大的数据集，是早期在基于深度学习的神经网络中最基本的数据操作㊂2.1.2㊀基于幻觉模型的数据增强
由于样本数很少，当训练样本中的物体发生变形时，神经网络无法准确识别㊂因此，许多研究人员思考如何让神经网络学会 幻觉化 训练样本中的物体㊂
在Goodfellow等人[7]提出的对抗生成网络中，生成网络和判别网络的动态 博弈过程 可以生成非常接近真实图像的虚假图像㊂Antoniou等人[8]提出了基于生成对抗网络的数据增强方法(Data Aug-mentation Generative Adversarial Networks,DAGAN)，利用编码器将输入图像的向量和随机向量结合，生成虚假图像㊂这一将GAN网络和数据增强结合在一起的方法，在实际应用上取得了很大的进展㊂对于与基类完全不同的数据,Zhang等人[9]提出了一个新的网络结构Salient网络(SalNet)，通过显著性数据幻觉模型来增强数据㊂这是第一篇将显著性图用于少样本学习的数据增强方法的论文，显著性网络很好地将图像的前景背景分割开，也是该文的一个亮点㊂
上述 幻觉化 [10]数据增强方法为基类数据幻化出新的样本，生成的 幻觉 样本丰富了训练数据的多样性，从而提高了神经网络识别新类别的性能㊂2.1.3㊀基于合成多标签样本的数据增强
将多个单类别图像的标签融合来增加样本标签多样性是常见的一种数据增强方法，但目前的融合标签方法都是针对一张图片只有一个标签的情况，而自然图像往往包含多个标签㊂Alfassy[11]等人提出的一种新的合成样本标签的方法，成功将图像的特征与标签分离，生成训练期间未出现过的标签㊂该文提出的方法将训练集标签范围扩充到已给标签的交集㊁并
集和去集中，大大提高了网络分类图像的泛化能力㊂
2.1.4㊀不同数据增强方法的比较
本节详细介绍三种最新且效果显著的数据增强方法，给出了相应的模型结构和实验中取得的准确度㊂其中径向变化在实验中将MNIST数据集由原本的每类20张图像扩充成每类2000张,DAGAN 中每类有5个样本,LaSO实验中的数据集包括64类已知样本和16类未知样本㊂
三种基于数据增强的少样本学习方法对比如表1所示㊂
表1㊀基于数据增强的少样本方法总结
增强方法网络网络模型数据集数据集设置实验结果
空间变换径向变化[6]GoogLeNet MNIST97.98ʃ1.39
幻觉图DAGAN[8]CNN Omniglot5-way87.4
SalNet[9]MIC5-shot㊁1-shot57.45ʃ0.88标签融合LaSO[11]CNN MS-COCO64-way㊁5-shot76
注: ʃ 表示在任务中95%的置信区间㊂
㊃621㊃
㊀㊀不同数据增强方法各有优势㊂通过空间变换来增加样本数的方法简单快速易操作，却未增加样本种类㊂利用幻觉模型来增加样本数和通过集合运算扩充数据标签的方法在测试样本和训练样本种类一致时，可以取得很好的结果㊂因此，数据增强方法主要面临样本数非常少的情况下效果并不好的问题，以及测试样本和训练样本类型完全不一样的问题㊂2.2㊀基于度量学习的优化设计
在少样本研究中有很多利用非参数化估计(如最近邻算法㊁K-近邻算法㊁K均值聚类算法)的度量学习，对样本间距离分布进行建模，使得同类样本靠近异类样本远离㊂一般通过构造支持集和测试集的距离来分类，重点在距离的构造上，如要分类四张不同的动物图像，并分辨出一张新图像属于前面四张图像中的哪一个动物，这时可以比较新图像和之前四张图像的特征向量距离，距离越近代表特征越像，属于同一类的概率就越大㊂
2.2.1㊀基于固定距离的度量学习
孪生网络[12]是双路神经网络，网络有两个输入，通过学习样本的特征距离来判断两个样本是否属于同一个类，输出图像相似度的概率排名㊂
匹配网络[13](Match Network)和原型网络[14] (Protoype network)的网络结构类似㊂匹配网络为支撑集构建灵活的编码器，
最终分类器的输出是支持集样本和询问集样本之间预测值的加权求和㊂原型网络提出每个类都存在一个原型表达，该类的原型是支持集在嵌入空间中的均值㊂
上述三个网络在最终的距离度量上都使用了固定的度量方式，如余弦距离㊁欧式距离等，这种模型结构下所有的学习过程都发生在样本的嵌入阶段㊂2.2.2㊀基于可学习距离的度量学习
一些研究人员提出，在度量学习中，度量方式也是网络中非常重要的一环，人为规定的度量方式在学习过程中会限制网络的性能㊂因此，文献[15]提出训练一个相关网络来学习度量距离，最终网络输出一个0~1的值，表示支持集和询问集的相似程度㊂同时，网络的损失也应该针对不同的任务而改变，在相关网络中解决的是回归问题，而非分类问题，所以使用均方误差(Mean Square Error,MSE)代替交叉熵(Cross Entropy)[16]
㊂
图1㊀相关网络结构图[15]
2.2.3㊀度量学习方法总结
本节介绍两种基于度量学习的少样本方法，下面对比了每种方法使用的网络模型，给出每一个网络所使用的数据集，以及在Mini-ImageNet数据集上部分网络取得的准确度㊂其中原型网络和匹配网络是由4个卷积块组成，相关网络由6个卷积块加2个全连接层组成㊂
两种基于度量学习的少样本学习方法对比如表2所示㊂与其他方法相比，第一种使用欧式距离或余弦距离等固定距离的度量方法在单样本学习(one-shot learning)中可以取得非常好的结果，但这种人为设计的度量方式存在一定局限性㊂因此，研究人员提出使用深度神经网络来学习样本之间的特征距离的方法，同时也使用了不同的损失函数来训练网络㊂从实验结果可知，可学习的度量方式优于固定距离的度量方式㊂
表2㊀基于度量学习的少样本方法总结
学习方法网络网络模型是否端到端数据集实验结果
固定距离度量学习匹配网络[13]CNN是Omniglot Mini-Imagenet46.6原型网络[14]CNN是Omniglot Mini-Imagenet49.42ʃ0.78
可学习度量学习相关网络[15]CNN是Omniglot Mini-Imagenet50.44ʃ0.82注: ʃ 表示在任务中95%的置信区间㊂
2.3㊀元学习
元学习是一种利用以往经验来处理新任务，让网络学会如何学习的方法㊂元学习的目标是让网络在每个任务中快速学习这个任务最优解，在不同任务之间学习跨任务的学习能力㊂文献[17]对元学习进行简单定义，指出元学习是通过选择参数来降
㊃721㊃
第61卷卢依宏，蔡坚勇，郑华，等：基于深度学习的少样本研究综述第1期
低网络在整个数据集的损失函数㊂
2.3.1㊀基于优化方式的元学习
基于优化方式的元学习使网络不再从样本中学习而是从任务中学习，最大化网络的泛化能力[18]㊂Andrychowicz等人[19]提出一种让网络学习如何学习的方法，利用长短时记忆(Long Short-Term Memo-ry)优化器实现元学习过程㊂同样，在Rav等人[20]提出的方法中也使用了LSTM结构㊂Rav等人发现，在少量数据下，使用的一般梯度算法，如momen-tum㊁adagrad㊁adadelta㊁Adam[21]等，需要经过多次迭代才能完成优化，无法应用于需要快速学习不同任务的元学习中[22-
23]㊂因此需要一个通用的初始化参数，可以让模型从一个很好的初始参数开始训练，在面对不同的任务时模型能实现快速学习[24]㊂Finn等人[25]提出与模型无关的元学习方法(Model-agnostic Meta Learning,MAML)，既与模型结构无关也不增加新的参数，且可以和任何使用梯度下降训练的模型兼容㊂同时,MAML不仅可以用于图像分类问题，在回归和强化学习上也取得了很好的结果，因此MAML在元学习领域被广泛应用㊂Nichol等人[26]提出把MAML中对参数求二次导改为求一阶导可简化计算，从而提高网络速度㊂同时，作者还对MAML算法中初始化参数的更新规则进行修改，提出了Reptile算法㊂
基于优化方式的各种元学习方法将深度学习的研究从网络结构的优化变为参数优化，未来应进一步探索如何取得更有利的参数㊂2.3.2㊀基于参数的跨任务元学习
文献[27]提出一种与任务无关的元学习(Tast-agnostic Meta Learning,TAML)算法，通过加入正则化项提高网络的通用性㊂具体而言，作者提出两种新颖的TAML算法范式，一种使用基于熵的TAML度量，防止模型预测过程中偏向某一具体任务；另一种使用基于不平等最小化的TAML度量，对初始模型进行元训练，使模型在面对不同任务时的差异更小㊂
2.3.3㊀基于模型权值的元学习
Sun等人[28]提出了一种元迁移学习方法，针对目前的元学习进行改进，将迁移学习和元学习结合，得到更优的性能，证明MAML具有很强的适用性，也为下一阶段如何将元学习算法和迁移学习等其他方法结合提供了可能㊂
2.3.4㊀对比
本节归纳三种元学习方法的不同，并给出在Mini-ImageNet数据集上的准确度，其中数据集设置为1-shot5-way㊂
三种基于元学习的少样本学习方法对比结果如表3所示㊂基于优化方式的元学习适用性很强，可以和许多神经网络模型结合使用，但是这种方法计算量大，因此要求网络结构不能太复杂，否则会出现梯度爆炸或梯度消失的情况㊂从实验结果可看出, Reptile算法在图像分类任务的准确度上略差于MAML算法㊂基于参数的跨任务元学习效果虽好，但考虑到基于熵的方法的输出取决于模型的输出函数，因此它更适合特定的分类或回归任务㊂
表3㊀基于元学习的少样本方法总结
元学习方法方法网络模型是否预训练是否微调实验结果基于优化方式的元学习MAML[25]CNN否是48.70ʃ1.84
Reptile[26]CNN否是45.79ʃ0.44基于参数的跨任务元学习TAML[27]CNN否否49.33ʃ1.8基于模型权值的元学习MTL[28〛ResNet-12是是45.1ʃ1.8注: ʃ 表示在任务中95%的置信区间㊂
㊀㊀在未来的研究中，可以思考能否将元学习与数据增强或度量学习等方法相结合㊂并且元学习还面临一个重要问题，即如何在保证计算量的同时提高模型复杂性㊂
3㊀少样本学习的未来研究方向
随着深度学习的应用越来越广泛，少样本学习问题也引起了重视，现有的少样本学习方法虽然已经取得了很大的进展，但仍有很大的进步空间，在此提出几点未来的研究方向:
(1)提高训练样本的复杂度
少样本学习最终目的是能广泛应用于实际生活中，然而在上述方法的实验中，目前大部分少样本学习模型训练使用的数据集为Omniglot和ImageNet，这两个数据集样本的种类与复杂的现实生活相比过于简单，虽在实验中可以取得不错的准确率，却无法
㊃821㊃
反映模型在实际应用中的效果，在未来的研究中应着重研究困难样本的少样本学习㊂
(2)无监督学习
监督学习是目前深度学习中最热门的领域，但是许多情况下无标签的数据集远比有标签数据更容易获得㊂例如，在通过特征向量的距离来分类的度量学习中，是否可以使用无标签的数据来训练㊂借助大量无标签的数据来帮助少量有标签的数据进行学习，是未来研究的一个方向㊂
(3)神经网络的深入
少样本学习面临的最大问题之一是过拟合现象，神经网络中成千上万的神经元会因为样本数太少而过于偏向训练样本㊂许多元学习方法往往受限于过于简单的网络结构，因此优化神经网络内部的神经元，使其具有更强的泛化性能，将对少样本学习有更大的提升㊂
(4)其他领域的少样本学习
现阶段少样本学习主要解决的是分类问题，然而如何利用元学习跨任务学习的能力，将少样本学习扩展到目标检测任务和图像分割任务中也是非常重要的㊂
4㊀结㊀论
本文通过对比少样本学习在图像处理领域的最新研究，从不同角度总结并分析了当前少样本学习的最新成果㊂三种典型的数据增强方法能成功扩充样本数据量，虽行之有效，却未从根本上解决少样本问题㊂度量学习的少样本学习，当样本数过于少时，度量学习往往会发生过拟合现象，具有一定局限性㊂经典的元学习方法，优点在于可以快速处理训练集中从未出现过的新样本，但是元学习复杂的训练过程和过于简单的网络结构使其无法达到更高的精度㊂
参考文献:
[1]㊀LECUN Y,BENGIO Y,HINTON G.Deep learning[J].
Nature,2015,521(7553):436-444.
[2]㊀PARISI G I,KEMKER R,PART J L.Continual lifelong
learning with neural networks:a review[J].Neural Net-
works,1995,113(1):54-71.
[3]㊀ABRAHAM A.Meta learning evolutionary artificial neu-
ral networks[J].Neurocomputing,2004,56(1):1-38.
[4]㊀KRIZHEVSKY A,SUTSKEVER I,HINTON G.ImageNet
classification with deep convolutional neural networks
[J].Communications of the ACM,2012,60(6):84-90.
[5]㊀DING J,CHEN B,LIU H,et al.Convolutional neural
network with data augmentation for SAR target recogni-
tion[J].IEEE Geoscience&Remote Sensing Letters,
2016,13(3):364-368.
[6]㊀SALEHINEJAD H,VALAEE S,DOWDELL T,et al.Im-
age augmentation using radial transform for training deep
neural networks[C]//Proceedings of2018IEEE Inter-
national Conference on Acoustics,Speech and Signal
Processing.Calgary:IEEE,2018:3016-3020. [7]㊀GOODFELLOW I,POUGET-ABADIE J,MIRZA M,
et al.Generative adversarial nets[C]//Proceedings of
27th International Conference on Neural Information Pro-
cessing.Montreal:ACM,2014:2672-2680. [8]㊀ANTONIOU A,STORKEY A,EDWARDS H.Data aug-
mentation generative adversarial networks[EB/OL].
(2018-05-21)[2020-04-21]./
abs/1711.04340.
[9]㊀ZHANG H G,ZHANG J I,KONIUSZ P.Few-shot learn-
ing via saliency-guided hallucination of samples[C]//
Proceedings of2019IEEE/CVF Conference on Comput-
er Vision and Pattern Recognition(CVPR).Long
Beach:IEEE,2020:2765-2774.
[10]㊀MILLER E G,MATSAKIS N E,VIOLA P A.Learning
from one example through shared densities on transforms
[C]//Proceedings of IEEE Conference on Computer Vi-
sion and Pattern Recognition.South Carolina:IEEE,
2000:1464-1471.
[11]㊀ALFASSY A,KARLINSKY L,AIDES A,et al.LaSO:la-
bel-set operations networks for multi-label few-shot
learning[C]//Proceedings of2019IEEE/CVF Confer-
ence on Computer Vision and Pattern Recognition
(CVPR).Long Beach:IEEE,2019:6541-6550. [12]㊀GREGORY K,RICHARD Z,RUSLAN S.Siamese neural
networks for one-shot image recognition[C]//Proceed-
ings of2015International Conference on Machine Learn-
ing Deep Learning.Lille:IEEE,2015:1-8. [13]㊀VINYALS O,BLUNDELL C,LILLICRAP T,et al.Matching
networks for one shot learning[J].Advances in Neural In-
formation Processing Systems,2016,29(6):1-12. [14]㊀SNELL J,SWERSKY K,ZEMEL R S.Prototypical net-
works for few-shot learning[C]//Proceedings of the
31st International Conference on Neural Information Pro-
cessing Systems.Long Beach:ACM,2017:4080-4090.
[15]㊀SUNG F,YANG Y,ZHANG L,et al.Learning to compare:
relation network for few-shot learning[C]//Proceedings of
IEEE Conference on Computer Vision and Pattern Recogni-
tion.Salt Lake City:IEEE,2018:1199-1208. [16]㊀CHU W H,LI Y J,CHANG J C,et al.Spot and learn:a
maximum-entropy patch sampler for few-shot image
classification[C]//Proceedings of2019IEEE/CVF
Conference on Computer Vision and Pattern Recognition
㊃921㊃
第61卷卢依宏，蔡坚勇，郑华，等：基于深度学习的少样本研究综述第1期

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。