2021年2月第2期Vol. 42 No. 2 2021
小型微型计算机系统
Journal of Chinese Computer Systems
—种鲁棒性的少样本学习方法
代磊超，冯林，杨玉亭，尚兴林，苏 菌(四川师范大学计算机科学学院，成都610101)
E-mail : fenglin@ sicnu. edu. cn
摘要：少样本学习是目前机器学习研究领域的一个热点，它能在少量的标记样本中学习到较好的分类模型.但是，在噪声的
不确定环境中，传统的少样本学习模型泛化能力弱.针对这一问题，提出一种鲁棒性的少样本学习方法RFSL( Robust Few-Shot
Learning).首先，使用核密度估计(Kernel Density Estimation ,KDE )和图像滤波(Image Filtering )方法在训练集中加入不同餉随
机噪声，形成多个不同噪声下的训练集，并分别生成支持集和查询集.其次，利用关系网络的关系模块通过训练集端到端地学习
多个基分类器.最后，釆用投票的方式对各基分类器的最末Sigmoid 层非线性分类结果进行融合.实验结果表明.RFSL 模型可 促进小样本学习快速收敛，同时，与R-Net 以及其他主流少样本学习方法相比.RFSL 具有更高的分类准确率，更强的鲁棒性. 关键词：少样本学习；深度学习:R-Net ；随机噪声中图分类号：TP181
文献标识码:A
文 章编号:1000-1220(2021 )02-0340-08
Robust Few-shot Learning Method
DAI Lei-chao,FENG Lin,YANG Yu-ting,SHANG Xing-lin,SU Han (School of Computer Science ,Sichuan Normal University ,Chengdu 610101 .China)
Abstract : Few-Shot Learning is a hot topic in the field of machine learning. It can learn a better classification model from a small number of labeled samples. However , in the uncertain environment of noise , the generalization ability of traditional learning model with few samples i
s weak. To solve this problem , we propose a Robust Few-Shot Learning Method ( RFSL). Firstly ,we use the kernel
sity estimation ( KDE) and image filtering to add different random noises into the training set. In this way ,the training set under dif ferent noises is formed , and the support set and the query set are generated respectively. Secondly , the relational module of relational
network is used to learn multiple base classifiers end to end through training set. Finally , we use the method of voting to merge the nonlinear classification results of the last Sigmoid layer of each base classifier. We show that with our RFSL method , our framework
can promote fast convergence of Few-Shot Learning. And compared with R-Net and other classical Few-Shot Learning methods , our algorithm has higher classification accuracy and stronger robustness.
Key words :few-shot learning ；deep learning ；R-Net ；random noise
1引言
近年来，深度学习在图像、语音、自然语言处理等多个研究 领域取得了成功应用.但是，现有的少样本
学习模型大多需要
标注足够多的训练数据，这个过程需要花费大量的人力与物 力.而少样本学习只需标i 己少量样本，就能建立具有较高识别率
的模型.因此，少样本学习成为目前机器学习研究领域的热点.
现有的少样本学习方法可总结为四类：基于元学习(Me-
ta-leaming)的方法、基于数据增强的方法、基于迁移学习
(Transfer Learning )的方法和基于度量学习(Metric Learning)
的方法.
元学习：基于元学习的目标是训练元学习模型，模型可以
在多种不同学习任务上达到很好的效果.例如记忆增强神经 网络模型(Memory-Augmented Neural Networks )是基于神经 图灵机(Neural Turing Machine,NTM )提出的，它能在外部存
储器模块作用下实现内容的存储访问⑴；模型无关自适应
(Model-Agnostic Meta-Leaming , MAML )使用少量迭代步骤
就可得到很好的泛化性能，并且模型微调简单，无需关心模型 形式，也不需增加新的参数，直接用梯度下降进行训练⑵；
Ravi 等人提出基于长短期记忆网络(Long Short-Term Memo
ry,LSTM) 的元学习(Meta LSTM)，它学习的是一个模型参
数的更新函数或更新规则，不是在多轮episodes 学习一个单 模型，而是每个episode 学习特定的模型⑶；元网络(Meta
Net)由两个学习组件组成，一个基础学习器在任务输入空间
执行，一个元学习器在任务不可知元空间执行，并且配备了 一 个外部存储器⑷；基于梯度下降(Stochastic Gradient Descent,
SGD)的元学习(Meta SGD)可以学习更新方向和学习速率，
并且可以在每个episode 中进行有效的学习⑸；转换传播网络
(Transductive Propagation Network ,TPN )在元学习框架下加
入传导机制，即标签传播来应对数据少的问题⑹.
收稿日期=2020-08-19收修改稿日期：2020-09-18基金项目：国家自然科学基金项目(61876158)资助.作者简介：代磊超，男，1994年 生，硕士研究生，研究方向为机器学习与数据挖掘；冯 林(通讯作者)，男，1972年生，博士，教授,CCF 会员，研究方向为数据挖掘；杨玉亭，女， 1995年生，硕士研究生，研究方向为人工智能与数据挖掘；尚兴林，女,1995年生，硕士研究生，研究方向为机器学习；苏 苗，女,1979年生，博 士，教授，研究方向为智能信息计算及处理、模式识别与图像处理.
2期代磊超等：一种鲁棒性的少样本学习方法341
数据增强：基于数据增强的少样本学习方法通过对数据集进行平移、旋转、变形、缩放等操作，生成更多样本以创建更大的数据集，防止过拟合⑺，例如元生成网络(Meta Genera-tive Adversarial Networks,Meta-GAN)为特定任务生成增强数据，以补充训练数据⑻.
迁移学习：基于迁移学习的方法智能地应用以前学到的知识来更快地解决新问题⑼.通过继续训练来微调预训练网络的权重来达到迁移的目的例如Hariharan B等人提出了一个由用于特征提取和分类的学习者、表示学习阶段、少样本学习阶段以及测试阶段几部分组成的深度神经网络⑴〕.
度量学习：基于度量学习的方法通过计算不同类别样本特征，使相同类别的样本彼此接近，不同样本彼此远离，例如原型网络(Prototype Network)认为每个类别都存在一个原型表达，该类的原型是支持集在嵌入空间的均值［⑵；匹配网络(Matching Network)是基于记忆和注意力机制的网络“刃；关系型网络(Relation Network,R-Net)定义了一个由用于特征提取的嵌入模块和用于计算相似度的关系模块组成的模型'⑷；元学习半监督少样本学习模型(Semi・supervised FewShot Learning,Meta SSL)利用半监督的方式对原型网络进行了改进(⑸•另外图神经网络(Graph Neural Network,GNN)定义了一个图神经网络框架，将每个样本看成图的节点，学习节点和边的嵌入，通过度量学习进行分类
上述模型均是在特征清晰且无噪声的环境下训练，以达到较好的分类目的，而在实际应用中，因为图像采集设备、自然环境、光照、姿态等诸多因素的影响，模型所处理的图像并不会像数据集中的图像一样清晰，因此在噪声的不确定环境中，模型泛化能力较弱.
为了解决这一问题，使少样本学习更具鲁棒性和可扩展性，本文提出了一种鲁棒性的少样本学习方法RFSL(Robust Few-Shot Learning,RFSL).
本文的主要贡献如下：
1)泛化性方面，采用关系网络的嵌入模块提取支持集与查询集样本特征，根据关系模块度量支持集与查询集样本的距离，端到端的训练多个基分类器，形成异构的基分类器模型.采用投票的方式对各基分类器
最末的Sigmoid层非线性分类结果进行融合.利用此方法训练可使少样本分类模型具有更强的鲁棒性以及面对新域时更好的泛化性.
2)收敛性方面，模型采用KDE与滤波技术向训练任务的数据集加入多种类型随机噪声进行训练.此方法可模糊样本特征，促进少样本学习快速收敛，同时验证噪声参与训练的方式能有效帮助模型形成多个异构的基分类器.
3)根据模型准确率、计算效率、鲁棒性、离散度多个评价指标分析模型，从而提升研究效度.
本文的组织结构如下：第2节介绍相关理论基础；第3节详细介绍了本文方法；第4节是本文方法的实验，并给出实验结果与分析；最后对全文进行总结.
2相关理论基础
2.1问题定义
为了方便叙述，用数学的形式化方法定义少样本学习的相关基本概念.
定义1.(少样本数据集)设数据集Q为一个三元组D= (x,yj)，其中：
X为输入空间，它由1X1个输入实例｛x-xwxw I构成.本文中，表示输入的图片实例.
『为输出空间，它由in个类标签｛几，乃，构成.
△x-y为信息函数，它指定x中每一个输入实例的类别标签值，即Vx.eX.Vy,e有/(x f)=丹成立.
\/刀隹『，若广'(力)=U(e XI/(x,)=yj，称广"刀)为类标签乃的实例集.
特别地，如果丨『1=C，广"”)=K，通常当K较小时，称D为C-way.K-shot少样本数据集.
其中，卜1为集合的势,i=l,2,-,IXIv=l,2,-,in.
在少样本学习中，需要在一个大的源域数据集Q,=(X”，匕小上按一定方法抽样生成多个C-way,K-shot少样本数据集，然后在这些小样本数据集上训练分类模型，并把分类模型较好迁移到目标域数据D,=(X,,r,J)±,D，与Q，需满足匕n y,=0.
定义2.(C-way,K-shot少样本训练任务、支持集与查询集)：给定数集D,=(X,,Y,,f),S”=(X S,Y S,/),Q”=(X q，勒，力，从Y s中随机抽取C个类｛”lj=l,2,…，C|，一个C-way,K-shot少样本训练任务定义在T=(S”,Q”)上，满足：
①人=沧=｛皿=1,2,…,C｝；
②Vy”wys,f'(y”)i=K；
③Vy.e y Q,I/-1(>,)I=«；
④s”n q 0
其中,s”、q”分别称为训练任务支持集、査询集.
定义3.(C-way.K-shot少样本测试任务、支持集与查询集)：给定数据集D,=(X…Y,,f),S”=(Xd/)，a=(X*，乔，刀从y，中随机抽取c个类｛=个C-way,K-shot少样本测试任务定义在R=(S”,Q”)上，满足：
①£=『》=卜』=1,2，…，C｝；
②Vy”w/,ir(y”)l=K；
③巾飞賂1厂(儿)1=7；
④S”g=0・
其中，兀、!2“分别称为测试任务支持集、査询集.
定义4.(C-way,K-shot少样本学习)：给定训练任务集合Tasks=｛(S”，Q”)｝、测试任务集合Tasks=, C-way,K-shot小样本学习任务是在多个训练任务的数据上，学习一个分类函数F'，并在测试任务的支持集S
”上，学习分类函数广=F*(S”)，使广完成对测试任务中査询集的分类.其学习过程如下：
①训练阶段：定义一组学习分类函数F及F的损失函数厶，对每一个训练任务k e Tasks，利用支持集S”，生成= F(S”)，并在查询集Q”上计算f的损失I”然后计算训练任务集合上的损失函数厶(F)=工：丁I，并最小化L(F)，生成
训练任务集合上的分类模型F*=arg minL(F).
F
②测试阶段：对测试任务集的测试任务，利用支持集
生成分类模型r=F\S u)，然后使用査询集Q”完成对f的评估.
特别地，在训练F*的过程中，如果涉及模型超参数的调
342
小型微型计算机系统
2021 年
整，也可以把训练任务集再划分为训练任务集与验证任务集.
对于定义4中少样本的定义，存在两种特殊的情况：
当K 为1时称此任务为单样本学习，每次训练只给出一 个类的单张图片作为支持集，剩下的图片作为查询集.
少样本学习另一种特殊情况为零样本学习，零样本学习
并不是完全不需要训练样本，而是研究对于特定类训练样本 缺失时，利用训练集样本和样本对应辅助文本描述、属性特征
信息对模型进行训练.
2.2深度卷积神经网络
卷积神经网络(Convolutional neural networks ,CNNs )1181 是深度学习中代表算法之一.如图2为卷积神经网络关键流 程,CNNs 在处理图片这种二维结构数据取得巨大成功，它可 将图片的多层二维数据通过卷积、正则化、池化、非线性激活
函数映射以及全连接网络，提取出高层的语义特征.模型所涉 及的卷积、池化以及激活函数如公式(1)-公式(4)所示.
卷积公式：定义Cov =A mx … 为卷积操作，其中A ”*”表示mxn 的输入矩阵,®表示卷积运算符，仗“表示卷积核(大小 为k xl),Cov 表示卷积后的矩阵V i e [O.m), VJ e [0,n)，得：
Cov(i,j)=右 A (i-k,j-l)B(k,l)
(1)
最大池化公式：定义P = MAP(A ”*”,B*“)为最大池化操 作，其中MAP( • ,•)表示最大池化运算符，表示mxn 的 输入矩阵,“表示池化核(大小为kxl),P 表示池化后的矩 阵.Viw[0,m),Vjw[0,n)，可得：
h-minMZSE(h) = minfij (/(x) -/(x))'必
(5)
图1 RFSL 方法流程图
Fig. 1 Flow chart of RFSL method
核密度估计公式：定义G=p(x)为核密度估计，其中x 为 样本点,P (・)为核密度估计操作符,G 为核密度估计结果.对
于确定h 和核函数K(x)，若K(x) 3=0, fK(x)dx = 1, ]xK(x)dx = 0，lx 2K(jc)dx > 0，有：
P (x )=昇存(宁)
⑹
图像滤波噪声添加方式：利用不同核的滤波器，采用图像 滤波(Image Filtering)技术对图像像素矩阵进行卷积处理，具
体步骤为：首先读入图片得到其像素矩阵.其次，选用不同类 型滤波器卷积核并定义卷积核大小.最后，对每一像素点，将
其邻域像素与滤波器矩阵对应的元素做乘积运算，相加后作
P(i,j)=噜(A(i-kJ-l))
(2)
Sigmoid 函数公式：定义S = Sigmoid (i)为Sigmoid 激活操
作，其中Sigmoid^ -)表示Sigmoid 运算符,S 表示激活后的数 值.Vi，有:
5(0
(3)
1
ReLU 函数公式：定义R = ReLU(i)为ReLU 激活操作，其
中ReLUQ )表示ReLU 运算符,R 表示激活后的数值.V i ，有：
/?(/) =max(0,i)
(4)
2.3核密度估计与图像滤波方法
核密度估计的随机噪声添加方式：首先，读入图片得到其
像素矩阵.其次，选用不同类型核函数K( •)，利用平均积分
平方误差(Mean Interguated Squared Error,MISE)确定核函数 带宽h.然后，利用该核函数对像素值做核密度估计(Kernel
Density Estimation,KDE)，计算和筛选相应像素值.最后，转
化添加噪声后的矩阵为对应图片并输出.平均积分平方误差
如公式(5)，核密度估计如公式(6).
平均积分平方误差公式：定义h=MISE(x)，其中x 为样
本点,MISE(-)为平均积分平方误差操作,h 为选定的带宽值,
对于核函数K(・)，对任一给定样本点的概率密度f(x)与拟
合后的核计算概率密度值/'(x)，有：
为该像素位置的值.图像滤波公式如公式(7).
图像滤波公式：定义K = O(i,j)为滤波操作，其中(ij)
为像素在图片中的位置,O(・)为滤波操作,K 为滤波结果.对
(ij)，给定核函数K(m,n) ((m,n)为卷积核中位置，中心坐
标为(0,0))和与核函数对应像素值l(i + mj + n)，有：
O(i,j)=(7)
3 RFSL 模型
RFSL 模型的总体结构如图1所示，它分为关系网络和融
合模型两部分.本节先对两部分内容进行介绍，然后再对
RFSL
模型进行详细描述.
2期代磊超等：一种鲁棒性的少样本学习方法343
3.1关系网络
关系网络(R-Net)""是一个深度卷积神经模型，其结构包括嵌入模块和关系模块两部分.嵌入模块用于特征提取，包含四个卷积层，前两个卷积层后会有一个池化层；关系模块用于度量图片相似度，包含两层卷积和两层全连接，每个卷积层后会有一个池化层.网络中卷积层均为64个3x3的滤波器，池化层均为2x2
的最大池化.
嵌入模块心和关系模块乔，具体网络如图2所示.X,,X，分别位于支持集S”和査询集Q”中,X,.,%输入嵌入模块几，形成两个特征映射人(X,)，几(召)，然后通过算子C伉(X,)/ (X』))结合,C(・,•)为串联方式.将组合算子C(人(X,)，几(X」))输入关系模块g”计算两特征的相似度，形成0到1范围内的标量，即关系分数.一个输入的支持集样本X，和查询集样本Xj 形成一个关系得分叽，关系得分如公式(8).
卷畤
卷噱盘X3吨亘巫即激活函数:ReLU
卷畴
卷积核尺寸3x3
昨准化
激活函数ReLU
T2x2最大池花卜
卷臟
卷积核尺寸3x3
畤准化
激活函数:ReLU
卷眸
卷积核尺寸3x3
瞒准化
激活函数:ReLU 嵌入模块
卷砒
卷鑒蠶辭吨連卧激活函数:ReLU
-|2><2最大池化卜[
卷畴
卷积核尺寸3x3
瞒准化
激活函数:ReLU
FC RcLU，卜|FC Sigmoid,8X11关系模块
图2嵌入模块与关系模块网络结构图
Fig.2Network structure of embedded module and relationship module
加=g"(C(几(X,)，E(X/))),i=1,2，…,C(8)目标函数使用均方误差(Mean Square Error,MSE)损失和梯度下降训练模型，将关系得分％/结果进行独热编码：匹配对相似度为1，不匹配相似度为0，均方误差损失函数如公式(9).
a r
炉妙—argmin》V(巾j-l(y,==y；))2(9)
g E j=i
3.2融合深度神经网络
集成学习是利用多个不同的基学习器解决同一任务，从而提高模型的泛化能力"L集成算法需要解决的两个问题：一是如何构建具有差异性的基学习器；二是如何进行学习器的融合.结合少样本学习算法对数据敏感的特性，利用随机噪声技术训练了一种鲁棒性的少样本学习模型.
具体训练策略见3.3算法1.模型采用2.3节中核密度估计与图像滤波方法添加随机噪声.在实验中，做了同核不同参数的Gaussian核函数及不同参数的bilateralFilter对图像进行双边滤波，发现参数的调整对实验准确度和融合效果整体影响较小，因此选用多种类型核函数以及其他不同类型噪声参与训练，主要包括：Gaussian、bilateralFilter、poisson、salt、pepper salt<S5)epper.spakle、pepper,blur Jocalvar、sharpening等.
融合阶段:RFSL对基分类器最末的Sigmoid层结果采用相对多数投票法(PluraUty Voting).具体做法：首先，将多个基分类器关系模块结果的关系得分"相加，得到多基分类器Sigmoid层结合结果.然后，选择后验概率相对最大的类别结果作为最终结果.相对多数投票法公式如公式(10).
相对多数投票公式：定义H=c(X)为相对多数投票操作，其中X表示单个基分类器结果的输入,c(・)表示相
对多数投票运算符表示投票后的结果，若同时有多个得票最多时，则随机选一个.Viw[l,N],Vjw[l,C],E(X)w[0,l]，有:
日=兮富=冲*>(10)
3.3RFSL算法
算法1：RFSL训练策略.C为分类种类,K为每类所取样本个数,N为集成规模.Times为训练次数，为损失函数收敛阈值.输入擞据集D=(X,y,C，参数C、K、N、Times、e.输出：少样本模型C'.
Step1.根据定义1，划分数据集D为训练集D s、测试集D,；Step2・For i=1To N
2.2.
Forj=lTolX,l
2.2.1.X。=random_noise(X,?)//为训练集图片加入随机噪声正则化项鲁棒性
End For
2.3.建立并行线程Mod"，并行训练(2.4-2.13);
2.4.weight_init((1)
2.5.根据定义2，随机划分D s为支持集S”和査询集Q lr；
2.6.While{Times>0)
2.7.随机选取支持集》中实例Xs，输入Q的嵌入模块•按图2结构计算禺特征豆：
2.7.\.out=ReLU(X a^)H l>)
2.7.2.out=MAP(out,H2)
2.7.
3.out=ReLU(out^H3)
2.7.4.out=MAP(out,774)
2.7.5.out=ReLU(out^H5)
2.7.6.out=ReLU(out^H6)
2.&随机选取査询集Q”中实例X q，输入O的嵌入模块•按图2结构计算X q特征僕；
2.9.拼接为联合特征矩阵g，输入H的关系模块•按图2结构计算样本集实例与査询集实例相似度V：
2.9.l.out=ReLU(X a^H1)
2.9.2.out=MAP(out,Z/8)
2.9.
3.out=ReLU(out^H9)
2.9.4.out=MAP(out,H l0)
2.p=ReLU(temp•)
2.9.6.77=Sigmoid(temp•W2)
2.10.7)为一高维矩阵，每行中每一元素表示样本实例与査询实例相似度，取每行最大相似度所对应标签类别为该样本实例预测标签，记样本实例预测标签为卩，真实标签为
2.11.loss=MSE(Y a,Y');〃采用均方误差作为关系网
344小型微型计算机系统2021年
络损失函数.
2.12.If(Tfme>0||MSE(Y,Y r)>0)
2.12.1.Times=Times-1
2.12.2.利用梯度下降反向传播loss值，调整Q 参数；
End If
2-13.输出当前模型fl,;
End For
Step3.采用投票模型，融合基网络模型得最终少样本模型0';
Step4.输出少样本模型O'，算法停止.
4实验及结果分析
为了RFSL方法的效果，实验分为三个部分，即实验1、实验2和实验3.实验1将RFSL和现有主流少样本学习方法的分类效果进行对比；实验2分析了RFSL分类效果与集成规模N之间的关系；实验3是探究随机噪声对R-Net模型的性能影响以及异构有效性的分析.
数据集:miniImageNet〔m和Omniglot!21］是研究少样本学习算法的两个经典的公开数据集.minilmageNet数据集最初由Oriol Vinyals等人提出，由60000张彩图片组成，包含100个类，每个类包含600个示例，每个类之间的分步差异性很大. Omniglot数据集包含来自50种不同字母的1623个不同手写字符(类)，每个字符(类)包含由不同人绘制的20个样本.
实验方法：对于minilmageNet数据集，我们按照文献［14］提出的拆分规则，将其分为64个、16个和20个类进行训练、验证和测试,16个验证集用于检验模型的泛化性能.实验中，随机噪声在训练集加入，验证集和测试集保持与对比模型相同.对Omniglot数据集，使用1200个原始类别加旋转和随机噪吏进行训练，其余423个类加旋转保持与对比实验相同进行测试.
设置：随机选取C个类，每个类选取K个样本作为支持集，剩余样本选择q作为查询集，支持集与査询集见定义2、3.对于minilmageNet数据集，除了K个样本,5-way1-shot包含15张查询图片,5-way5-shot包含10张查询图片.例如,5-way1-shot每个训练批次共需15x5+1x5=80张图片.对于Omniglot数据集，除了K个样本，5-way1-shot包含19张査询图片,5-way5-shot包含15张查询图片,20-way1-shot包含10张查询图片,20-way5-shot需要5张查询图片.例如,5-way 1-shot需19x5+1x5=100张图片.
本文实验采用的硬件环境为NVIDIA Tesla K80GPU显卡；软件环境为Linux系统,Python语言和Pytorch深度学习框架.
4.1实验1：RFSL方法分类效果验证
实验1的主要目的是测试RFSL方法的分类效果并与现有的少样本学习方法进行了对比.具体参数的设置保持与文献［14］相同，分C=5,K=1和C=5,K=5进行训练并做对比实验.同时，对Omniglot数据集增加分类难度更高的C=20,K=l和C=20,K=5两对比实验.
实验步骤如下：
Step1.取N=10,C=5,Times=500000，分别输出当K=1、5时,minilmagentNet数据集的O1，和；
Step2.取N=10,C=5,Times=1000000，分别输出当K=l、5时,Omniglot数据集的O'和0；；
Step3.取N=10,C=20,Times=1000000，分别输出当K=l、5时,Omniglot数据集的£1；和“6；
利用minilmagentNet数据集随机产生的测试集进行10次测试，每次测试600个episodes，计算和的识别率，然后分别取其10次的平均值作为最终分类结果.对于Omniglot数据集，每次测试1000个episodes，计算心‘①；的识别率，并取10次的平均值作为最终分类结果.
表1Omniglot数据集下RFSL方法与目前主流
少样本学习方法准确率对比
Table1Comparison of the accuracy of RFSL method
and the current mainstream Few-Shot learning method
in Omniglot dataset
Model
5way准确率(％)20way准确率(％)
lshot5shot lshot5shot Matching NeW】9&198.993.898.5 MAML⑵98.7±0.499.9±0.195.8±0.398.9±0.2 Meta Nets⑷99.0—97.0—
Pro-Nets〔⑵98.899.796.098.9 Convolutional Siamese
Nets t23]
97.398.488.197.0 Siamese Nets with
Memory24
98.499.695.098.6 Neural Statistician25】9&199.593.298.1 gnn[,6]99.299.797.499.0 Meta SSL[I5]97.5±0.07———
R-Net[14]99.6±0.299.8±0.197.6±0.299.1±0.1 Meta SGD⑸99.5±0.2699.9±0.0995.9±0.3899.0±0.19 RFSL99.7±0.01999±0.0199.1±0.0199.6±0.03
minilmagentNet和Omniglot数据集的分类具体对比实验结果分别如表1、表2所示.
从表1中可以看出，对于Omniglot数据集，在C=5,K= l；C=5,K=5；C=20,K=l；C=20,K=5参数设置下,RFSL 方法均达到了99%以上的准确率，且均超过其他主流的少样本算法.尤其是在难度较高的C=20,K=1参数设置下,RF-SL方法准确率也能达到99.1±0.01%，比目前最好的R-Net 高出约2个百分点.这说明RFSL在面对灰度图的新域时，表现出了较好的准确率和泛化性.
minilmagentNet数据集分布差异较大，是检验少样本分类器性能的重要标准数据集.从表2中可以看岀,C=5,K=1设置下，模型准确率达到了(53.52±0.11)%，比R-Net(50.44±0.82%)准确率高出3个百分点，且分类准确率超出现有主流的其他少样本方法;C=5,K=5设置下，模型准确率达到了(69.54±0.31)%，比R-Net(65.32±0.70)%准确率高出4个百分点，同样超出现有主流的其他少样本方法.实验结果表明，RFS
L在数据集分布差别较大的minilmagentNet数据集上，取得了比目前主流分类器较好的分类性能.同时，结合表1、表2还可以看岀.RFSL模型的标准差较小，说明分类结果离散度更
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论