《工业控制计算机》2021年第34卷第1期
近年来，深度学习(deep learning)技术在图像分类、目标
检测等视觉领域取得了巨大的成功，准确率越来越高。深度模型
通过在大量标注数据中训练，迭代更新模型参数，从而学习到各
目标的分布信息。这种方法存在着一些问题，模型训练过程中需
要大量训练数据，训练时间长；训练好的模型对任务的适应性
差，当分类任务发生改变时需要对模型进行重新训练。随着对深
度学习研究的不断深入，如何降低模型对数据的需求量、提高模
型的学习速度，使模型能够快速适应新任务成为深度学习的难
题。解决这些问题的关键是减少模型的训练数据，在给定少量标
注样本的情况下，模型可以正确识别目标。这对深度学习来说可
能是困难的，然而对人类却是非常容易。人类仅从几张图像中学
习目标后，便可识别出目标，甚至只需要知道目标的属性描述。
即使是儿童，在书中看到“斑马”的图像或听到斑马的描述“看起
来像一个有条纹的‘马’后”，便可轻松生成斑马的概念[1]。人类的这种小样本识别能力归因于其对已知事物观察的丰富经历,
这种经历使得在观察新目标时只需要很少的样本便可获得目标
的关键信息。由于传统的深度学习方法不能应用在少量样本中,
受到人类小样本学习能力的启发，国内外学者开始关注对小样
本学习(few shot learning)的研究。
目前基于小样本的学习模型可分为数据增强(data aug⁃mentation)、元学习(meta learning)、度量学习(metric learn⁃ing)三类。考虑到限制模型性能提升的原因是缺少训练数据，数据增强可以在一定程度上减少模型的过拟合现象，文献[2]通过对图像进行旋转、平移、缩放等操作来扩充训练集数量，由于原始
数据较少，导致可扩充的样本空间有限，这种方式不能完全解决过拟合问题。元学习(meta learning)[3-6]的方式是学习任务之间的相似性，比较适用于小样本学习。通过学习初始化条件[3-4]、任务层面的更新策略[3]或RNN(recurrent neural network)构建外部存储器[5-6]来记忆大量样本供测试时对比，这些方法在小样本识别中取得了较好的效果，然而RNN的引入导致模型结构较为复杂，并且效率低下。度量学习是一种简单高效的学习方式，通过嵌入网络(embedding network)学习样本在嵌入空间的特征向量，直接通过最近邻计算完成目标的识别。
度量学习中具有代表性的模型是文献[7]提出的匹配网络(Matching Networks)，该模型的最大贡献是提出了通过采样小批量数据的方式模拟测试任务，这种训练策略使得模型的训练环境和测试环境更接近，提高了模型的在测试时的泛化能力。另外提出了适用于小样本学习任务的数据集MiniImageNet，在小样本学习研究中被广泛使用。文献[1]考虑到现存的度量方法难以衡量嵌入空间中样本之间的距离，提出关系模型(Relation Network)。通过一个非线性模型计算图像之间的关系，并利用数据驱动的方式学习度量模型。
本文基于匹配网络模型[7]的训练方法，受相关性[1]思想启发提出权重融合网络，针对其使用简单求和表示类别属性，不能有效地平衡不同属性之间的关系，提出特征权重的概念。不同样本表示的属性不同，对应的特征应具有不同的权重，根据不同特征的权重融合支持样本所具有的特征。此外考虑到目标的属性应该是多层次的，本文在特征提取模块实现了对不同层次特征的融合。权重融合网络包含三个串联的
模块：嵌入模块、融合模块和相似性模块。嵌入模块提取支持样本的嵌入向量，融合模块将多个嵌入向量进行加权融合，最终通过相似性模块计算测试样本在各类的得分。在MiniImageNet数据集上的测试结果表明该方法达到目前已知的最好性能。
1方法
1.1问题定义
小样本学习通常会使用三个数据集，训练集(training set)、支持集(support set)、测试集(testing set)，其中所有样本各不相同。支持集和测试集有着相同的标签空间。训练集有着独立的标签空间，与支持集和测试集没有任何关联。假设支持集中包含C个独立的类别，每类包含K个样本，我们将小样本学习中的这种分类问题定义为C-way-K-shot。训练阶段，随机从训练集中选择C类对象，并且每类对象随机选择K个带有标签的样本，构成样本集(sample set)S=邀(x i,y i)妖i=1m，其中m=K×C。然后
基于特征融合的小样本学习
Few-Shot Learning Based on Feature Fusion
张智辉(上海市智能制造及机器人重点实验室，上海大学机电工程与自动化学院，上海200444)
摘要：深度学习是通过大量标注数据训练模型，从而使得模型能够准确预测未知目标。样本数据的收集与标注需要耗费
大量时间，并且在某些特殊场景下难以获取大量的标注数据，因此如何基于小样本训练模型变得至关重要。针对这一问题,
提出基于特征融合的模型，融合方式主要体现在两方面，一是在特征提取模块融合多层次特征，二是样本融合模块综合多个
样本特征。实验通过MiniImageNet数据集对提出的模型进行测试，验证了该方法的有效性。
关键词：小样本；度量学习；特征融合
Abstract押Deep learning is to train a model with a large amount of labeled data熏so that the model can accurately predict unseen object.The collection and labeling of sample data are time consuming熏and it is difficult to obtain a large amount of labeled data in some special scenarios熏therefore how to train a model based on small samples becomes very important.To solve this problem熏a model based on feature fusion is proposed in this paper.The fusion method is mainly reflected in two aspects押one is to fuse multi-level features in the feature extraction module熏and the other is to integrate multiple sa
mple fea⁃tures in the sample fusion module.Experiments have been carried out to validate the effectiveness of the proposed model.
Keywords押few-shot learning熏metric learning熏feature fusion
61
基于特征融合的小样本学习
从这些C类中剩余样本中选择K′个样本作为查询集(query
set)Q=邀(x j,y j)妖j=1n，其中n=K′×C。样本集和查询集分别用于模
拟在测试阶段使用的支持集和测试集。模型在训练时会使用不
同类别组合，因此模型学到的是一种与类别无关的先验知识。
1.2模型
本文提出模型的整体结构如图1所示，包括嵌入模块fθ(·)、
权重融合模块gφ(·)和相似性模块hω(·),θ、φ、ω分别为三个模
块对应的参数。嵌入模块用于映射各样本特征，得到支持样本的
嵌入向量和测试样本的嵌入向量，在嵌入空间以高层次的属性
表征样本特征，忽略样本中环境的变化，关注样本中目标的属
性。支持样本的嵌入向量经过样本融合模块获得类级特征，将样
本不同视角的特征进行整合，对目标的描述更全面。相似性模块
计算测试样本嵌入向量与各类级特征的相似性。最后使用提出
的损失函数计算模型预测的损失值，并利用反向传播(Back
Propagation)算法更新模型。
图1特征权重融合网络整体架构
目前度量学习模型的嵌入模块比较简单，大多是通过四个卷
积块叠加获取嵌入特征，只能提取单一级别的特征，获得的嵌入
特征具有局限性。考虑到模型的深度和模型的表达能力，我们使
用两个级别的特征作为嵌入输出。样本图像x首先经过f′θ1(·)获
得局部级嵌入特征，局部级特征经过f″θ2(·)获得目标级特征，然
后将两级特征通过I(·,·)操作进行组合，我们假设I(·,·)是对嵌
入特征在深度方向进行拼接。最终嵌入特征X如式(1)所示。
X=fθ(x)
fθ(x)=I(f′θ(x),f″θ(f′θ(x)))
{(1)
其中θ1、θ2分别表示表示嵌入模块f′θ和f″θ的参数。
嵌入模块结构如图2所示，前四个卷积块构成嵌入函数f′θ(·),
与大部分小样本学习模型的嵌入模块相同。前3个卷积块都包
含一个核为3×3、输出为64通道的卷积层，一个批量正则化层,
一个Relu非线性层。第1、2个卷积块后面添加一个核为2×2
的最大池化层。为保证嵌入模块输出的最终特征数量与其它模
型相同，第4个卷积块由一个32通道、核为3×3的卷积层，一
个批量正则化层，一个Relu非线性层和一个核为2×2的最大
池化层组成。为获取更多层次特征，添加第5个卷积块以及随后
的反卷积层作为嵌入函数f″θ(·)，卷积块5包含一个核为3×3、
输出通道为32的卷积层和批量正则化层，以及一个Relu层。反
卷积层将第5个卷积块输出特征尺寸恢复到与第4卷积块相同
尺寸，并与第4卷积层输出特征在通道方向拼接。
针对关系模型中未考虑多个支持样本嵌入特征的融合方
式，而是将嵌入特征进行求和表示类级特征。由于不同样本具有
不同的视角，嵌入空间所获得的特征会出现局部重叠，直接对提
取的特征进行求和会改变不同特征之间的比重，影响模型的性
能。我们提出的样本融合模块gφ(·)，由一个正则化层和一个卷
积层组成，将样本根据对应的不同权重进行融合，获得融合特征
Y，如式(2)所示。
Y=gφ(X)
gφ(X)=g c(g n(X))⊗X
{(2)
其中⊗表示将矩阵对应元素相乘,g c和g n分别表示卷积层
和正则化层。正则化层首先统计单一特征在不同样本中的分布
情况，然后对所有的嵌入特征进行批量正则化，使得各种特征具
有相同的分布，即:
X′
i
=αX^
i
+β
X^
i
=X i-μ
δ2-ε
√
μ=1k k i=1∑X i
δ2=1k k i=1∑(X i-μ)2
⎧
⎩
⏐⏐
⏐⏐
⎨⏐
⏐⏐
⏐
(3)
其中,X i′表示正则化特征,α、β为待学习参数,X i为初始嵌
入特征,μ为嵌入特征的批量均值,σ为标准差,k为批量样本数
量,ε为极小常数，取值为10-5。为更好地利用不同样本的特征,
通过样本各属性的权重计算类级属性。
样本融合模块结构如图3所示，嵌入模块依次经过批量正
则化层和一个核为3×3、输出为64通道的卷积层获得每个特征
值对应的权重，最终乘法器根据各样本权重计算特征的加权和,
生成用于计算相似性的类级特征。
图3样本融合模块
大多数小样本学习方法使用常用的距离函数计算样本之间
的相似性，如欧氏距离、余弦距离，这种方式可以称为度量学习。
所有的学习集中在特征的嵌入过程，使用固定的距离函数进行分
类。不同的距离函数具有不同的使用场景，会影响模型的性能。我
们使用一个可学习的函数作为度量模型hω(·)，利用数据驱动的
方式学习模型的参数ω。融合后的类级特征和测试样本嵌入空间
的特征利用I(·,·)操作在深度方向进行拼接，然后输入到度量模
块，最终生成一个0到1的数值表示查询样本x i与支持样本x j的
相似性r i,j，如式(4)所示。因此在C类的环境中，我们会生成C种
相关性得分，表示测试样本与各支持样本的关系。
r
i,j
=hω(
I(Y i,Y j))(4)图2嵌入模块
62
《工业控制计算机》2021年第34卷第1期
相似性模块使用文献[1]提出的架构，包含两个卷积块和两个全连接层，卷积块与嵌入模块中使用的相同，并且每一个卷积块后面使用一个2∗2的最大池化层。第一层全连接层具有8个神经元，使用Relu 非线性函数。第二层全连接层只有一个神经元，使用Sigmoid 非线性函数，形式如图4所示。
图4相似性模块
1.3损失函数
为避免模型在小样本学习任务中产生过拟合，我们使用均方差加L2正则化约束作为损失函数，提高模型的泛化能力。将相似性得分r i ,j 回归到真实值：当类别匹配时真实值为1，不匹配时为0，最终目标函数如下:
φ,θ,ω←argmin φ,θ,ω
m
i =1∑n
j =1∑r i ,j -r ^()2
+λ‖φ‖22+‖θ‖22+‖μ‖22
()(5)其中λ为正则化惩罚系数，经过多次实验确定取值为0.1,
r
^=1,y i =y j
0,y i ≠y j正则化描述正确的是
{
,y i 和y j 分别为查询样本和支持样本的类别,m 为查
询集Q 中样本的数量,n 为支持集S 中样本类别数。
2实验2.1数据集
MiniImagenet 数据集是由文献[7]提出，是从一个更大的数据集ILSVRC-12中截取部分图像，总共包含60000张尺寸为84∗84的彩图像，被分成了100类每类600张图像。为了能够与其他优秀的小样本学习算法进行比较，使用文献[3]提出的划分方法。使用其中64类用于训练,16类用于验证,20类用于测试。2.2实验设置
为了验证所提出方法的性能，使用了在小样本学习研究中通用的数据集MiniImagenet ，所有实验基于Pytorch 框架实现，整个实验使用SGD (Stochastic Gradient Descent )优化器，初始化学习率使用经验值10-3，每迭代20000epochs 学习率衰减一半，设置最大迭代次数为100000。2.3模型与样本数量关系
基于图像识别领域，训练样本的数量对模型性能具有重要影响，我们探究模型性能与融合样本数量的关系。使用5-way-k-shot 的模式，其中k=1、5、10、15、20、25类别查询数量为15张图像。表1展示了仅使用特征级融合和特征级融合+样本级特征融合两种方案在不同融合样本数量情况下的性能。从表中可以看出，随着融合样本数量的增多我们所提出模型准确率得到提升，当融合样本数量到达20时模型的性能基本趋于稳定，对应准确率分别为74.54%和76.50%。受模型拟合能力的影响，当样本数量过多时，模型不能提取更多有效特征，从而导致模型性能不再提高。
图5表示模型同时使用特征级融合和样本级融合方式，在不同融合样本数量下模型精度与训练轮数之间的关系，横坐标
为训练轮数，纵坐标为模型的准确率。从图中可以看出在训练的前10000轮，模型准确率的提升速度随着融合样本数量的增多而增加，随后不同融合样本数量下模型收敛速度以相同的趋势发展。当训练轮数超过40000轮时，模型准确率基本趋于收敛，不再具有训练价值。
图5准确率与训练轮数关系
2.4模型对比实验
为探究所提出模型及的性能，挑选了当前最优秀的模型，包括Matching Nets [7]、MAML [4]、Prototypi
cal Nets [8]、Relation Net [1]。为使数据具有可比性，采用与基础模型相同的训练条件，分别进行了5-way-1-shot 和5-way-5shot 模式的分类，另外每轮训练每类使用15个图像作为查询样本。也就是说对于5-way-5-shot 模式，每轮训练共使用5×5+5×15=75张图像。在测试时5-way-1-shot 和5-way-5-shot 两种情景每类都使用15张查询图像，将测试集随机生成的600轮分类准确度的平均值作为最终分类精度。表2介绍了基准模型和我们所用模型在5-way-1-shot 和5-way-5-shot 两种模式下的测试精度。
表2MiniImagenet 数据集小样本模型分类精度
从表2中可以看出，在两种模式下我们提出的模型都达到了最优秀的性能。在特征提取模块使用两级特征融合的方式获得51.36%的准确率，实验结果表明，图像的多级特征使用了样本的不同层次的特征，同时包含了全局特征和局部特征，对目标的描述更为全面，可以提高模型的特征表示能力，比当前最优性能50.44%提高了0.92%。由于我们提出的特征融合+样本融合的方式需要多张图像，因此在5-way-1-shot 模式下的性能与仅在特征融合模式下相同。在5-way -5-shot 下获得了68.43%准确率，比最优秀性能原型网络的68.20%高0.23%，然而，原型网络的结果是通过20-way-5-shot 的方式训练，这种方式增加了单次训练使用的样本数量，减低了模型的训练速度，因此，特征融合+样本融合方式对模型性能提升具有重要作用。分析原因可知，不同样本图像所表示的属性特征会有不同，通过提取样本各类特征在待融合样本中的权重，可以使得融合后的特征更接近目标真实特征。3结束语
本文基于匹配模型的训练模式提出基于权重的特征融合模型，针对现有模型使用单一层次的特征，提出改进的嵌入模块,
(下转第66页
)
表1MiniImagenet 数据集不同样本数量分类精
度63
(上接第63页)
通过融合多层次特征提高模型的特征表达能力；提出通过基于权重的方式对多样本特征进行融合，提高了模型对不同样本特征的综合能力。实验结果表明，本文提出的模型解决了现有模型的一些不足的问题，在小样本分类中具有更高的精度。
参考文献
[1]F Sung熏Y Yang熏L Zhang熏et al.Hospedales熏Learning to Com⁃
pare押Relation Network for Few-Shot Learning眼C演//2018IEEE/ CVF Conference on Computer Vision and Pattern Recogni⁃tion熏2018押1199-1208
[2]P Simard熏D Steinkraus熏J Platt.Best practices for convolutional
neural networks applied to visual document analysis眼C演//Sev⁃enth International Conference on Document Analysis and Recognition Proceedings熏2003押958-963
[3]S Ravi熏H Larochelle.Optimization as a model for few-shot
learning眼C演//5th International Conference on Learning Repre⁃
sentations熏2017
[4]C Finn熏P Abbeel熏S.Levine.Model-Agnostic Meta-Learning for
Fast Adaptation of Deep Networks眼C演//34th International Conference on Machine Learning.2017押1856-1868 [5]S Adam熏B Sergey熏B Matthew熏et al.One-shot Learning with
Memory-Augmented Neural Networks眼C演//33nd International Conference on Machine Learning熏2016押1842-1850 [6]G Cheng熏P Zhou熏J Han.Duplex Metric Learning for Image Set
Classification眼J演.IEEE Transactions on Image Processing熏2018熏27穴1雪押281-292
[7]O Vinyals熏C Blundell熏T Lillicrap熏et al.Matching Networks for
One Shot Learning眼C演∥In Advances in Neural Information Processing Systems熏2016押3630-3638
[8]S Jake熏K Swersky熏R Zemel.Prototypical networks for few-shot
learning眼C演∥Advances in Neural Information Processing Sys⁃tems熏2017押1856-1868
[收稿日期:2020.11.9]
从图5中可以得到:
q̇measured q̇
true =1
1+k
bias
p-1
=p
p+k
bias
(30)
其截止频率为:
ωc=k bias(31)由于式(30)具有高通滤波特性，可以预见，在四元数滤波器中加入偏差估计意味着它将不再是互补的[6]。因此，式(16)中的k必须大于零。需要指出的是，如果k太大，滤波器可能会失去稳定性，或者将引入更大的误差。因此，对于每一个给定的k blas，都有一个最佳的k值。在实验研究中，可以通过动态调整来选择合理的k值。
2测试结果
传感器部件由一个微机械三轴加速度计、一个三轴磁力计和一个三轴角速度传感器构成，并放置在用泡
沫包裹的轻盒里，以防止冲击损伤传感器。传感器的模拟输出范围是直流0~5V，通过彩排线连接到了A/D转换器，再连接到16位PCI接口数据读取卡，从而输入计算机。方位感知系统用VC++编译器实现，设计为可以使用多个惯性传感器。
系统测试在旋转桌上进行，可以测量的角速度变化范围在0.001到80°/s，测量精度为0.001°。为了减小电、磁场对磁力计的影响，整个测试装置处于电磁屏蔽环境中。
测试的过程包括传感器反复滚动、旋转、直线运动，角速度控制在10~30°/s，整个测试中，滤波器的刷新频率都是50Hz。
图6是测试的典型结果，平滑的曲线反应了系统良好的动态响应，测试精度在1°以内。每次启动测试时都可观察到较小的冲击响应，表明在测试的初期，加速度的影响较大，可以通过对滤波器时间常数和增益值的优化，减小这种影响，从而进一步提高精度，改善动态响应。在定性测试中，四元数滤波器在跟踪俯仰角等于或超过90°的方向上没有任何困难。
图645°滚转，速度为10°/s
3结束语
混合惯性跟踪减小了对外部源信号的依赖，可克服时间延迟对系统性能的影响。本文介绍了一种用于机
械臂方位惯性跟踪的四元数姿态滤波器，提供了一种精确确定机器臂末端执行器位置和方向的方法。如果不考虑偏差补偿效应，滤波器是互补的。在线性化最小二乘回归分析的基础上，采用高斯-牛顿迭代进行滤波误差校正，可进一步减小误差。本文还介绍了基于四元数滤波器的跟踪系统，测试结果表明该滤波器动态响应良好。
参考文献
[1]樊海红，康天桂，张培珍，等.太阳方位双模式跟踪系统研究[J].现代
电子技术,2020,43(16):51-55
[2]曾祥旭，章新华，，等.基于干扰方位跟踪的自适应干扰抑制方法[J].声学技术,2017,36(3):293-296
[3]蒋富勤，朱鲲，祝献.一种改进的多假设跟踪算法[J].声学与电子工
程,2014(1):9-12
[4]潘森，高婧婧，许孝芳，等.多星敏感器地面热漂移标定位置误差检测
研究[J].激光技术,2020(6):664-667
[5]郭鲁奇，顾强，赵意鹏.四旋翼无人机飞行控制系统设计[J].河北农
机,2016(2):28-29
[6]易凡，邓方，张培健，等.基于STM32四轴飞行平台[J].电子设计工
程,2017,25(14):179-182
[收稿日期:2020.11.15
]
基于四元数算法的方位跟踪滤波器
设计图5偏差估计滤波器的信号流图
66

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。