第47卷第2期
Vol.47No.2计算机工程Computer Engineering
2021年2月
February 2021
多尺度多核高斯过程隐变量模型
周培春1，吴兰岸2
（1.玉林师范学院计算机科学与工程学院，广西玉林537000；2.南宁师范大学计算机与信息工程学院，南宁530299）
摘要：高斯过程隐变量模型(GPLVM)作为一种无监督的贝叶斯非参数降维模型，无法有效利用数据所包含的语
义标记信息，同时其建模过程中假设观测变量的各特征相互独立，忽略了特征之间的空间结构信息。为解决上述问题，采用图像池化操作获得不同尺度的特征表示，利用线性投影方式将不同尺度的图像投影到低维隐空间进行特征融合，并将融合特征和数据标记分别作为输入和输出，构建多尺度多核高斯过程隐变量模型(MSMK -GPLVM)，通过图像数据与数据标记的关联实现模型监督学习，同时对GPLVM 和线性投影权重矩阵进行联合学习以提高分类性能。实验结果表明,MSMK -GPLVM 能够有效利用图像空间结构信息和语义标记信息，相比其他隐变量模型具有更强的数据降维和分类能力。关键词：高斯过程；隐变量；降维；语义信息；空间信息开放科学（资源服务）标志码（OSID ）：
中文引用格式：周培春，吴兰岸.多尺度多核高斯过程隐变量模型［J ］.计算机工程，2021，47（2）：285-292.英文引用格式：ZHOU Peichun ，WU Lan ’an.Multi -scale multi -kernel Gaussian process latent variable model ［J ］.Computer Engineering ，2021，47（2）：285-292.
Multi-Scale Multi-Kernel Gaussian Process Latent Variable Model
ZHOU Peichun 1，WU Lan ’an 2
（1.School of Computer Science and Engineering ，Yulin Normal College ，Yulin ，Guangxi 537000，China ；2.School of Computer and Information Engineering ，Nanning Normal University ，Nanning 530299，China ）
【Abstract 】As an unsupervised Bayesian non -parameter dimension reduction model ，the Gaussian Process Latent Variable Model （GPLVM ）fails to efficiently utilize semantic label information of data.Moreover ，it just assumes that the features of all observed variables are independent in modeling ，and thus ignores the spatial information among the features.To address the two issues ，this paper proposes a Multi -Scale Multi -Kernel Gaussian Process Latent Variable Model （MSMK -GPLVM ）.The model projects the images of different scales into a low -dimensional latent space through linear projection for feature fusion.A MSMK -GPLVM is constructed by taking the fused features as the input and the data labels as the output ，and it realizes supervised learning through the connection between image data and data labels ，and jointly learns the GPLVM and linear projection weight matrix to improve the classification performance.Experimental results show that MSMK -GPLVM can effectively utilize the spatial structure information of images and the semantic label information.Compared with other latent variable models ，it has better performance in dimension reduction and classification.
【Key words 】Gaussian process ；latent variable ；dimension reduction ；semantic information ；spatial information DOI ：10.19678/j.issn.1000-3428.0056556
0概述
在机器学习和模式识别任务中，图像数据作为一种特殊的数据形式广泛应用于人脸识别［1］、表情识别［2］、年龄估计［3］等场景中，而此类数据通常具有较高的维度导致机器学习模型计算复杂度高且容易
产生过拟合等维数灾难问题。为应对上述挑战，主
成分分析［4］
、高斯过程隐变量模型（Gaussian Process
Latent Variable Model ，GPLVM ）［5］
、线性判别分析［6］、自编码器［7］和字典学习［8］等数据降维和特征学习方法陆续被提出并取得了较好的成果，其中GPLVM 作为一种贝叶斯非参数降维模型，具有非线性学习、
基金项目：国家自然科学基金（61763010）。
作者简介：周培春（1970—），男，讲师、硕士，主研方向为数据挖掘、计算数学及其应用技术；吴兰岸（通信作者），副教授、博士。收稿日期：2019-11-10
修回日期：2019-12-30
E‐mail ：*************
·图形图像处理·
文章编号：1000-3428（2021）02-0285-08
文献标志码：A
中图分类号：TP391.41
计算机工程2021年2月15日
不确定性量化和非参数柔性建模等特性［5］，近年来在图像识别领域得到广泛应用［9-11］。然而原始GPLVM 作为一种无监督的降维模型，利用高斯过程构建由隐变量空间到观测变量空间的映射，进而通过求解最大化似然函数的方式获得最佳隐变量并实现数据降维。
图像数据信息通常分为像素值信息、特征空间信息和语义标记信息3类。像素值信息指图像中各像素值的大小所包含的信息，通常可以被PCA 、字典学习、GPLVM 等降维方法直接利用，从而实现数据降维。特征空间信息指图像像素及其局部区域之间所具有的相关性信息［12-13］。图像语义标记信息指人们通过自身认知和图像所包含的内容为图像标注的信息［14-15］，如图像注释、类别标记等。然而，原始GPLVM 在建模过程中仅假设观测变量的特征之间相互独立，因此通常无法有效利用图像数据自身包含的特征空间结构信息和语义标记信息。为此，本文对原始GPLVM 进行改进，提出一种多尺度多核高斯过程隐变量模型（Multi -Scale Multi -Kernel Gaussian Process Latent Variable Model ，MSMK -GPLVM ）。
1
相关工作
1.1
高斯过程隐变量模型
GPLVM 是一种无监督的概率、非线性、隐变量
模型。在GPLVM 定义中，假设已观测到N 个样本
X =［x 1，x 2，…，x N ］T
∈ N×D ，其中x n ∈ D 表示第n 个样本
对应的输入，本文目标是求解每个观测变量x n 对应
的隐变量z n ∈ Q ，Q  D ，因此GPLVM 可以通过求解观测变量对应隐变量的方式实现数据降维。具体地，GPLVM 假设每个样本x n 的生成过程如下：
x nd =f d （z n
）+εnd （1）
其中：x nd 为第n 个样本的第d 个特征；εnd 为噪声项且服从高斯分布p （εn ）=N （εn |0，σ2）；函数f d （·）具有高斯过程先验，因此f d ~N （0，K ），f d 表示函数f d （·）在隐变量集合Z =［z 1，z 2，…，z N ］上对应N 个输出组成的向量；K 表示核函数k （·，·）在隐变量集合Z 上对应的核矩阵K ij =k （z i ，z j ）。通过将中间变量f d 进行积分可
以得到如下边际似然函数：
p （X |Z ，θ）=∏d =1
D
p （x ：，d |Z ，
θ）=∏d =1
D
1
(2π)N 2|K +σ2I |12
×
exp (
)
-
12
x T
： d (K +σ2I )-1x ： d （2）
其中：θ表示GPLVM 的核函数及噪声分布中包含的超参数；σ2表示噪声方差；x ：，d 表示矩阵X 的第d 列元素组成的向量；I 表示单位矩阵；|K +σ2I |表示矩阵（K +σ2I ）的行列式。在模型优化过程中，GPLVM 通过最大化上述似然函数的方式对隐变量Z 和超参数
θ进行求解，最终实现数据降维。
尽管GPLVM 具有较强的非线性学习和不确定
性量化等能力，但其却无法有效利用数据的语义标记信息，从而导致在图像分类、人脸识别等任务中的性能无法满足用户需求，其原因主要为GPLVM 在模型构建过程中没有对数据标记的生成过程进行有效的建模和表示，因此无法直接将其应用于监督学习任务中。
1.2监督型高斯过程隐变量模型
为实现GPLVM 的监督学习并充分利用数据中包含的语义标记信息，近年来已有一些监督型GPLVM 被提出，其中主要包括判别高斯过程隐变量
模型（D -GPLVM ）［14］
、监督高斯过程隐变量模型
（S -GPLVM ）［15］
和监督隐线性高斯过程隐变量模型
（SLLGPLVM ）［15］
。为对监督型GPLVM 进行详细说明，假设除了观测变量X ，本文还获取了每个样本对应的类别标记y ∈ N ，其中第n 个元素y n ∈｛1，2，…，C ｝表示第n 个样本所属类别，C 表示类别总数。
为利用数据标记信息，D -GPLVM 构建一种基于广义判别分析（Generalized Discriminant Analysis ，GDA ）的隐变量先验分布，具体如下：
p （X ）=
1
Z d exp {-1σ2d
J -1}
（3）
其中：Z d 为归一化常量；
σ2d 表示先验的全局伸缩因子；J 为依赖于X 的函数，J （X ）=tr （S -1
ωS b ），S ω和S b 分别为在隐变量X 上依据标记y 计算出的类内和类间散度矩阵。将式（3）中的先验分布加入GPLVM 中可以获得隐变量X 后验分布，并通过最大化此后验分布或等价地最小化式（4）获得最佳的隐变量和超参数。
L S =L+1σ2d
tr （S -1
ωS b ）（4）
其中，L 表示GPLVM 的负对数边际似然，L S 表示加
入监督信息后的对数后验分布。值得注意的是在式（4）中为便于描述，本文省略了对核函数超参数先
验的假设，因此在式（4）中缺少文献［15］中所述的超参数正则化项。可以看出，D -GPLVM 为GDA 与GPLVM 结合而成的模型，GDA 先验为GPLVM 提供了数据标记中包含的语义判别信息。同时可以看出，当σd →0时，D -GPLVM 退化为GDA ；反之，当σd →+∞时，D -GPLVM 退化为GPLVM 。
与D -GPLVM 不同，S -GPLVM 通过分别构建由隐变量到观测变量的类别标记映射方式实现了监督型GPLVM 。将样本标记y n 转化为由1和-1组成的向量的形式，从而获得样本的标记矩阵Y =［y 1，
y 2，…，y N ］T ∈ N×C
。若第n 个样本属于第c 类，则其对应的标记向量y n 中第c 个元素的值为1，其他元素的值为-1。S -GPLVM 假设X 和Y 均是由隐变量Z 通过
286
第47卷第2期周培春，吴兰岸：多尺度多核高斯过程隐变量模型
服从高斯过程的函数生成，且X和Y在Z条件下相互
独立，进而可以获得隐变量Z的后验分布为：
p（Z|X，Y）=p(X Y|Z)p(Z)
p(X Y)
（5）
最终得到如下目标函数：
正则化的英文L S =L+L
y
-ln p（Z）（6）
其中，L
y =LN
2
ln2π+L
2
ln|K y+σ2y I|-12tr（Y T（K y+σ2y I）-1Y），
K
y 表示与Y生成相关的核矩阵，σ2
y
表示噪声方差。
可以看出，S-GPLVM通过使X和Y共享隐变量Z的方式实现了语义标记信息和输入信息的联合建模。这使得隐变量Z具有更优的判别能力，有效提升了GPLVM在分类和回归任务中的性能。
SLLGPLVM通过直接构建由观测变量X到隐变量Z的投影方式实现了GPLVM的监督学习。与原始GPLVM类似，其假设隐变量可以通过一个服从高斯过程的函数投影并加入噪声得到观测变量。然而SLLGPLVM假设GPLVM生成标记Y而不是原始GPLVM中的X，同时其假设隐变量可以通过一个线性投影函数由输入变量X得到，从而构建由X到Z 和由Z到Y的映射关系，使得GPLVM可以显式地嵌入标记信息。整个生成过程具体如下：
y nd =g（z
n
）+εnd=f d（Wx n）+εnd（7）
其中，g（·）表示线性投影函数，可以看出SLLGPLVM 将隐变量学习问题转化为参数矩阵W的学习问题，因此其具有更少的参数量，同时能够有效解决D-GPLVM中先验信息与真实数据信息不相符的问题，以及S-GPLVM中需要存储和操作两个核矩阵K 和K
y
所导致的高复杂度问题。
1.3现有模型存在的问题
虽然现有监督型GPLVM已在某些特定任务中有效提升了GPLVM隐变量的判别性能，但是这些模型仍然存在一定问题从而限制了其应用范围，如D-GPLVM和S-GPLVM在对新样本进行预测时需要通过优化求解方式计算出对应新样本的隐变量，因此预测的时间复杂度过高，限制了其在快速预测任务中的应用。尽管这两个模型均可以通过添加反向约束［16］的方式实现非优化式的预测，但该反向约束同时也限制了模型的表示能力。SLLGPLVM利用构建由输入变量到隐变量的线性投影方式实现新样本的快速预测，然而此类简单的线性映射通常无法满足真实应用场景中复杂非线性任务的需求。另外，现有监督型GPL
VM采用相对简单的方式对标记信息进行建模，一般情况下无法挖掘出真正的复杂语义信息，从而造成标记信息流失。
除了上述问题外，现有GPLVM模型在处理图像数据时无法有效利用数据的空间结构信息。如图1所示，两个相邻的像素值a1和a2通常具有一定的相关性和相似性。同理，两个局部区域之间通常也
存在较强的相关性，如图1中b1和b2所示。由于现有GPLVM并没有对观测变量特征之间的相关性进行任何的假设和建模，无法进一步提升模型性能，因此本文主要研究在处理图像数据时如何能够兼顾语义标记信息和空间结构信息来构建GPLVM，从而有效提升其在人脸识别、图像分类等应用中的综合性能。
2MSMK-GPLVM构建与优化
2.1模型构建
为便于描述，本文后续内容将使用上文中的变量定义。在模型构建过程中，主要从图像空间结构信息和语义标记信息两方面对GPLVM的扩展方式进行分析与研究。
在图像空间结构信息利用方面，本文采用池化方法将图像数据通过多个不同尺度的池化操作投影成多个不同尺度的图像。具体地，对于第n个样本x
n∈ D，首先根据图像结构信息将其包含的元素进行重新排列，进而得到其原始的矩阵表示为X
n∈ H×W，其中H×W=D。然后通过P个不同尺度（s1，s2，…，s P）
的池化操作将图像X
n
投影为P个不同尺度的图像
（X1
n∈ H1´W1，X2n∈ H2´W2，…，X P n∈ H P´W P）。通过此类将相邻区域特征进行聚合统计的方式，模型可以充分利用图像数据的空间相关性，即图像相邻像素和区域之间具有较强的相关性。
为将不同尺度的图像信息进行融合，通过线性投影方式将不同尺度的图像投影到同一个空间中并进行融合。对于第n个样本对应的第p个图像
X p
n∈ H p´W p，将图像X p n按列进行向量化可以得到其向量表示为x p
n
=vec（X p
n
）∈ H p W p。设其对应的线性投影权重和偏置项分别为Φp∈ H p W p´Q和βp∈ Q，因此可以通过如下线性变换方式将图像投影到Q维子空间：
z p
n
=ΦT
p
x p
n
+β
p
，n=1，2，…，N，p=1，2，…，P（8）通过将每个样本（不同尺度的图像）对应的隐变量进行非线性变换再相加的方式，得到第n个样本
对应的隐变量：
图1图像相邻像素及区域之间的相关性
Fig.1Correlations between adjacent pixels and
regions of the image
287
计算机工程2021年2月15日
z n =∑p =1
P
a （~z p
n ），n=1，2，…，N
（9）
其中a （·）表示神经网络中的激活函数。由上述构建过程可知，本文提出的多尺度特征融合方法与神经
网络中的空间金字塔池化方法［17］非常相似，然而两者也有明显区别：1）空间金字塔池化主要是为了解决卷积神经网络无法处理任意尺度的图像而设计的方法，其进行池化时的核大小是根据图像大小自动确定，而本文多尺度特征融合方法主要是将其应用于图像多尺度特征提取，其处理的原始图像大小相同；2）本文模型在特征融合时使用一个非线性变换函数，因此其具有更强的非线性学习能力，而空间金字塔池化通过将多尺度特征合并为一个大向量的方式实现多尺度特征融合，其非线性学习能力主要体现在后续的全连接层中。当a （·）为线性函数时，本文多尺度特征融合方法可以退化为包含线性投影层的空间金字塔池化方法。
在图像语义标记信息利用方面，本文使用一个多核高斯过程模型［17-19］来构建由隐变量到样本标记的映射。具体地，定义由隐变量到样本标记的生成过程，具体如下：
y nc =f c （z n ）+εnc ，n=1，2，…，N ，c=1，2，…，C εnc ~N （0，σ2），n=1，2，…，N ，c=1，2，…，C f c ~GP ()
0 ∑m =1
M α2m K m ，
c=1，2，…，C 其中，εnc 为服从高斯分布的噪声，f c （·）为服从多核高斯过程先验分布的函数，{αm
}M m =1为M 个核函数组合的权重。可以看出，f c 服从的高斯过程先验是一个多核高斯过程，其中的协方差矩阵由多个核矩阵加权而成。因此，可以认为本文模型是一种多核高斯过程模型。从上述样本标记生成过程可知，MSMK -GPLVM 通过构建多核高斯过程模型的方式显著地提升了由隐变量到标记映射函数的表示能力，并且可以高效地建模数据标记信息。同时，MSMK -GPLVM 与多尺度图像特征提取相结合能够有效地对隐变量和数据生成过程进行模拟，提升模型判别和特征学习能力。MSMK -GPLVM 结构如图2所示。
2.2
模型优化
在模型求解过程中，由MSMK -GPLVM 生成过程可知噪声εnc 服从高斯分布，因此似然函数可写为以下形式：
p （Y |F ）=∏n =1N
∏c =1
C
N （y nc |f c （z n
），σ2）（10）
其中，F =［f 1，f 2，…，f C ］∈ N×C 表示由函数{f c }C c =1的输出组成的矩阵，向量f c 的第n 个元素值为f c （z n ）。依据贝叶斯定理，可以将中间变量F 进行积分以获得以下边际似然函数：
p (Y )=∫
p (Y|F )p (F )d F
（11）
由{f c }C c =1服从高斯过程先验分布可知f c ~N (
f c |0
)
∑m =1
M α
Fm
K m ，将其代入式（11），可得到边际分布为：
p （Y ）=
1
(2π)CN /2|K com +σ2I |C
2
·
exp
{
}
1
2
tr(Y T (K com +σ2I )-1Y )其中，K com =∑m =1
M
αm K m ，在优化过程中可以通过最大化
如式（12）所示的对数边际似然的方式获得最佳的投影参数{Φp  βp }P p =1、超参数θ=｛α1，α2，…，αM ，σ｝以及核函数中的超参数｛φ1，φ2，…，φM ｝。
L=-CN 2ln （2π）-C 2ln |K s |-12
tr （Y T K -1s Y ）（12）其中，K s =K com +σ2I ，在模型求解过程中可以使用基于梯度的方法来优化最佳参数，因此需要求解出L 关于所有参数的梯度。Φp 和βp 的梯度计算相似，所以本文仅给出关于Φp 梯度的计算过程，具体如下：
¶L ¶Φp =¶L ¶Z ¶Z ¶A p ¶A p ¶Z p ¶Z p ¶Φp =¶L ¶Z ¶A p ¶Z p ¶Z p
¶Φp
（13）其中：Z =［z 1，z 2，…，z N ］T ；A p =［a （z p 1），a （z p 2），…，a （z p
N ）］T ；
Z p =[z p 1 z p 2 … z p N ]T ；
¶Z p
¶Φp
可以根据线性函数求导公式直接得出；¶A p
¶Z
p 利用激活函数进行求解且可根据神
经网络的结论直接得出。因此，式（13）计算的关键是¶L ¶Z
的求解，根据链式求导规则得出：¶L ¶Z =¶L ¶K s ¶K s
¶Z
（14）由于核矩阵K s 关于隐变量Z 的导数取决于核函数的形式，因此通常多数核函数（如径向基核函数
等）可以直接得出其关于隐变量的导数，而对数似然
函数关于核矩阵导数的计算过程具体如下：
图2MSMK-GPLVM 结构
Fig.2
Structure of MSMK-GPLVM
288
第47卷第2期周培春，吴兰岸：多尺度多核高斯过程隐变量模型
¶L
¶K s
=K -1s YY T K -1s -K -1
s （15）
通过式（13）~式（15）得出Φp 的梯度。同理，超参数θ的导数可以通过式（16）获得：
¶L ¶Φp θ=
¶L ¶K s ¶K s ¶Φp θ
（16）
基于上述求导过程，利用基于梯度的优化方法对
MSMK -GPLVM 中的变量进行优化求解。MSMK -GPLVM 优化算法具体如下：
算法1MSMK-GPLVM 优化算法
输入样本矩阵X ，样本标记矩阵Y ，隐变量维度Q ，线性投影个数P ，核函数个数M ，池化操作的核尺度s 1，s 2，…，s P
输出
权重和偏置参数{Φp ，
βp }P
p =1
，超参数θ=｛α1，α2，…，αM ，σ｝，核函数中的超参数φ=｛φ1，φ2，…，φM ｝
1.初始化模型中所有参数{Φp ，
βp }P
p =1
、θ=｛α1，α2，…，
αM ，σ｝、φ=｛φ1，φ2，…，φM ｝
2.根据池化的核尺度s 1，s 2，…，s P 对X 中的样本进行池化操作，获得样本不同尺度的向量表示{~x p
n }
N ，P n =1，p =1
3.For t=1to T
4.使用式（8）和{Φ(t -1)p ，β(t -1)p }P p =1
计算Z
p(t -1)5.使用式（9）计算Z （t -1）
6.使用φ（t -1）计算核矩阵｛K (t -1)
m
}M m =17.使用θ
（t -1）
计算K (t -1)
s
8.使用式（12）计算L （t -1）
9.使用式（13）~式（16）计算出的梯度对变量进行更新，得到更新后的参数值｛Φ(t )p ，
β(t )p }P
p =1
、φ（t ）和θ（t ）
10.如果Error （t ）=|L （t ）-L （t-1）|<τ，则模型收敛，跳出循环
2.3
新样本预测
在新样本预测中，本文目标是预测给定新样本x *
所属的类别标记。与原始GPLVM 、D -GPLVM 和S -GPLVM 相比，MSMK -GPLVM 的显著优势是可以直接对新样本进行分类，而GPLVM 、D -GPLVM 和S -GPLVM 在预测出对应的隐变量z *后，通常需要使用KNN 算法对样本进行分类。在MSMK -GPLVM 预测过程中，首先依据式（8）和式（9）计算出新样本对应的隐变量z *，然后根据高斯过程模型的预测方法得出对应目标值服从高斯分布，其均值和方差计算如下：
μ（z *）c =k com （z *，Z ）K -1s y ：，c ，
c=1，2，…，C （17）var （z *）c =k com
（z *，z *）-k com （z *，Z ）K -1s k com （Z ，z *），c=1，2，…，C （18）其中，k com （z *，Z ）为z *和Z 中每个样本取核函数（多核
组合函数）的值组成的行向量，k com （z *，Z ）T
=k com （Z ，z *），k com （z *，z *）表示z *与z *取核函数后的值。可以看出，高斯过程模型可以对预测的不确定性（方差）进行建模，有效扩展了其在医疗诊断、自动驾驶等需要对不确定性进行量化任务中的应用。在完成上述计算后，可以利用μ（z *）=｛μ（z *）1，μ（z *）2，…，μ（z *）C ｝获得最终的类别标记：
C （z *）=argmax c Î{1 2  C }
μ（z *）c
3
实验与结果分析
3.1
数据集与对比方法
在实验过程中，为充分验证MSMK -GPLVM 的
有效性，分别在多个数据集上与现有隐变量模型进行对比。实验数据集信息如表1所示。
MNIST ［20］和USPS ［21］均为手写字体数据集，分别包含像素值大小为28×28和16×16的手写数字图片。SMILES ［22］数据集是一个包含笑脸和非笑脸两类图像的表情识别数据集，是由LFW 中提取图像组成的数据集，包含像素值大小为64×64的图像。FER 是Kaggle 人脸表情识别竞赛数据集，包含生气、厌恶、恐惧、高兴、悲哀、惊讶、平和7种表情且像素值大小为48×48的图像。Yale 和AT&T 是两个
人脸识别数据集，其中，Yale 数据集包含15个人的165张人脸图像（每人11张），AT&T 包含40个人的400张人脸图像（每人10张），所有图像均使用人工对齐和裁剪方式规整化至像素值大小为32×32的灰度图像。对于MNIST 、USPS 、SMILES 、FER 数据集，本文分别使用5000个样本作为训练集和测试集。对于Yale 数据集，使用每个人的5张人脸图像作为训练集（总数为75），其余6张图像作为测试集（总数为90）。对于AT&T 数据，使用每人5张人脸图像作为训练集（总数为200），其余5张图像作为测试集（总数为200）。在训练过程中，在训练集上使用五折交叉验证方法选择模型超参数，主要是对MSMK -GPLVM 中核函数数量进行选择。最终在整个训练集上基于最佳超参数对模型进行训练，并将训练好的模型在测试集上进行分类性能测试，重复5次上述过程以获得各模型的平均分类准确率。
本文对比模型为原始GPLVM 、D -GPLVM 、S -GPLVM 、SLLGPLVM 、PCA ［23］和LDA ［24］。值得注意的是由于GPLVM 、PCA 和LDA 不包含需要交叉验证的超参数，因此本文直接将其在训练集和测试集上进行训练和测试。同时，因为GPLVM 、D -GPLVM 、S -GPLVM 、PCA 和LDA 不能对样本类别进行直接
表1实验数据集
Table 1
Experimental dataset
数据集MNIST USPS SMILES FER Yale AT&T
特征维数
784256
4096230410241024训练集样本数500050005000500075
200测试集样本数500050005000500090
200
类别数
101027
1540
289

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。