(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号 CN 113902017 A
(43)申请公布日 2022.01.07
(21)申请号 CN202111186919.0
(22)申请日 2021.10.12
(71)申请人 江苏大学
    地址 212013 江苏省镇江市京口区学府路301号
(72)发明人 沈项军 吴玉仁 刘志锋
(74)专利代理机构
    代理人
(51)Int.CI
      G06K9/62(20060101)
                                                                  权利要求说明书 说明书 幅图
(54)发明名称
      一种基于共享参数空间的核集成支持向量机图像分类方法
(57)摘要
      本发明公开了一种基于共享参数空间的核集成支持向量机图像分类方法，获取图像数据形成样本集,对样本集进行预处理，并且使用核方法获取样本集的不同的单个基础内核；基于单个基础内核构造单核模型；使用约束将多个单核模型的损失集成到统一的损失中，该统一的损失即为集成损失，进而由多个单核模型构建出共享参数空间内的核集成支持向量机模型；并在多个核空间中进一步学习每个核所共享的公共参数和单个特定参数；利用所述的共享参数空间中的核集成支持向量机模型训练得到一个分类器，对待分类图像进行分类，得到分类结果。本发明提出的图像分类方法能够提高图像分类的准确性。
法律状态
法律状态公告日
法律状态信息
法律状态
2022-01-25
实质审查的生效
实质审查的生效
2022-01-07
公开
公开

权 利 要 求 说 明 书


1.一种基于共享参数空间的核集成支持向量机的图像分类方法,其特征在于,包括如下步骤:

步骤1、获取图像数据形成样本集,对样本集进行预处理,并且使用核方法获取样本集的不同的单个基础内核;

步骤2、使用约束将多个单核模型的损失集成到统一的损失中,该统一的损失即为集成损失,进而由多个单核模型构建出共享参数空间内的核集成支持向量机模型;

步骤3、将训练集输入到核集成支持向量机模型,并在多个核空间中进一步学习每个核所共享的公共参数α
0
和单个特定参数α
i
;所设计的核集成支持向量机模型通过最小化集成损失来共同优化每一个单核模型;由此获得训练好的基于共享参数空间的核集成支持向量机模型;

步骤4、设置核集成支持向量机模型迭代停止的判定条件,当满足判定条件,跳出循环;否则继续
执行循环;当循环退出,代表已经出最优解w,从而获得训练好的基于共享参数空间的核集成支持向量机模型;根据最优解w得到




其中,f(x
t
)是预测的标签结果;

步骤5、将测试集X
test
=[x
1
,x
2
,
...,x
N
]∈R
N*q
输入训练好的共享参数空间中的核集成支持向量机模型得到最后的二值分类器的模型:Y=sign(f(X
test
)),即目标分类器,利用所述目标分类器对待分类的图像进行分类,获取分类结果。



2.根据权利要求1所述的一种基于共享参数空间的核集成支持向量机的图像分类方法,其特征在于,所述核集成支持向量机模型的目标函数表示为:





S.T.1
T
w=1,w
i
≥0




其中,C是用来达到最小经验损失和最小结构损失之间平衡的一个参数;w
i
正则化是结构风险最小化策略的实现是用来控制每个再生核希尔伯特空间中损失的权重,w是由权重w
i
构成的向量,K
i
是第i个内核Gram矩阵,α
i
和α
0
均是与K
i
中每个训练数据样本的权重相关的共享参数且都为N×1的列向量;L为单个基础内核的个数,b
i
为K
i
的偏移量,ξ
it
为第i个内核中第t个样本的铰链损失,t=1、2、...N,N为样本数;α
0m
、α
im
分别是列向量α
i
和α
0
中的第m个分量;x
t
,x
m
分别是第t个样本和第m个样本。



3.根据权利要求2所述的一种基于共享参数空间的核集成支持向量机的图像分类方法,其特征在于,核集成支持向量机模型的训练过程如下:


Step1:

固定w的值,并初始化
然后对核集成支持向量机模型使用拉格朗日乘子法转化为对偶形式如下:










其中,β为拉格朗日乘子所构成得到列向量,β
t
为列向量β中的第t个分量,t=1、2、...N;Y为样本标签y
1
,y
2
,...,y
N
构成的对角矩阵,y
t
为第t个样本标签,t=1、2、...N;C为惩罚系数,

由于所获得的对偶形式的核集成支持向量机模型为标准的SVM的对偶形式,故使用SVM求解器求解出β最大值;

Step2:


固定所获得的β最大值,通过对最小化问题的求解更新w;求解过程如下:

对对偶形式的核集成支持向量机模型使用增广拉格朗日乘子法,得到下式:




其中,A
i
和B
i
为加权的基础内核组合,相应的
w
j
为第j个单核模型的权重,初始化参数为:w
i
,λ,η
i
,μ;η
i
,μ,λ均为拉格朗日乘子;

Step3:

取上式关于w
i
的偏导数并设为零,得到下式所示的w
i
更新公式:





Step4:

按如下顺序求解λ,η
i
和μ,其中,θ为学习率;




η
i
=η
i
+θ*w
i




Step5:

基于求解出的β和w
i
,进而完成对公共参数α
0
和单个特定参数α
i
的学习,分别表示为:





α
i
=w
i
Yβ

其中,K
i
是第i个内核Gram矩阵,K
j
为第j个内核Gram矩阵,j=1、2、...L,L是单个基础内核的个数。




4.根据权利要求1所述的一种基于共享参数空间的核集成支持向量机的图像分类方法,其特征在于,核集成支持向量机模型迭代停止的判定条件为:当更新前后损失的差值的绝对值loss小于1e-6或者迭代次数大于200次,即符合判定条件,迭代停止。



5.根据权利要求4所述的一种基于共享参数空间的核集成支持向量机的图像分类方法,其特征在于,设开始时loss
new
=0,计算出
从而得到:

loss=|loss
old
-loss
new
|;

其中,loss为更新前后损失的差值的绝对值,loss
old
为更新前的损失,loss
new
为更新后的损失;

根据更新后的参数重新计算出:




从而得到更新后loss=|loss
old
-
loss
new
|,保存loss
old
←loss
new
,迭代次数加1。



6.根据权利要求1所述的一种基于共享参数空间的核集成支持向量机的图像分类方法,其特征在于,将核集成支持向量机进行组合改进为适用于多分类问题的分类器;运用一对多法one-versus-rest扩展到解决多类问题;将某一个类别的样本记为一类,其余统一看成是另一类,得到与样本类型个数对应个数的二值分类器,然后将样本归类至测试输出值较大的一类,得到分类结果。




7.根据权利要求1所述的一种基于共享参数空间的核集成支持向量机的图像分类方法,其特征在于,Step2中,初始化参数为:
λ=0,η
i
=0,μ=1。



8.根据权利要求1所述的一种基于共享参数空间的核集成支持向量机的图像分类方法,其特征在于,从预处理后的样本集随机抽取60%的样本集用作训练集,剩余40%的样本集用作测试集。




9.根据权利要求8所述的一种基于共享参数空间的核集成支持向量机的图像分类方法,其特征在于,步骤1中所述的预处理为对样本集进行归一化处理。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。