收稿日期:20221012基金项目：国家自然科学基金资助项目(51735010)；西安现代智能纺织设备重点实验室项目(2019220614S Y S 021C G 043)㊂作者简介：杨必成(1995)，男，山西临汾人，硕士研究生㊂通信作者：张团善(1969)，男，湖北随州人，副教授，博士㊂E -m a i l :z h a n g t u a n s h a n @x p
u .e d u .c n .第35卷第3期
2023年 6月
沈阳大学学报(自然科学版)J o u r n a l o f S h e n y a n g U n i v e r s i t y (N a t u r a l S c i e n c e )V o l .35,N o .3J u n.2023
文章编号:2095-5456(2023)03-0216-11基于改进S h u f f l e N e t V 2的织物颜恒常性算法
杨必成，张团善
(西安工程大学机电工程学院，陕西西安 710048
)摘  要：针对工业生产中织物差检验存在偏㊁部署在计算机资源有限的移动终端的算法适配性不强㊁实时准确校正织物的偏准确率不高的问题，提出一种基于改进S h u f f l e N e t V 2的轻量级织物颜恒常性算法㊂以S h u f f l e N e t V 2的框架为基础，使用H -S i g
m o i d 激活函数代替R e L U 激活函数，引入注意力机制，使用多通道置信加权估计出全局场景光源㊂然后，在G e h l e r -
s h i 和N U S -8数据集上的进行实验㊂实验结果表明，相较于已有的颜恒常性算法，所提的轻量级网络各项评价指标提高约0.2，可用于织物的颜校正任务中㊂关 键 词：颜恒常性；轻量级;S h u f f l e N e t V 2；通道注意力机制；颜校正
中图分类号:T P 312  文献标志码:A C l o t h C o l o r C o n s t a n c y A l g o r i t h m B a s e d o n I m p r o v e d S h u f f l e N e t V 2
Y A N GB i c h e n g ,
Z HA N GT u a n s h a n (S c h o o l o fM e c h a n i c a l a n dE l e c t r i c a l E n g i n e e r i n g ,X i  a nP o l y t e c h n i cU n i v e r s i t y ,X i  a n710048,C h i n a )A b s t r a c t :A i m i n g a tt h e p r o b l e m so fc o l o rs h i f ti nf a b r i cc o l o ra b e r r a t i o ni n s p e c t i o ni n i n d u s t r i a l p r o d u c t i o n ,w e a ka d a p t a b i l i t y o fa l g o r i t h m sd e p l o y e di n m o b i l et e r m i n a l s w i t h l i m i t e d c o m p u t e r r e s o u r c e s ,a n d l o wa c c u r a c y o f r e a l -t i m e a c c u r a t e c o r r e c t i o no f f a b r i c c o l o r c a s t ,a l i g h t w e i g h t f a b r i c c o l o r p e r f o r m a n c e a l g o r i t h mb a s e do n i m p r o v e dS h u f f l e N e t V 2w a s p r o p o s e d .B a s e do n t h e f r a m e w o r k
o f S h u f f l e N e t V 2,t h eH -S i g m o i d a c t i v a t i o n f u n c t i o nw a s u s e d i n s t e a do f t h eR e L Ua c t i v a t i o n f u n c t i o n ,t h e a t t e n t i o nm e c h a n i s m w a s i n t r o d u c e d ,a n d t h e g l o b a l s c e n e l i g h t s o u r c ew a s e s t i m a t e d u s i n g m u l t i -c h a n n e l c o n f i d e n c ew e i g h t i n g .T h e n ,e x p e r i m e n t sw e r e p e r f o r m e do nt h eG e h l e r -s h i a n d N U S -8d a t a s e t s .E x p e r i m e n t a l r e s u l t s s h o wt h a t c o m p a r e dw i t h t h e e x i s t i n g c o l o r c o n s t a n c y a l g o r i t h m ,t h e e v a l u a t i o n i n d e xo f t h e p r o p o s e d l i g h t w e i g h tn e t w o r ki s i m p r o v e db y a b o u t0.2,w h i c hc a nb eu s e di nt h ec o l o r c o r r e c t i o n t a s ko f f a b r i c s .K e y w o r d s :c o l o rc o n s t a n c y ;l i g h t w e i g h t ;S h u f f l e N e t V 2;c h a n n e la t t e n t i o n m e c h a n i s m ;c o l o r c o r r e c t i o n
近年来，随着工业生产效率的不断提高，人们对织物的颜有了越来越高的要求㊂以前，织物之间的差都是由专业的师傅肉眼进行辨别，但是由于长时间工作产生的视觉疲劳的影响，织物的差检验
准确率较低[12]㊂为了提升检验的准确率，机器视觉被引入织物的差检验中，然而由于工业生产环境复杂，不同的灯光颜以及明暗程度都会对织物产生一定的偏，进而影响差的检验效果㊂
移除不同光照颜带来的偏称为计算颜恒常性㊂计算颜恒常性的目标是模拟人类视觉系统在不同光照下对物体颜的感知能力保持不变的特性㊂随着人工智能的发展，计算颜恒常性为计算机视觉下游任务提供了稳定的颜特征，例如：目标检测㊁3维重建等㊂因此，颜恒常性在计算机视觉
中扮演着越来越重要的角㊂目前，计算颜恒常性的方法分为2类：基于统计的方法和基于学习的方法㊂最经典的统计算法是
灰度世界算法(g r a y -w o r l d )，该算法假设世界上的颜都趋向于中性灰，因此，光照颜可以被估计为输入图像的平均颜㊂随后，在此基础上又提出了灰阴影算法(s h a d eo f g r e y )和灰边缘算法(g r e y -e d g e )㊂这类算法是高效㊁快速㊁敏捷的，但由于是利用像素统计和物理特征来估计场景中的光照且对于光照反射的分布统计过于简化，因而很难去处理复杂世界的复杂场景㊂随着机器学习和深度学
习的不断发展，基于学习的颜恒常性算法在性能方面得到了很大的提高㊂B a r r o n 等[3]提出了快速傅里叶颜恒常性，这个算法是把颜恒常性问题转化为环面上的空间定位问题，通过频域操作，性能得
到了很大的提高，可以作为一种精确㊁实时的自动白平衡算法㊂H u [4]等提出了带有置信度加权池的全
卷积颜恒常性算法，该模型会自适应地给予每个p a t c h 局部位置不同的权重来进行端对端的训练,
解决了某些p a t c h 可能包含信息模糊的问题，从而实现了更高的效率和准确性㊂B a n i c [5]等提出了基于学
习的无监督的颜恒常性模型，模型在逼近训练图像的未知真实地面光照后学习其参数值，避免了校
准㊂M c D o n a g h [6]等把相机自适应颜恒常性问题视为少镜头的元学习问题，利用温的概念进行少样本的回归任务，可以快速适应之前看过的相机㊂A f i f y 等[714]在颜恒常性方面做出了很大的贡献，利用基于U -N e t 的多输入多输出网络结构提出了跨相机卷积颜恒常性,
这个模型可以生成卷积颜恒常性的权重从而动态的适应不同的相机，同时挑战传统的单帧时域颜恒常性算法，通过取景器中的
多帧来完成光照颜的估计㊂最近,T a n g 等[15]使用统计方法与迁移学习相结合的思想,
正则化改进算法把数据集处理为与相机无关的情况，从而实现了跨相机颜恒常性㊂Z h o u [1
6]等为了消除场景光照对染织物差评价的影响，提出了一种基于极限学习机和灰狼优化器蚁狮优化器的染织物光照校正算法㊂另外,
Z h o u [1
7]等针对印染环境中光源的不稳定会引起织物表面颜的变化，造成严重的差评价误差问题，提出了一种基于正则化随机向量函数链接网络的染织物光照估计方法㊂L i u [1
8]等针对染织物易受光线变化影响，影响染织物差分类正确性的颜特性，提出了基于改进海洋捕食者算法优化随机向
量函数链的染织物恒度计算方法㊂后来,L i u [1
9]等为了解决现有照明估计方法在图像恢复时精度不高的问题，提出了一种基于鲸鱼优化算法的随机向量函数链接照明估计算法㊂以上这些基于学习的方法相较于基于统计的方法，在准确性方面有很大的提高，也可以去处理复杂世界中的场景㊂但是，由于计算量和参数量较大，在速度㊁推理方面较慢，不适合部署到计算机资源有限的移动终端上㊂
因此，本文提出了一种基于改进S h u f f l e N e t V 2的织物颜恒常性算法㊂这个算法以S h u f f l e N e t V 2
的框架为基础[2021]，使用H -S i g m o i d 激活函数代替R e L U 激活函数，引入通道注意力机制[22]㊂在公共数据集上的结果表明，本文提出的算法可以有效地消除图像中的偏，而且在织物的颜校正上短时间内也能取得很好的效果㊂
1 基于改进S h u f f l e N e t V 2的织物颜恒常性算法
1.1 L a m b e r t i a n 成像模型
在R G B 颜空间中,
物体表面一点的颜与相机㊁物体表面㊁光照有关，图像成像模型如下:g (x )=ʏm 2m 1E (λ)R (x ,λ)C (λ)d λ㊂(1)式中:x 表示R G B 空间中的坐标;λ表示可见光的波长;[m 1,m 2]表示可见光谱，可见光波长范围为380~780n m ;g (x )表示实际获取的图片;E (λ)表示光源光谱分布;R (x ,λ)表示物体表面x 处在标准白光照射下的光谱反射率;C (λ)表示相机传感器的感光特性函数㊂如果在图像采集的过程中，场景中只有一种光源，那么光照颜只与光源的光谱分布和相机的感光
特性函数有关，那么光照颜可表示为
e =(e R ,e G ,e B )T =ʏm 2m 1E (λ)C (λ)d λ㊂(2
)式中,e 代表的是光照颜向量㊂1.2 对角模型
与V o n K r i e s 模型类似,
在2种不同光照下，同一相机拍摄出来的同一场景的图片可以由对角乘积712第3期      杨必成等：基于改进S h u f f l e N e t V 2的织物颜恒常性算法
来互相转换㊂可以表示为R c G c B æèçççöø÷÷÷c =e c R e u R 000e c G e u G 000e c R e u æèçççççççöø÷÷÷÷÷÷÷R R u G u B æèçççöø÷÷÷u ㊂(3
)式中:(R c ,G c ,B c )表示标准光照下的图像;(R u ,G u ,B u )表示未知光照下的图像;(e c R ,e c G ,e c B )表示标准光照的R G B 值;(e u R ,e u G ,e u B )表示待估计的光照R G B 值㊂虽然对角模型不能很准确的模拟真实情况，但是其已经广泛用于颜恒常的研究中㊂
1.3 网络模型构建
由对角模型可知，颜恒常性问题的解决需要估计出场景光源的颜㊂神经网络可以学习一个函数来估计出光源的颜，可表示为
e c =
f (I )㊂(4
)式中:e c 表示光源颜;I 表示输入图片;f (I )表示构建的神经网络㊂1.4 改进S h u f f l e N e t V 2的颜恒常性算法
为了充分提取关于光照的颜特征并解决部署在计算资源有限的移动终端的算法适配性不强的问题，提出了基于改进S h u f f l e N e t V 2的颜恒常性算法,
该算法的整体网络框架如图1所示(见封2)㊂本文算法首先对数据集进行预处理，将预处理后的图片传入改进的S h u f f l e N e t V 2结构进行特征提取,
提取出的特征经过6ˑ6ˑ64以及1ˑ1ˑ4两个卷积层后得到4维特征层，第1维特征层为c o n f i d e n c e (置信度)，剩余3维特征层为e s t i m a t i o n (估计)㊂然后通过对提取的特征进行置信度加权以获得更多的用于光照估计的特征从而准确地估计出光源，最终，用估计出来的光源来矫正带有偏的图片，从而获得
标准光源下的图片㊂
1.5 改进的S h u f f l e N e t V 2单元结构S h f f l e N e t V 2网络的框架是根据4条轻量化网络设计准则进行搭建的:1)输入输出通道数相同时，内存访问量MA C (内存访问成本)最小;2)分组数过大的分组卷积会增加MA C ;3)碎片化操作对并行加速不友好;4)逐元素操作(e l e m e n t -w i s e )带来的内存访问和耗时不可忽略㊂根据这4条准则设计出的S h f f l e N e t V 2网络单元结构如图2所示㊂
(a )s t r i d e =1
(b )s t r i d e =2
图2 S h u f f l e N e t V 2单元结构F i g .2 S h u f f l e N e t V 2u n i t s t r u c t u r e 8
12沈阳大学学报(自然科学版)            第35卷
在图2(a )的单元结构(下称a 单元结构)中，首先对输入的特征图进行C h a n n e l S p
l i t (特征层在通道维度划分)，把输入特征图的维度分给左㊁右分支各一半，左分支的经过C h a n n e l S p
l i t 后保持不变；右分支通过3个卷积，分别为步距为1的1ˑ1的普通卷积,3ˑ3的DW C o n v (深度可分离卷积),1ˑ1的C o n v (普通卷积)；左右分支的结果通过C o n c a t 连接(
特征层在通道数维度进行拼接)，最终通过C h a n n e l S h u f f l e (通道重洗)使得通道之间的信息充分融合㊂在图2(b )的单元结构(下称b 单元结构)中，一开始没有进行C h a n n e l S p l i t ，左分支通过步距为2的3ˑ3的深度可分离卷积之后，紧接着经过1ˑ1的普通卷积；右分支通过2个1ˑ1的普通卷积㊁1个3ˑ3的步距为2的深度可分离卷积㊂最后通
过C h a n n e l S h u f f l e 来实现不同组之间的信息融合㊂
a 单元结构左分支从1ˑ1的分组卷积换为1ˑ1的普通卷积满足了准则2分组数过大的分组卷积会增加MA C ；右分支没有进行任何操作满足了准则3碎片化程度对并行加速不友好；最后用C o n c a t 代替A d d (特征层在各自维度进行相加)以及R e L U (激活函数)放在C o n c a t 之上满足了准则4的逐元素操作会增加内存访问；左右分支输入输出的C h a n n e l 数相同满足了准则1的条件㊂
b 单元结构同样也满足4条准则㊂S h u f f l e N e t V 2的单元结构设计大大加速了网络的推理速度,
适合部署在计算机资源有限的移动终端上㊂
如图3所示,S h u f f l e N e t V 20.5x 网络结构的输入图片大小为3ˑ224ˑ224，经过卷积核大小为3ˑ3㊁步距为2的普通卷积后得到24ˑ112ˑ112的特征图,
紧接着是卷积核大小为3ˑ3㊁步距为2的最大池化层得到24ˑ56ˑ56的特征图，然后通过S t a g e 2㊁S t a g e 3㊁S t a g e 4㊂每个S t a g e 都是由S h u f f l e N e t V 2的a 单元结构以及S h u f f l e N e t V 2的b 单元结构组成，每个S t a g e 中a 单元结构以及b 单元结构的重复次数的比例分别为1:3㊁1:7㊁1:3㊂最后，通过1ˑ1的普通卷积以及全局池化层来防止过拟合，提高网络的泛化能力㊂图3 S h u f f l e N e t V 2网络结构
F i g
.3 S h u f f l e N e t V 2n e t w o r k s t r u c t u r e 图4为改进后的S h u f f l e N e t V 2网络结构图㊂与分类网络不同的是,
颜恒常性网络结构不需要提取特别复杂的特征信息，仅仅需要中层语义信息㊂因此，去除S t a g e 4模块，并且把S t a g e 2㊁S t a g e 3中a 单元结构与b 单元结构的R e p e a t 的次数比例分别调整为1ʒ1㊂同时在每个S t a g
e 的S h u
f f l e N e t V 2单元结构中添加E C A 注意力机制模块，来关注明暗㊁颜等特征信息㊂在C o n v 1中使用H -S i
g m o i d 激活函数代替R e L U 激活函数，使得网络结构深度降低的同时仍然可以保证网络的性能㊂改进的S
h u f f l e N e t V 2结构经过2个卷积层后得到一个4维特征层,
第1维为置信度，剩余3维为估计，置信度与估计进行加权后使得图片的不同局部区域具有不同的权重，进而更加准确的估计出光照颜㊂图4 改进的S h u f f l e N e t V 2网络结构
F i g .4 I m p
r o v e dS h u f f l e N e t V 2n e t w o r k s t r u c t u r e 9
12第3期      杨必成等：基于改进S h u f f l e N e t V 2的织物颜恒常性算法
1.6 E C
A 注意力机制模块颜恒常性网络结构主要是为了进行光照估计，因而提取颜特征是很关键的㊂通道注意力机制主要关注的是明暗㊁颜等特征，空间注意力机制主要关注的是空间中的某部分物体，因此在网络中增加通道注意力机制可以更好的提取颜特征㊂常用的通道注意力机制有E C A 和S E ㊂E C A 通道注意力机制相当于是S E 通道注意力机制的改进版本,
它是一种轻量的通道注意力机制模块，模型复杂度小㊂S E 注意力机制对输入的特征图进行了通道压缩,
而这样的压缩对学习通道之间的依赖关系有不利影响㊂其次,S E 注意力机制模块捕获所有通道的依赖关系，因而是低效的㊂E C A 注意力机制避免降维，使用一个1D 卷积代替原来的全连接层,
实现了跨通道信息的获取，提高了通道之间的依赖关系㊂E C A 注意力机制首先对特征图进行全局平均池化，其次进行卷积核大小为k 的1维卷积操作，并使用s i g
m o i d 激活函数得到各个通道的权重㊂权重与原始输入特征图对应元素的乘积得到最终的输出特征图，如图5所示㊂其中卷积核的大小是根据通道系数自适应选择，公式如下:k s i z e =l b a +b C g a mm a ㊂(5
)式中:k s i z e 是指卷积核大小;b 与C g a mm a 都是常量，分别等于1和2;a 表示通道个数㊂图5 E C A 注意力机制模块
F i g .5 E C Aa t t e n t i o nm e c h a n i s m m o d u l e 2 实验结果与分析
本文的实验环境为英特尔i 5C P U ,G P U 为N V I D I A G e F o r c eR T X 3080,12G B 显存,
操作系统为U b u n t u20.02的64位系统㊂本文所提网络是在P y t h o n 3.7.2㊁P y t o r c h 1.9.1下搭建的㊂实验中采用A d a m 优化器进行网络反向传播的优化,
使用余弦淬火学习率进行网络的迭代训练㊂2.1 数据集以及预处理
为了验证本文算法的有效性，实验采用G e h l e r -s h i 和N U S -8两个常用的颜恒常性算法公共数据集㊂G e h l e r -s h i 数据集[23]是最经典的1个数据集，它包含室内和室外的场景图片共568张，这些图片分别是由C a n n o n 1D 和C a n n o n 5D 相机进行捕捉得到㊂N U S -8数据集[24]一共有1736张图片,
该数据集中的图片是由8个相机进行捕捉得到，每张图片包含用于提供光源真实颜的颜检查器，进行网络训练的时候，这部分被遮盖㊂
数据集图片传入神经网络之前需要进行预处理，预处理方式有随机裁剪㊁去马赛克㊁去饱和度等一些操作，从而进一步加速网络的推理过程，提高网络的泛化能力㊂
2.2 角度误差以及性能指标
为了更加准确地估计出光源颜，得到近乎标准光源下的图片，采用角度误差函数作为网络训练过程中的损失函数㊂
E a n g l e =L l o s s =a r c c o s ℓℓ*ℓℓæèçöø
÷*㊂(6)式中:ℓ为真实光照;ℓ*为估计光照;E a n g l e 越大表明颜恒常性算法的估计光照偏离真实光照,E a n g
l e 越小表明颜恒常性算法的估计光照近似真实光照;L l o s s 表示损失㊂为了评估算法的性能，从角度误差的均值㊁中值㊁三均值㊁最好25%㊁最差25%等5个指标来进行
022沈阳大学学报(自然科学版)            第35卷

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。