2021574
彩图像灰度化是图像处理和计算机视觉领域的基本课题和重要前提，是将三维通道信息转换为一维灰度数据的过程。为了节约成本，人们仍使用黑白打印，并且许多出版物的大部分图片是灰度图像。生活中还存在很多更有艺术效果的黑白图像，由此衍生了灰度图像在艺术美学方面的应用，如中国水墨画渲染、黑白摄影等[1]。为了减少输入图像的信息量或者减少后续的运算量，都需要将彩图像进行灰度化处理，其在图像预处理等方面有很多应用，如边缘检测[2-3]、特征提取[4-5]等。
为了使灰度化后的图像更好地保留彩图像特征，许多方法被相继提出。根据算法中映射函数是否可应用于整幅图像的所有像素，常见的灰度化算法大致可以分为两类：全局映射法和局部映射法。
在局部映射法中，灰度值随着空间位置而改变，将不同的灰度值赋给相同的颜以增强灰度图像局部对比度，容易受相邻像素的影响。2004年，Bala等人[6]将高频度信息引入亮度通道，局部保留了相邻颜之间的差异。Smith等人[7]使用拉普拉斯金字塔提取图像多层特征，根据彩与灰度图像对比度比例来调整拉普拉斯各分层灰度值，增强不明显的边缘，进行对比度调整。卢红阳等人[8]提出一种基于最大加权投影求解的算法，建立最大化的加权局部保留投影模型，提出最大加权投影的目标优化函数。局部映射法试图出颜在三维的局部差异，通过控制像素的亮度值，从而精确地保留图像的局部特征，但无法保证全局颜的一致性，把一个整体图像转换为非齐次的，最终求出的灰度图像
彩图像多尺度融合灰度化算法
顾梅花，王苗苗，李立瑶，冯婧
西安工程大学电子信息学院，西安710600
摘要：为了使彩图像灰度化后能够保留更多的原始特征，提出了一种新的基于多尺度图像融合的灰度化算法。将彩图像分解为R、G、B三个通道图像，采用基于高斯-拉普拉斯金字塔的多尺度图像融合模型进行灰度化，并引入梯度域导向图像滤波（Gradient Domain Guided Image Filter，GGIF）来消除多尺度融合可能产生的伪影。将灰度化问题转换为保持三个通道单图像特征的多尺度融合问题。实验结果表明，与其他灰度化算法相比，所提算法对边缘信息敏感，并能够在较亮或较暗区域检测出更多的图像细节特征。
关键词：灰度化；图像融合；金字塔分解；梯度域导向图像滤波（GGIF）
文献标志码：A中图分类号：TP391.4doi：10.3778/j.issn.1002-8331.1912-0319
Color Image Multi-scale Fusion Graying Algorithm
GU Meihua,WANG Miaomiao,LI Liyao,FENG Jing
School of Electronics and Information,Xi’an Polytechnic University,Xi’an710600,China
Abstract：To preserve more original features after decolorization,this paper presents a new color-to-gray conversion algo-rithm based on multi-scale image fusion principles.The color image is decomposed into three monochrome channel images：R,G and B,the multi-scale image fusion model based on Gaussian-Lapacian pyramid is adopted to convert color image
into gray image,the Gradient Domain Guided Image Filter（GGIF）is employed to eliminate the artifacts that may be pro-duced by multi-scale fusion.The decolorization problem is transformed into a multi-scale fusion problem that preserves the image features of three monochromatic channels in a fusion image as far as possible.Experimental results show that the proposed algorithm is more sensitive to edge information compared with the existing state-of-the-art decolorization techniques,and can preserve the detailed features which are lost in the other methods in bright or dark areas.
Key words：color-to-gray conversion;image fusion;pyramid decomposition;Gradient Domain Guided Image Filter（GGIF）
基金项目：国家自然科学基金（61901347）；陕西省自然科学基础研究计划项目（2018JQ4016）。
作者简介：顾梅花（1980—），通信作者，女，博士，副教授，主要研究领域为计算机视觉算法及其应用，E-mail：；
王苗苗（1995—），女，硕士研究生，主要研究领域为彩图像信息处理；李立瑶（1996—），女，硕士研究生，主要研究领域为图像分割；冯靖（1995—），女，主要研究领域为图像识别。
收稿日期：2019-12-20修回日期：2020-05-19文章编号：1002-8331（2021）04-0209-07
209
2021574
可能会产生晕影[9]。
全局映射法试图最小化一些目标函数，要求映射后灰度图像的结构描述接近于原始彩图像。Lu等人[10]利用弱序约束，采用二阶多变量多项式参数模型，最大限度地保留了原始颜对比度。Liu等人[11]
采用线性参数模型最大化梯度相关相似度。2017年，他们又提出一种半参数方法[12]，将文献[11]所提算法与Matlab中rgb2gray函数结合。Zhou[13]、Chen[14]与Du[15]等人都提出了一个基于显著度的视觉对比度模型，将灰度化算法中对比度保留问题转化为最小化灰度图像与原图像的显著度问题。全局映射法着眼于整体颜分布差异，对整幅图像的所有像素采用相同的映射函数进行灰度化，能够更好地保持全局结构信息，但会使结果图像变平滑，很难同时保留不同区域的局部特征。
本文提出一种基于多尺度图像融合的局部灰度化算法。多尺度处理方法能在不同尺度下表示图像，某种尺度下不易看出或获取的特性在其他尺度下相对更容易被看出或检测，金字塔分解是一种有效的多尺度表达结构。首先将彩图像分解为R、G、B三个通道的单图像，利用拉普拉斯金字塔分解各通道图像，根据每个通道的对比度、饱和度与显著性特征确定系数矩阵。为了能够在滤波后更好地保留边缘特性，引入梯度域导向图像滤波器（Gradient Domain Guided Image Filter，GGIF）[16]，GGIF滤波后进行高斯金字塔分解，再与对应通道图像拉普拉斯金字塔逐层融合，最后经过金字塔逆变换得到最终的灰度图像。
1梯度域导向图像滤波
梯度域导向滤波器是由导向滤波器（Guided Image Filter，GIF）[17]，再加上边缘感知因素组成，它使得导向滤波器对正则项参数的选择变得不那么敏感。GIF算法假设输出图像Z(p)是引导图像G在以像素p'
为中心，r为半径的窗口Ωr(p')中的线性组合，表达式如下：Z(p)=a p'G(p)+b p',∀p∈Ωr(p')（1）在保持线性模型的同时，定义一个代价函数E最小化输出图像Z(p)和输入图像X(p)之间的差异：E=∑
p∈Ωr(p')
[(a p'G(p)+b p'-X(p))2+λa p'2]（2）GIF是速度最快的边缘保护滤波器之一，它可以避免梯度的反转。然而，由于正则项λ为固定值，GIF滤波不可避免会将边缘平滑，为了消除正则项大小带来的影响，Kou等人[16]提出了基于梯度域的导向滤波器（GGIF）。与GIF相比，GGIF加入了两个边缘感知因素来判断单个像素是否位于边缘，于是其代价函数变为：
E=∑
p∈Ωr(p')[(a p'G(p)+b p'-X(p))2+λ
ΓGI(p')
(a p'-γp')2]（3）
其中，ΓGI(p')为边缘感知权重，γp'为一种边缘感知因
素。当像素p'为边缘像素时，γp'的值接近1，当像素p'
落在平坦区域时，它的值为0。也就是当a p'为1时，p'
在边缘，a p'为0时，p'在平缓区域。因此，GGIF对于λ
的选择变得不那么敏感。
利用线性回归最小化代价函数E求出a p'、b p'的最
优值为：
ì
í
î
ï
ïï
ï
ï
ïï
ï
a p'=
μG⊙X,r(p')-μG,r(p')μX,r(p')+λ
ΓG(p')
γp'
σ2
GI,r
(p')+λ
ΓG(p')
b p'=μX,r(p')-a p'μG,r(p')
（4）
其中，⊙代表两个矩阵的点乘，μG⊙X,r、μG,r(p')和
μX,r(p')分别为导引图像G与输入图像X的点乘，G和
X在窗口Ωr(p')内的均值。为了解决重复计算的问题，
对窗口内的所有a p'和b p'的值取平均值。
ì
í
î
ï
ï
ï
ï
aˉp=1
|
|Ωζ1(p)
∑
p'∈Ωζ1(p)
a p'
bˉp=1
|
|Ωζ1(p)
∑
p'∈Ωζ1(p)
b p'
（5）
于是GGIF滤波后的输出由下式计算：
Z(p)=aˉp G(p)+bˉp（6）
2本文算法
本文的算法原理如图1所示。首先，将彩图像分
为R、G、B三个通道，分别对各通道图像进行拉普拉斯
金字塔分解，得到三个以金字塔形状排列、图像尺度逐
层降低的图像集合。其次，采用各个通道图像的对比
度、饱和度与显著度组合得到各个通道的系数矩阵。将
三个系数矩阵进行高斯金字塔分解，分解层数与上一步
三个通道图像的拉普拉斯分解层数相同。然后，取R、
G、B三个通道图像中熵最大的通道作为GGIF滤波中的
引导图像，进行高斯金字塔分解后与各个通道系数矩阵
金字塔梯度导向图像滤波。最后，将R、G、B三个通道
图像拉普拉斯金字塔与各通道系数金字塔逐层融合，金
字塔逆变换得到最终彩图像灰度化结果。
2.1融合系数矩阵
融合系数矩阵由各个通道图像的对比度、饱和度和
显著性决定。
对比度C k：将每个R、G、B通道经过拉普拉斯滤波
后取绝对值作为对比度。拉普拉斯滤波采用一个二阶
微分线性算子，它具有边缘定位能力强、锐化效果好的
特点，滤波后就产生了一个简单的对比指标C k，它倾向
于给重要的元素，如边缘和纹理，赋予更高权重系数。
对比度C k的计算公式为：
C ij,k=|k⊗Lap|（7）
210
正则化可以产生稀疏权值2021574其中，k ∈{r,g,b }，代表三个不同的通道图像，(i ,j )代表k 通道上的某一像素点，⊗为相关运算
算子，
Lap 为3×3的拉普拉斯滤波模板[-1-1-1;-18-1;-1-1-1]。
饱和度S k ：在计算三个通道均值后，将每个通道与均值差的绝对值作为每个通道的饱和度特征。饱和度S k 的计算公式如下：
ìíîïï
mu =13(r +g +b )S ij,k =|
|k -mu （8）
显著性GS k ：图像显著性是图像中重要的视觉特征，体现了人眼对图像中某些区域的重视程度，它代表了最能表现图像内容的区域。本文将各单通道图像经过拉普拉斯滤波得到高通图像H ij,k ，然后经高斯低通滤波后建立图像显著性特征。显著性GS k 由式（9）计算：
ìíîï
ï
H ij,k =k ⊗Lap GS ij,k =||H ij,k ⊗Gau
（9）
其中，Lap 为3×3的拉普拉斯算子[010;1-41;010],Gau 为窗口大小11×11、
标准差为5的高斯低通滤波算子。于是融合系数定义为三个特征之和：W ij,k (p )=(C ij,k (p ))
w C
+(S ij,k (p ))
w S
+(GS ij,k (p ))
w GS
（10）
其中，w C 、w S 、w GS 为权重指数，控制各个特征对融合系
数的影响。各个特征对应的权重指数小于0时，将在融合系数中去除该部分特征，当特征对应的权重指数较大
时，则表示该项特征所占融合系数的比重更大，实验结果中该项特征的影响也最大。当w C 、
w S 、w GS 取值相同且为1时，融合系数由对比度、饱和度、显著性这三个特征相加得到，此时，这三个特征占融合系数的比例相同，可以更好地保留图像的整体结构与特征。权重指数取不同值的实验结果如图2所示，（a ）为彩图像原图；（b ）为w C 、w S 、w GS 取[1，
0，0]时的实验结果，可以看到，边缘锐化效果明显，存在过于锐化的情况；（c ）为w C 、w S 、w GS 取[0，1，0]时的实验结果，图像的饱和度较好，灰度化后颜对比鲜明；（d ）为w C 、w S 、w GS 取[0，0，1]
时的实验结果，灰度化后图像中颜对比较为柔和，但有部分伪影出现；（e ）为w C 、w S 、w GS 的取值为[1，1，1]，
即本文所选的权重指数取值，所得灰度化结果颜对比度保持较好，且能较好地保留彩图像中的细节特征。
为了得到稳定的结果，最后需要对融合系数矩阵归一化处理，使每个通道的融合系数矩阵相加之和为1：
W ij,k =éëêùû
ú
∑k ={r,g,b }W ij,k -1W ij,k （11）
图3中，（a ）为彩图像原图与R 、G 、B 三个单通道
图像；（b ）~（d ）分别为R 、G 、B 三个通道的对比度、饱和度、显著性特征；（e ）为由式（10）计算得到每个通道的权重系数后，利用式（11）进行归一化处理的结果；（f ）为各
通道图像融合后的最终灰度化结果。
图1基于多尺度图像融合的灰度化算法框架图
（a ）原图（b ）系数[1，0，0]时的灰度化结果（c ）系数[0，1，0]时的灰度化结果（d ）系数[0，0，1]时的灰度化结果（e ）系数[1，1，1]时
的灰度化结果
(a)原图(b)系数[1,0,0]
时的灰度化结果(c)系数[0,1,0]
时的灰度化结果(d)系数[0,0,1]
时的灰度化结果(e)系数[1,1,1]
时的灰度化结果
(a)原图(b)系数[1,0,0]
时的灰度化结果(c)系数[0,1,0]
时的灰度化结果(d)系数[0,0,1]
时的灰度化结果(e)系数[1,1,1]
时的灰度化结果
(a)原图(b)系数[1,0,0]
时的灰度化结果(c)系数[0,1,0]
时的灰度化结果(d)系数[0,0,1]
时的灰度化结果(e)系数[1,1,1]
时的灰度化结果
(a)原图(b)系数[1,0,0]
时的灰度化结果(c)系数[0,1,0]
时的灰度化结果(d)系数[0,0,1]
时的灰度化结果(e)系数[1,1,1]
时的灰度化结果
(a)原图(b)系数[1,0,0]
时的灰度化结果(c)系数[0,1,0]
时的灰度化结果(d)系数[0,0,1]
时的灰度化结果(e)系数[1,1,1]时的灰度化结果图2权重指数不同时的实验结果
211
20215742.2多尺度图像融合
得到各个通道的融合系数矩阵W ij,k 后，如果各个
通道直接使用融合系数矩阵进行灰度映射，灰度图像中的每个像素点g ij 由R 、G 、B 三通道加权求和得出：
g ij =
∑
k ={r,g,b }
W
ij,k I ij,k （12）
然而，直接使用式（12）并不能产生令人满意的结果，尤其是在权值变化快的地方容易产生细缝，导致图像不连续，如图4（b ）所示，可以看出彩轮图像在灰度化后会产生比较明显的噪声块。为了解决
这一问题，Mertens 等人[18]与Ancuti 等人[19]都先将融合系数进行高斯金字塔分解，再与输入的几幅待融合图像拉普拉斯金字塔分解的结果逐层融合，融合后每一层的金字塔表示为：
F {g }l ij =
∑
k ={r,g,b }
G {W
}l ij,k L {I }l ij,k （13）
其中，
G {}代表将系数矩阵高斯金字塔分解，L {}代表将单通道图像拉普拉斯金字塔分解，
F {}为融合后的灰度图像金字塔，
l 为金字塔分解的层数。文献[20]表明，当金字塔分解层数l 的取值由式（14）确定时，融合后的图像在客观评价时具有较高的分数，并且出现较少的伪影效应，式中r 和c 分别为输入图像的行和列。
l =ëû
lb(min(r,c ))-2（14）
这样，灰度图像金字塔第l 层的结果为R 、G 、B 三个通道图像的第l 层拉普拉斯金字塔图像与融合系数矩阵第l 层高斯金字塔的乘积之和。最后，将F {g }l ij 金字塔逆变换得到灰度图像g ，如图4（c ）所示。
高斯-拉普拉斯金字塔融合方法解决了融合后产生噪声的问题，但并没有完全消除引入的伪影，某些区域还会造成亮度过亮，如图4（c ）所示。本文算法在多尺度融合中引入了梯度域导向图像滤波器（GGIF ），将各个通道系数矩阵高斯金字塔分解后得到的图像作为GGIF 滤波器的输入图像X ，选择三个通道中熵最大的通道图像进行高斯金字塔分解，作为各系数矩阵高斯金字塔层的引导图像GI ，则滤波后输出为：
E {W
}ij,k (p )=a ˉp'GI (p )+b ˉp',∀p ∈Ωr (p')（15）
根据式（5）计算a ˉp 、b ˉp 的值，GGIF 滤波后形成新的
金字塔E {W }ij,k ，与各通道拉普拉斯金字塔L {}I l
j,k 逐层
融合：
F {g }l ij =
∑
k ={r,g,b }
E {W
}l ij,k L {I }l ij,k （16）
最后逆变换F {g }l ij 就能得到灰度化的结果。图4（d ）为采用GGIF 滤波后融合的方法，该方法能在灰度化后保留原始结构，并且融合后消除晕影伪影现象。
多分辨率融合能有效解决图像不连续的问题，但可能产生伪影。为了解决伪影问题，本文算法使用了一种边缘保留滤波器——梯度域导向滤波器（GGIF ）。与高斯-拉普拉斯融合方法相比，引入GGIF 滤波后的图像融合有两大优势：第一，利用GGIF 滤波比起高斯滤波能更好保护边缘，有效避免晕轮、伪影
现象。第二，由于将三个通道图像中熵最大的通道作为引导图像进行滤波，信息量能最大程度被保留在滤波后的结构中。因此，在较亮或是较暗的区域，图像的细节能被很好地保留下来。
3实验结果与分析
本文采用Čadik 图像集与CSDD 图像集，将所提算
法与其他几种灰度化算法从定性与定量两方面进行比较。实验结果如图5所示，（a ）为原彩图像，其中第1~4行来自Čadik 图像集，第5~7行来自CSDD 图像集；（b ）为在Matlab 中运行rgb2gray 后的结果；（c ）为Lu 的CP 灰度化算法结果；（d ）是Liu 的半参数算法结果；（e ）为Du 提出的显著度算法结果；（f ）为本文算法灰度化结果。
3.1基于定性的方法比较
Čadik 图像集的图像相对简单，所包含的颜信息
少，但包含了很多具有相同亮度、
不同度的图像。从
(b)直接融合(c)高斯-拉普拉斯金字
塔融合
(d)GGIF后融合（a ）原图（b ）直接融合（c ）高斯-拉普拉斯金字塔融合（d ）GGIF 后
融合
(c)高斯-拉普拉斯金字
塔融合
(a)原图
(d)GGIF后融
合图4
不同权重系数融合方法
(a)原图
(b)
(c)
(d)
(f)灰度化结果
(e)GS W （a ）原图（b ）C k （c ）S k （d ）GS k （e ）W k （f ）灰度化结果图3
彩图像各个融合系数特征
212
2021574图5中1~4行可以看出，rgb2gray 函数在等亮度情况下损失了很多细节特征与边缘信息，对比度保留较差。CP 算法与Liu 的半参数方法虽然能有效保留对比度，但对比度的保留或增强不一定符合人眼感知。本文算法对线条和边缘敏感，能够较好地保留彩图像中的细节特征。
CSDD 图像集图案和颜更加丰富，场景更加复杂。rgb2gray 算法虽然损失很多特征，但与CP 算法相比具有更好的稳定性，如第6行，CP 算法容易产生伪影，造成图像边缘模糊。本文算法能在较亮或较暗区域保留细节，如第5行能很好保留桔子和桔子影子的对比度，第6行右侧瓶子的纹理在灰度图像中成功保留下来，在过度曝光的最后一行也能保护云朵边缘。
综上所述，本文算法对边缘信息敏感，在较亮或较暗区域能够检测出其他四种方法丢失的细节。
3.2基于定量的方法比较
用于比较彩图像灰度化算法性能的客观评价方
法很少，然而主观评价十分耗时且不能对图像质量给出一个准确的描述标准。因此，非常有必要对灰度化后的图像进行客观评价。
Lu 等人[10]提出了定量的度量方法——度量颜对比度保持（Color Contrast Preserving Ratio ，CCPR ）。CCPR 基于人类对颜的感知，当彩图像中两个像素的欧几里德距离δ在LAB 彩空间中小于一个固定值τ，在人类的视觉系统通常是看不见差异的，CCPR 计算公式为：
CCPR =
#{(x,y )|(x,y )∈Ω,||g x -g y ≥τ}
Ω（17）
其中，Ω为颜差异δxy ≥τ的子像素对集合，  Ω表示Ω中像素对的数目。CCPR 的分母表示灰度化后仍然可
分辨的像素对个数。CCPR 的取值范围是[0，1]，当它的值越接近1代表灰度化效果越好。
为了更好地研究每幅图像的性能，定义了每幅图像的平均彩对比度保持比（ACCPR ）：
ACCPR =115∑τ=1
15
CCPR (τ)
（18）
在定量评价中，分别度量算法灰度化后颜对比度保持度CCPR 及τ的值为1到15时CCPR 的均值ACCPR 。结果如表1和表2所示。由表1可以看出，不管是ACCPR 还是CCPR ，本文算法都优于rgb2gray 、CP 算法、
Haodu
(a)
原图
(b)rgb2gray
(c)Lu[10](f)
本文算法
(d)Liu[12](e)Du[15]（a ）原图（b ）rgb2gray （c ）Lu [10]（d ）Liu [12]（e ）Du [15]（f ）本文算法
图5Čadik 数据集与CSDD 数据集图像灰度化结果
213

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。