第37卷第9期2022年9月
Vol.37No.9
Sept.2022液晶与显示
Chinese Journal of Liquid Crystals and Displays
基于自适应引导滤波的红外图像细节增强
路陆1*,姜鑫1,杨锦程2,朱明1,郝志成1,王佳荣1
(1.中国科学院长春光学机密机械与物理研究所,吉林长春130033;
2.重庆嘉陵华光光电科技有限公司,重庆400000)
摘要:为了解决原始红外图像动态范围高、图像对比度低、边缘模糊等问题,提出了一种基于自适应引导滤波的红外图像细节增强算法。首先,利用设计的参数自适应引导滤波将输入图像分成基础层和细节层。然后,利用平台直方图均衡化压缩基础层动态范围,利用掩膜加权和γ变换抑制细节层噪声并增强图像细节。最后,将处理后的基础层和细节层线性加权并拉伸到显示范围。实验结果表明,相比
于传统和先进的红外图像细节增强算法,本文算法具有更强的场景适应性,在高动态范围场景、复杂室外场景以及海天场景都获得了更好的增强效果。相比于先进算法,本文算法在平均梯度上平均提高35.3%,在基于感知的图像质量评价指标上平均提高10.7%。本文算法可以有效压缩红外图像动态范围,显著提高图像对比度和清晰度,处理结果更有助于人眼观察。
关键词:红外图像增强;引导滤波;数字细节增强;动态范围压缩
中图分类号:TP391.41文献标识码:A doi:10.37188/CJLCD.2022-0024
Adaptive guided filtering based infrared image detail enhancement LU Lu1*,JIANG Xin1,YANG Jin-cheng2,ZHU Ming1,HAO Zhi-cheng1,WANG Jia-rong1
(1.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Sciences,
Changchun130033,China;
2.Chongqing JiaLing HuaGuang Photoelectric Technology Co.,Ltd.,Chongqing400000,China)Abstract:To solve the problems of high dynamic range,low image contrast and blurred edges of original infrared images,an infrared image detail enhancement algorithm based on adaptive guided filtering is proposed.Firstly,the input image is divided into a base layer and a detail layer using the d
esigned parameter-adaptive guided filtering.Then,the plateau histogram equalization is used to compress the dynamic range of the base layer,and mask weighting and gamma transform are used to suppress detail layer noise and enhance the image details.Finally,the processed base and detail layers are linearly weighted and stretched to the display range.The experiment results show that compared with the traditional and advanced infrared image detail enhancement algorithms,the proposed algorithm has stronger scene adaptability,and has obtained better enhancement effects in scenes such as high dynamic range scene,complex outdoor,and sea and sky.Compared with the advanced algorithm,the proposed algorithm has an average improvement of 文章编号:1007-2780(2022)09-1182-08
收稿日期:2022-01-24;修订日期:2022-02-13.
基金项目:吉林省科技厅重点研发项目(No.20210201137GX)
Supported by Key Research and Development Projects of Jilin Provincial Department of Science and Tech‐
nology(No.20210201137GX)
*通信联系人,E-mail:lulu.bit.2011@gmail
第9期路陆,等:基于自适应引导滤波的红外图像细节增强
35.3%in the average gradient and an average of10.7%in the perception-based image quality evaluator. The proposed algorithm can effectively compresses the dynamic range of infrared images,significantly improves image contrast and sharpness,and the processing results are more helpful for human eyes to observe.
Key words:infrared image enhancement;guided filtering;digital detail enhancment;dynamic range compression
1引言
红外成像系统具有良好的隐蔽性、抗干扰性以及可昼夜工作等特性,被广泛应用于军事和民用领域[1]。然而,受热辐射、热交换等因素影响,红外图像常表现出图像对比度低、边缘细节不突出、视觉效果模糊等不足[1],这将严重影响后续目标探测识别等任务的执行。此外,目前红外探测器常使用12~14bit模数转换模块[2],输出图像动态范围远高于传统显示器的256个灰度级,不便于直接显示观察。因此,利用图像处理方法将原始红外图像动态范围压缩到显示器显示范围、增强图像细节,已成为当前红外应用中必不可少的图像处理操作之一。
2005年,美国FLIR公司提出了一种数字细节增强技术,同时完成了红外图像的高动态范围压缩与细节增强[3]。2009年,Branchitta等[4]提出了一种基于双边滤波[5]和动态范围划分的细节增强算法(Bilateral Filter and Dynamic Range Parti‐tioning,BF&DRP),该算法基于分层处理架构,将输入图像分解成基础层和细节层,压缩基础层动态范围,增强细节层图像细节,然后将处理结果融合在一起。在此基础上,Zuo等[2]将双边滤波权重系数作为细节层自适应增益因子,有效抑制梯度反转伪像。Liu等[6]使用引导滤波[7]代替双边滤波,有效避免梯度反转伪像。Zhou等[8]在Liu等[6]的方法基础上,使用引导滤波线性系数作为细节层增益掩膜,进一步抑制平坦区域噪声。然而,Liu等[6]和Zhou等[8]算法中都使用固定值作为引导滤波的正则化系数,同一个正则化参数很难适应所有应用场景。为此,本文提出一种基于自适应引导滤波的红外图像细节增强算法,自适应选择引导滤波正则化系数,进一步提高算法的场景适应性。2基础理论
2.1引导滤波
引导滤波[7](Guided Image Filtering,GIF)是一种基于局部线性模型的滤波器,其假设在局部窗口w k内引导图像I与滤波输出图像q满足线性关系:
q i=a k I i+b k,∀i∈w k,(1)其中,q i和I i分别表示输出图像和参考图像的第i 个像素灰度值,(a k,b k)是在局部窗口w k内为常量的线性系数。最小化代价函数为
E(a k,b k)=∑i∈wéëùû
()
a k I i+
b k-p i2+εa2k,(2)可获得
a k=()
1
|
|w
∑
i∈w
I i p i-μk pˉk()
σ2k+ε,(3)
b k=pˉk-a kμk,(4)其中,μk和σ2k分别表示参考图像I在局部窗口w k 内的均值和方差,p i和pˉk分别表示输入图像p的第i个像素灰度值和局部窗口w k内的平均灰度值,|w|表示局部窗口w k内的像素数,ε表示正则化系数。
输出像素q i被多个窗口w k覆盖,可以获得多个可能值,平均所有可能值是最简单有效的估计方法:
q i=aˉi I i+bˉi,(5)其中,aˉi和bˉi分别为窗口w i内所有a k和b k的均值。
2.2平台直方图均衡化
平台直方图均衡化[9](Plateau Histogram Equalization,PHE)是一种直方图均衡化改进算法,它引入平台阈值,解决传统直方图均衡化过增强问题,在红外图像增强领域中有广泛应用。
PHE计算过程如下:首先,削掉大于平台阈
1183
第37卷
液晶与显示
值T的直方图:
H T(i)=ìí
îH()i,H()i≤T
T,others
,(6)
其中,H(i)为原始直方图,H T(i)为平台直方图。
然后,计算归一化累计分布函数:
S(i)=∑j=0i H T()j∑j=0R-1H T()j,(7)其中,R表示输入图像动态范围。
最后,PHE的输出图像可以表示为
O PHE(i)=D⋅S(I in(i)),(8)其中,D表示输出图像动态范围,I in(i)表示输入图像I in的第i个像素灰度值。
2.3Otsu法
Otsu法[10]是一种基于最大类间方差的自动阈值选择方法。设T Otsu为前景与背景的分割阈值,前景像素数占比p0,平均灰度为μ0。背景像素数占比p1,平均灰度为μ1。前景和背景的类间方差为
σ2T=p0p1(μ0-μ1)2.(9)σ2T最大时,对应的阈值T Otsu为最优分割阈值。
3本文算法
本文算法流程如图1所示,具体步骤如下:
(1)利用自适应GIF将输入图像I in分离成基础层I B和细节层I D=I in-I B;
(2)利用PHE压缩基础层动态范围获得I BP;
(3)利用掩膜图像I M加权和γ变换处理细节层,获得I DP;
(4)将I BP和I DP线性加权获得加权图像I W= (1-α)I BP+αI DP,其中α为线性加权系数;
(5)将I W线性拉伸到[0,255]范围,获得输出图像I out。
3.1自适应引导滤波
当输入图像p和参考图像I一致时,GIF变成一种边缘保护平滑滤波,式(3)可以简化为:
a k=σ2k
σ2k+ε
.(10)可以看出,在强边缘区域,局部图像方差σ2k远大于ε,a k→1,输出图像接近输入图像,具有边缘保持功能;在平坦区域,局部图像方差σ2k远小于ε,a k→0,输出图像接近局部平均,具有局部平滑功能。
正则化系数ε是影响细节增强效果的重要参数。ε过小,细节层包含大量噪声,如图2(b)所示,输出图像噪声明显;ε过大,细节层包含细节过少,输出图像细节增强不充分。文献[6,8]将ε设为固定值,缺乏自适应性,不能适应所有场景。文献[11]提出一种基于全局方差的正则化参数选择方法,对于高动态范围图像,全局方差过大,导致ε选择过大,细节层细节过少,如图2(c)所示。本文提出一种基于Otsu法的正则化系数自适应选择方法,可以获得更合适的ε,使得细节层保留更有用的边缘细节,如图2(d)所示。
正则化系数ε作用于整幅图像,就要权衡所有的局部图像方差σ2k。本质上就是选择一个ε将所有σ2k分割成两部分,类似于图像二值化,因此
局部直方图均衡化
图1本文所提出的算法流程图
Fig.1Flowchart of the proposed algorithm
(a) 原图(b) ε=100
(b) ε=100
(a) Raw image
(c) 文献[11]
(c) Reference [11]
(d) 自适应 ε
(d) Adaptive ε
图2不同ε细节层的对比
Fig.2Comparison of detail layers with differentε1184
第9期
路陆,等:基于自适应引导滤波的红外图像细节增强
本文使用最经典的Otsu 法[10]选择ε。然而,如图3(a )所示,σ2k 并不满足高斯分布,不适合用
Otsu 法计算阈值。相比之下,σ2k 在对数域更接近高斯分布,如图3(b )所示,更适合用Otsu 法计算分割阈值T Otsu 。阈值T Otsu 将σ2k 分成高低两部分,为了更好抑制低σ2k ,将T Otsu 对应的σ2k 扩大100倍作为最终正则化系数:
ε=100×exp (T Otsu ).
(11)
3.2细节层处理
为了抑制细节层噪声,选择自适应GIF 的线
性系数a ˉi 作为增益掩膜I M ,对细节层I D 加权,获
得掩膜加权细节层I DM :
I DM =I D ∘I M ,
(12)
其中,“∘”表示点乘运算。
为了进一步增强图像细节,使用γ变换进一步增强掩膜加权细节层I DM :
I DP =255⋅sign (I DM )⋅éë||I DM max ()
||I DM ùûγ
,
(13)
其中,sign (·)表示符号函数,max (·)表示最大值函数,γ=1.2可以增强强边缘,抑制弱边缘。经式(12)和式(13)处理后,细节层的处理效果如图4所示,可以看出,在显著增强建筑边缘等图像细
节的同时,也有效地抑制了天空等平坦区域的噪声放大。
4实验结果与分析
为了验证本文算法,选择3种场景进行对比
实验,如图5所示。场景1是具有强烈明暗变化
的典型高动态范围场景,场景2是纹理复杂的室外场景,场景3是典型的海天场景。实验使用的红外图像分辨率均为640×512,像素位宽14bit 。
为了验证本文算法性能,选择7种传统和先进算法做对比,包括:自适应增益控制(Adaptive
Gain Control ,AGC )[12]
、BF&DRP [4]、双边滤波和数
字细节增强(Bilateral Filter and Digital Detail En‐
hancement ,BF&DDE )[2]、引导滤波和数字细节增
强(Guided Image Filter and Digital Detail Enhance‐
ment ,GIF&DDE )[6]
、改进自适应细节增强(Im ‐proved Adaptive Detail Enhancement ,IADE )[8]、时
间数字细节增强2(Temporal Digital Detail En‐
hancement 2,TDDE 2)[13]以及改进红外图像自
适应增强(Improved Infrared Image Adaptive En‐hancement ,I3AE )算法[11]。本文算法关键参数选择如下:平台阈值T 设为像素数0.01%,线性加权系数α=0.3。其他算法参数采用默认参数。所有实验算法均在PC 平台(操作系统Win‐dows10、Intel -i7处理器、48GB 内存)上用Matlab R2020b 实现。4.1
主观评价
图6~8展示了不同算法在3个场景中的对
比实验结果。如图6所示,场景1是典型高动态
范围场景,AGC 、TDDE 2和I3AE 对阴影区域建筑细节增强不明显。BF&DRP 和IADE 都在一定程度上过度增强图像,而且BF&DRP 在强边缘处会
5
×105
32ln
k σ2
k σ2k σ2k σH i s t
H i s t
(a)
直方图(a) Histogram of 2ln
k σ(b) 直方图2ln k
σ
(b) Histogram of 图3
局部图像方差直方图统计
Fig.3
Histogram statistics of local image variance
(a) 细节层I D
(a) Detail layer I D
(b) 处理后细节层I DP
(b) Processed detail layer I
DP
图
4
细节层的处理效果
Fig.4
Processing effect of the detail layer
(a) 场景1
(a) Scene 1(b) 场景2(b) Scene 2(c) 场景3(c) Scene 3
图5用于测试的3个场景Fig.5
Three scenes for testing
1185
第37卷
液晶与显示
出现“梯度反转”伪像。BF&DDE 和GIF&DDE 在阴影区域具有显著的增强效果,但其在天空区域却出现严重失真。相比之下,本文算法不仅在
天空区域获得合理的增强,在阴影区域也获得很好的细节增强,整幅图像视觉效果更自然。
如图7所示,场景2
是纹理复杂的室外场景,
图6
场景1的对比实验结果
Fig.6
Comparison experimental results of sence
1
图7
场景2中的对比实验结果
Fig.7
Comparison experimental results of sence
2
图8
场景3的对比实验结果
Fig.8
Comparison experimental results of sence 3
1186
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论