doi:
10.3969/j.issn.1003-3106.2023.06.004
引用格式:孙小迎,邹艳.多尺度细节增强与自适应γ变换的图像增强[J].无线电工程,2023,53(6):1262-1268.[SUNXiaoying,ZOUQunyan.ImageEnhancementBasedonMultiscaleDetailEnhancementandAdaptiveγTransformation[J].Radio
Engineering,
2023,53(6):1262-1268.]多尺度细节增强与自适应γ变换的图像增强
孙小迎1
,邹艳
2
(
1.南昌工学院发展规划处,江西南昌330108;2.
南昌工学院信息与人工智能学院,江西南昌330108)
摘 要:针对现有图像增强方法未能适宜地提升图像的亮度、对比度,以及保持图像自然效果的问题,提出了多尺度细节增强与自适应γ变换的图像增强方法。该方法根据多尺度的纹理结构和边缘细节特征,用引导滤波对图像进行多尺度的Retinex分解,分解为多尺度的细节层和最后的基础层;对基础层做自适应的γ拉伸,实现图像亮度和对比度的有效增强,对细节层进行多尺度的拉普拉斯增强;将增强的基础层与增强的细节层进行多尺度的Retinex反变换,实现原图像的增强。图像增强实验结果显示,相对于当前的部分最新方法,所提方法的图像增强性能更好,图像增强后的信息熵和平均梯度分别比现有的方法提升大约1.2和2.8。
关键词:图像增强;引导滤波;多尺度的细节层;自适应γ
拉伸;改进的拉普拉斯算子中图分类号:TP391文献标志码:A开放科学(资源服务)标识码(OSID):文章编号:1003-3106(2023)06-1262-07
ImageEnhancementBasedonMultiscaleDetailEnhancementand
AdaptiveγTransformation
SUNXiaoying1
,ZOUQunyan
2
(1.DevelopmentPlanningDivision,
NanchangInstituteofScienceandTechnology,Nanchang330108,
China
;
2.SchoolofInformationandArtificialIntelligence,NanchangInstituteofScienceandTechnology,Nanchang330108,China)Abstract:Theexistingimageenhancementmethodsfailtoproperlyimprovethebrightnessandcontrastoftheimageandmaintainthenaturaleffectoftheimage,animageenhancementmethodbasedonmultiscaledetailenhancementandadaptiveγtransformationis
thusproposed.Thismethodperformsmulti scaleRetinexdecompositionontheimagebasedonmulti scaletexturestructureandedge
detailfeaturesbyusingmulti scaleguidedfiltering
,achievesmulti scaledetaillayersandthelastbasiclayer;thebasiclayeris
enhancedbyadaptiveγstretching,soastoimprovethebrightnessandcontrastoftheimageeffectively,andthemulti scaledetaillayersareenhancedrespectivelybytheimprovedLaplaceoperator;multi scaleRetinexinversetransformationwiththeenhancedbasic
layerandtheenhancedlayersachievestheenhancedimage.Themulti scaleRetinexinversetransformationiscarriedoutonthe
enhancedbasiclayerandtheenhancedlayerstoenhancetheoriginalimage.Theexperimentalresultsofimageenhancementshowthat
comparedwithsomelatestmethods
,theproposedmethodhasbetterenhancementperformance,theinformationentropyandaverage
gradientoftheenhancedimageareabout1.2and2.8higherthanthoseoftheexistingmethods,respectively.
Keywords:imageenhancement;guidedfiltering;multiscaledetaillayer;adaptiveγstretching;improvedLaplaceoperator
0
引言
由于拍摄环境和硬件的原因,成像往往亮度不足、对比度低[1
],需要进行增强处理。直方图的优
化处理[2-3
]可以提升图像的效果。董丽丽等[4
]提出
了直方图动态削峰技术,克服了直方图均衡化存在过增强的缺陷。Tan等[5
]提出了多直方图的对比度增强方法(EMEC),但是划分子直方图的阈值缺乏
收稿日期:2023-01-19
基金项目:江西省教育厅科学技术研究项目(GJJ212520,GJJ191095,GJJ191101,GJJ191099,GJJ202509);江西省高校人文社会科学研究项目(JY19131)FoundationItem:ProjectofScienceandTechnologyResearchofJiangxiProvincialDepartmentofEducation(GJJ212520,GJJ191095,GJJ191101,
GJJ191099,GJJ202509);HumanitiesandSocialSciencesResearchProjectofUniversitiesofJiangxiProvince(JY19131)
信号与信息处理
鲁棒性。Pankaj等[6]运用直方图裁剪实现图像的对比度增强和纹理细节保持(MCIE)。Retinex理论将图像做分层增强处理[7-8],能有效增强图像的纹理细节。文献[9]利用
亮度域模糊变换对Retinex的光照图像进行正则化(FTCE)。Anil等[10]用多尺度Retinex分解和重构,克服了Retinex对光照图像和反射图像估计的病态问题。
深度学习被广泛应用于图像增强,并取得了良好的效果[11-12]。Hu等[13]用对抗性训练学习的细化网络提升图像效果。Yan等[14]在生成性对抗网络中对损失函数进行最小化,以实现图像的增强(OGAN)。但是它们的计算耗时较高,且容易放大噪声。
为了更加适宜而有效地增强图像的亮度和对比度,提出了多尺度细节增强与自适应γ变换的图像增强方法(MDET)。
1 图像的多尺度Retinex分层
根据Retinex理论,图像I包含基础层和细节层两部分:
I=L×R,(1)式中:L为图像的基础层,R为图像的细节层。为易
于计算,将式(1)变换到对数域:
lnI=lnL+lnR。(2) 基础层和细节层分别为图像的低频和高频部分,一般地,对图像I进行低通滤波以获得基础层:
L=Filter(I),(3)式中:Filter为采用的滤波方法。根据式(2)可得细
节层为:
R=exp(lnI-lnL)。(4) 对于滤波方法Filter,一般选取高斯滤波器,但是高斯滤波器缺乏边缘保持能力,于是,部分学者选取具有边缘保持能力的双边滤波。双边滤波结合空间距离核和像素值域核,能有效地保持图像的边缘细节,但是其在灰度变化剧烈处容易出现梯度翻转。
He等[15]提出的引导滤波方法能更有效地识别图像的纹理和边缘,能更准确地对图像的基础层进行估
计。因此,本文采用引导滤波作为式(3)的滤波器Filter。引导滤波以引导图像作为参考,假设图像的像素满足局部的线性关系:
o
i
=a
k
g
i
+b
k,i∈Nk
,(5)式中:o、g分别为输出图像和引导图像,Nk为引导图像中以像素k为中心的邻域,ak、bk为Nk中的线性系数。式(5)的线性关系相对于原图像I的代价函数为[16]:
E(ak,bk)=∑i∈Nk[(akgi+bk-Ii)2+εak],(6)式中:ε为平衡图像平滑与边缘保持效果的正则化参数。对式(6)应用线性回归求解,可得:
a
k
正则化参数的自适应估计=
1
N
k
∑
i∈Nk
g
i
I
i
-u
k
I
k
σ2
k
+ε
,(7)
b
k
=I
k
-a
k
u
k,
(8)式中:Nk为Nk中的像素数量,uk、σ2k分别表示邻域Nk内像素的均值和方差,Ik为原图像在邻域Nk中的均值,即Ik=1
N
k
∑
i∈Nk
I
[17]
i。
正则化系数ε与σ2k的相对大小关系决定着图像的平滑效果,即决定图像边缘细节的去留。图像的边缘细节大致可分为小、中和大尺度的边缘细节,因此本文采用逐层分解的方法,先从图像分解出包含小尺度边缘细节的细节层,再分解出包含中等尺度边缘细节的细节层,最后分解得到包含大尺度边缘细节的细节层和图像的基础层,如图1所示。在后续的增强处理过程中,单独对基础层和小、中、大尺度的细节层分别做增强处理,不会因为多尺度边缘细节的混合而导致边缘细节被破坏。
实验数据显示,正则化系数ε为30、300、1000的引导滤波能有效地识别和提取小、中和大尺度的细节层,因此以图1
所示的多尺度方式,将图像分解为小、中和大尺度的细节层以及基础层,如图2所示。
图1 图像的多尺度分解
Fig.1 Multi scaledecompositionofimage
信号与信息处理
图2 基于多尺度引导滤波的图像分解
Fig.2 Imagedecompositionbasedonmultiscaleguidedfiltering
2
基础层的自适应γ拉伸
恶劣的成像环境和硬件条件不足往往会使成像的亮度偏暗、对比度较低。γ拉伸可以调节图像的亮度和对比度,如图3所示。小于1的γ指数对暗区进行拉伸,对亮区进行压缩;而大于1的γ指数相反,对暗区进行压缩,
对亮区进行拉伸。
图3 γ指数的变换效果
Fig.3 Theeffectofγindextransform
不同光照和环境条件下的成像,其亮度和对比
度各异,亮度的局部分布往往有较大差别;拍摄的角度不同,图像的特征也不同。为了在实现有效增强图像亮度和对比度的同时,有效凸显图像的边缘细节,本文提出了基础层L3
的自适应γ拉伸方法。令L3
为图像的基础层,自适应的γ拉伸方法为:
Le3
=Lγ
3
,(9)
式中:Le3
为增强后的基础层图像,γ为变换指数。根据图像的直方图,如果图像的像素近似均匀地分布于整个灰度范围,其对比度就较为理想;如果直方图分布的主峰处于灰度级动态空间的中间或稍偏右,图像的亮度就较适宜,图像的边缘和细节也较
为突出。因此,图像的效果可通过其直方图得到
体现。
为了充分利用直方图的这一特点,结合基础层图像的直方图,将基础层图像的像素尽可能地均匀分布于整个灰度范围,并且令主峰位于中间或中间稍偏右。基于以上分析,将自适应的γ指数定义为:
γ=
∑255
i=0
i h(
i)∑255
i=0
(
256/2) h(i),
(10)
式中:h为基础层L3
的直方图,i为0~255的像素级。
γ指数的分子为以直方图h为权值的像素级的加权和,分母为以直方图h为权值、以像素级动态
范围的中值256/2作为平均像素级的加权和,
中值256/2代表亮度适宜的图像的像素均值。γ指数值自适应于基础层的直方图h的分布,基础层的亮度越暗,h的分布就越偏左,通过式(10)得到的γ指数值就越小,结合图3可知,对暗区像素拉伸的幅度就越大,反之拉伸的幅度就越小。因此,自适应的γ指数具有较好的鲁棒性,避免了基础层
的过增强。
3
改进的拉普拉斯算子与细节层增强
为了进一步增强图像的边缘和细节,对于以逐
层分解的方式提取的小、中和大尺度的细节层,对拉普拉斯算子进行改进,将其用于多尺度细节层的增强处理。拉普拉斯算子如图4(a)所示,从加权滤波器以及双边滤波的角度来看,算子的系数未能体现不同空间距离上邻域像素之间的相关性和相互作用的差异,因此,本文提出了改进的拉普拉斯算子,如图4(b)所示。改进的拉普拉斯算子中,相对于中心像素,邻域像素的系数严格反比于它们之间的空间距离,能更有效地提取图像的边缘和细节。
信号与信息处理
槡槡
1 1 1 1/2 1 121 -8 1 1 -(4+槡4/2)
1槡
槡
1
1
1
1/2
1
12
(a)拉普拉斯算子
(b)改进的拉普拉斯算子
图4 改进的拉普拉斯算子
Fig.4 ImprovedLaplaceoperator
为了进一步凸显图像的边缘细节,用改进的拉普拉斯算子分别对小、中和大尺度的细节层做增强处理:
Re小=R小+R小 H
,
(11)Re中=R中+R中 H,(12)Re大=R大+R大 H
,(13)
式中:H为改进的拉普拉斯算子, 为卷积运
算。式(11)~式(13)分别用算子H提取对应细节层的边缘细节,再线性融合到对应的细节层上,进一
步凸显图像多尺度的边缘和细节。根据式(2),将经过拉普拉斯增强的细节层Re大、Re中、Re小和增强的基础层Le3
做多尺度的、逐层的
Retinex重构,得到最后的增强图像Ie,如图5
所示。
图5 多尺度Retinex反变换
Fig.5 Multi scaleRetinexinversetransformation
4
仿真实验
为了验证所提出图像增强方法的有效性,在
Inteli7 11700CPU、8GB内存的计算机上进行实验,以增强图像的视觉效果、信息熵以及平均梯度作为指标,对提出的方法和现有文献中最新提出的部分方法做比较与分析。实验素材用数据集ExclusivelyDark,部分图像如图6所示。作为参照
的方法为EMEC[5
]、MCIE[6
]、FTCE[9
]、OGAN[14
],信
息熵与平均梯度的定义分别为[18
]:
H=-∑255
i=0
∑255
j=0
Pij
lnPij
, (14)G=13×h×w∑3
d=1∑h-1
i=1
∑w-1
j=1
ΔI2
d,i,j,x+ΔI2
d,i,j,y
2槡
,(15)式中:Pij
为归一化后的像素直方图,d、h、w分别为图像的通道、高度、宽度,ΔId,i,j,x、ΔId,i,j,y
分别为x与y方向上的像素差分。
视觉效果从人眼视觉感知的角度度量图像的
增强效果;信息熵是一种随机性的统计度量,描述图像的纹理细节和信息量,更大的信息熵表示图像的信息含量更大;平均梯度以方向导数的形式定义图像的对比度,其值越大,图像的对比度越大。图6 实验图像
Fig.6 Experimentalimages
4.1
视觉感知效果的比较
视觉感知可以直观地度量图像的整体效果,包
括图像的亮度和对比度是否适宜、彩是否自然、是
否有欠增强和过增强、图像的纹理结构和细节信息
信号与信息处理
是否清晰等。各方法对图像建筑、女孩和日出的增强效果如图7~图9所示。
从图7中图像建筑的增强效果可以看出,
方法EMEC存在亮处过增强和暗处欠增强的缺陷,且颜过于鲜艳。方法MCIE有效地凸显了暗处的图像
信息,但是放大了噪声,画面出现明显的颗粒状噪声。方法FTCE和OGAN的增强图像在亮度上偏暗,部分场景因为亮度不足而未能正常显示。与其他方法相比,本文方法适宜地提升了图像的亮度和对比度,暗处的图像信息与人物背影的显示都较清晰。
图7 对图像建筑的增强效果
Fig.7 Theenhancedeffectofimagebuilding
由图8可以看出,方法EMEC的增强图像出现
失真,中上部分出现明显的过增强。方法MCIE的增强图像虽然整体亮度较适宜,但是出现泛灰现象,画面偏白,对比度较低。虽然方法FTCE和OGAN有效提升了图像的对比度,特别是方法OGAN的图
像纹理较清晰,但是它们对亮度的提升依然不足,背
景中的绿植物和门户偏暗。相对地,本文方法对图像增强后,整体画面较清晰,亮度适宜,对比度较高,画面虽然出现轻微的泛白,但是背景的绿植物
和门户能较为清晰地显示。
图8 对图像女孩的增强效果
Fig.8 Theenhancedeffectofimagegirl
对于图像日出,亮区和暗区差异较大,由图9可以看出,方法EMEC大大提升了图像的视觉效果,但是图像下半部分暗处的图像信息依然未能充分显示。方法MCIE出现明显的过增强,破坏了图像的原有信息,且有严重的失真效果。方法FTCE和
OGAN以及本文方法的增强效果较好,
但是方法FTCE对边缘细节的增强效果稍差,
方法OGAN有效增强了图像的边缘细节,但是放大了噪声,而本文
方法有效地提升了图像的亮度、对比度和清晰度。
从视觉感知的角度,本文方法较其他方法的增强效果更优。因为多尺度引导滤波的分解,保持了各尺度的纹理和细节信息;基础层的自适应γ拉伸,适度地提升了图像的亮度,使得隐藏于暗处的图像信息得以正常显示;细节层的改进拉普拉斯增强,在一定程度上凸显了图像的边缘和纹理信息,使图像
的清晰度更高。
图9 对图像日出的增强效果
Fig.9 Theenhancedeffectofimagesunrise
4.2
信息熵与平均梯度的比较
信息熵度量图像的信息丰富程度,对图像的增
强就是提升图像的有效信息量。各方法对图6所有
的实验图像增强后对应的信息熵如表1所示。
信号与信息处理
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论