2021年5月计算机工程与设计Ma y2021第42卷第5期COMPUTER ENGINEERING AND DESIGN Vol.42No.5
面向水下和低光图像的复原及增强方法
刘柯，梁永全+，李旭健
（山东科技大学计算机科学与工程学院，山东青岛266590）
摘要：针对水下和低光图像存在的对比度低和颜失真等情况，提出一种面向水下和低光图像的复原及增强方法。预处理操作，实现图像的复原；采用改进后的直方图均衡化方法，提高彩的饱和度和图像的清晰度；运用卷积神经网络结合非二次采样轮廓变换（NSCT）技术，解决曝光问题，避免图像彩退化和边缘细节减弱的发生。实验结果表明，该方法增强了图像的彩饱和度，保留了图像的边缘细节，具有较好的视觉效果。
关键词：水下图像；低光图像；图像增强；边缘细节保留；图像去噪
中图法分类号：TN911文献标识号：A文章编号：1000-7024（2021）05-1392-10
doi：10.16208/j.issnlOOO-7024.2021.05.027
Method for restoration and enhancement of underwater and low-light images
LIU Ke,LIANG Yong-quan+,LI Xu-jian
(College of Computer Science and Engineering,Shandong University of Science and Technology,Qingdao266590,China) Abstract:Aiming at the low contrast and color distortion of underwater and low-light images,a restoration and enhancement method was proposed for underwater and low-light images.The image was preprocessed to achieve image restoration.An im­proved histogram equalization method was adopted to improve color saturation and image clarity.The convolutional neural ne--work was combined with non-subsampled contour transformation(NSCT)technology to solve the exposure problem and avoid the degradation of image color a nd the reduction of edge details.Experimental results show that the proposed method enhances the color saturation of the image and retains the edge details of the image,which has better visual effects.
Key words:underwater image；low light image；image enhancement；edge detail preservation；image denoising
0引言
当前，人类在水下和低光环境中的活动越来越频繁，比如：目标检测、智能识别、水下探测等。因水下和低光图像具有很多的相似情况，因此，对于如何解决两者共同存在的问题成为了比较热门的话题。本文算法的流程如图1所示，主要贡献如下：提出了一种统一去雾方法，它比最新的方法去雾效果还要好，并能够保持边缘细节；提出了一种图像增强方法，在提高图像分辨率的同时，对彩和边缘细节也起到了很好的增强作用，使得图像清晰度和图像质量更好；采用的算法简单，统一解决了水下图像和非水下低光图像增强的问题。
预处理
局部直方图均衡化⑴去噪
⑵去雾
图像增强处理
（1）改进的直方图均衡化
（2）SRCNN+NSCT
图1本文的流程
收稿日期：2020-04-24；修订日期：2021-03-19
基金项目：国家重点研发计划基金项目（2017YFC0804406）
作者简介：刘柯（1992-），男，山东荷泽人，博士，研究方向为图形图像处理、人工智能；+通讯作者：梁永全（1967-），男，山东聊城人，博士，教授，博士生导师，研究方向为图形图像处理、分布式人工智能、多媒体信息智能处理；李旭健（1971），男，山东聊城人，硕士，副教授，硕士生导师，研究方向为图形图像处理、计算机视觉、模式识别。E-mail：*************
第42卷第5期刘柯，梁永全，李旭健：面向水下和低光图像的复原及增强方法1393・
1相关工作
()水下图像的相关研究
文献［］提岀图像融合的方法解决图像增强的问题；文献［］和文献［］实现了对边缘细节和彩的增强；文献［］提岀了一种红通道的实现思想，但是所用的方法被光学模型和参数估量的精确度限制；文献［5］、文献［］和文献［］会导致图像的欠曝光和过曝光问题；文献［8］和文献［9］在彩增强上实现效果不理想；文献［10］提岀一种基于学习网络的水下去散射方法，能够解决颜失真的问题，不过在处理光线亮度方面欠佳；文献［11］和文献［12］采用深度学习的方法实现图像的增
强，但仍存在颜失真的问题。
()关于非水下低光图像增强的相关研究
文献［13］根据局部和全局性原理判别亮度，增强了图像的彩，但在边缘细节方面不够理想；文献［11］提岀了一种深度神经网络模型，可以很好解决图像模糊问题；文献［15］和文献［16］在解决图像复原的同时，彩增强方面有待提高；文献［17］、文献［8］和文献［19］都提岀了新的目标函数，但是并没有很好地解决图像模糊问题。
2图像复原
采用基于马尔科夫专家场(Markov random fields, MRF)的泊松噪声处理方法［1」，并采用MSRCR与导向滤波相结合的方法去除雾气。实验结果表明，该去噪和去雾方法实现了很好的效果。
2.1图像去噪
专家场(ieldsof experts,FoE)模型是一种全新的高阶MRF模型，其包含了N个m*m的高通滤波器模板J(=1,2,…,N)这个系统区域里节点之间是相邻的节点。假设FoE模型所有的J”模板对应着以下的相同势函数
sf-=II x.<Jf i；)⑴
n=1
式中：N表示系统中滤波器模板的个数，f表示J遍历图像f时覆盖的第，个图像块，Y表示专家函数，s表示专家 函数中的参数集。
在FoE模型下，其概率分布如下
X X N
H(.f)=l/z n scf)=1/z^^7n i1f i Sk⑵
i=1i=1n=1
式中：X是像素的总个数，z表示归一化函数。
FoE模型中，Y使用的概率密度函数是
YnUf i S-=［+1/2(Jlf i)2］-n()式中：区表示滤波器参数。
而在平时使用中，常采用吉布斯分布形式表示FoE模型
X N
Hf-=1/z*e i=1n=1n7n<jjfi
噪声图像的退化模型表示为
w=f+J(。式中：w表示有噪的图像，f表示清晰图像，"表示噪声。
结合贝叶斯定律得岀
P(f wk=P(f)P(w fk/P(wk()图像的去噪，这里用已知条件下的噪声图像的最大后验概率估计来表达
f=max/P(f wk=max/P(f)P(w fk(。
对上式取负自然对数，即把上式求最大数值转化为求取最小值的问题
f=miny［-InP(fk—InP(w f］(］如果所有像素满足独立同分布，可得
s(f i)=n Y n(j f i s,(,
j=1
将上式取负对数后
X
—InP(w|f)=>「f一w?Jf］(0。
i=1
对P(f的建模采取FoE模型，结合式(］知
X N
—IP(k=工+1/2(兀？,)2］(1)
i=1n=1
把式(0)、式(1。带入式(8)，求得代价函数
f=min///2£f—wInf i)+
i=1
XN
工+1/2i f i)2]+d+(f](2)
i=1J=1
式中：“表示正则系数，d+(f)表示引入的非负数约束
d+(f)=
(0,fGR X
i+X，其它(13)引入2组辅助变量：Q和缶(=12,…，N)Q对应着清晰图像f q n对应着滤波器J n和图像f的卷积，比如：q 对应着J l f，同时引入2个惩罚系数岔和匣，有
(1)初始化：外〉=1，置。=1,f=w；
(2)循环；
XN
C3)q(t1=min n丫，忆/宛(1+1/2(必)2)+
i=1n=1
N
&/(£>”(("—Jf"。)2)；
n=1
X
(]p t1，=min//2丫(p。—wlpo i。]十/2((，一f。—；
i=1
N ()f+1)=mi f d1/2((1)-f i，)2+心/2工际盃。一
n=1
Jf()2+d+f；
(6)5]=23*1，直到81=5]max；
(7)九=28，直到8=；
(8)输岀：f=f i+1。，f则为清晰图像的结果。
通过以上求解函数中得岀最终清晰的去噪图像fo从图2可以看岀，去噪效果是非常好的，可以解决水下图像
(4)
•1394•计算机工程与设计2021年
和非水下低光图像中存在的噪声，去噪后的图像并没有发生彩失真等其它问题，大大提高了图像的视觉效果。
⑼原始图像⑹去噪后的图像
图2去噪结果
2.2图像去雾
对于MSR产生的差和图像增强效果不佳的问题，文献[2]中用到了MSRCR算法，虽然极大地消除了MSR 偏带来的影响，但图像经处理后存在细节淡化的问题。为此，采用MSRCR算法联合导向滤波[3]技术实现图像去雾的方法
RMSRCRX,'=G*RMSRCR(x,y)+b(14)
RMSRCRX,)=CU,y')RMSRU,y')(15) C(x,y)=f[I(x,y)/-I(x,y))C,(x,y)=
/[I'iCxy))=f[L(x,y")-j(16) f[I(x,y))=flogJ'(x,y))=0{log['(xy))—
logL-IXy))}(17)其中，G代表增益Gain(这里取值为5),b代表偏差(这里取值25),ICxy)指某个通道中的图像，C是用于调节3个通道颜的彩恢复因子，f(*)表示彩领域的对应关系,”表示增益常数(这里取值46):a指的是受到约束的强度系数(取值125)。
采用基于图像衰减模型的方法，由图像的辐照率和导向滤波，输出去雾后的图像。
图像衰减模型
F(X=JX)X)+A(1—hXx'))(18)这里，自变量x代表图像中像素的位置；FX)代表初始图像；JX)代表去雾后图像；h(X表示透射率图，也就是场景中物体的深度；A能够由FX)得到JX)。
由图像的衰减模型，可以知道透射率h l X
h1(x)=2一w miny W g(X(min[c I c(y)/A c])(19) h2(x)=a k F ide+b,V i W w k(20)式(20),“起到了减小去雾程度的作用，这里w取值(0,1)；h2Xx)表示滤波输出结果。
导向图F gd和h z X)之间的线性模型就是导向滤波，导向图的作用就是为了提高边缘细节的清晰度。获取初始图像的RGB通道的最小值，得出图像W；再经过双边滤波得到局部均值图像R，更好地获取到图像的边缘细节的特征；获取局部标准差异图像、二次差异图像K J6]；求得大气光幕图像，最后得出导向图F gi e
R(x,y)=Bilateral WXxy) )(21) K(x,y)=R(x,y)一Bilateral(WXx,y))(22)
F pide=2一max(min(K,W):0)/(A+1)(23)
通过导向图F i，并对透射率hX)进一步优化，能够高效保留住图像的边缘细节。
接下来，运用最小化代价函数，确定线性系数
Sa b k=—(a LF gide]+%—J1X,)i,2,+a
iW w k
(24式中："是调整参数，用来避免a©太大；J1X))2代表输入的图像在第z处的透射率。
文献[24]得出初始图像的暗通道P；P中最亮的区域记作Z，选择其中的0.2%个像素的位置；通过计算得出最终的去雾图像J
J X)=[FX)—A]/max(h2(x),h0)+(1+A)(25)式中：若h2(X趋近于0时，就会产生噪声，所以，添加了下限h o(本文取0.1)。
采用的MSRCR结合导向滤波技术很好解决了图像所含雾气的问题，实验结果如图3所示。
@)原图(b)去雾后图像
图3去雾效果
实验验证，MSRCR不仅可以实现去雾的效果，而且还提高了图像的对比度。而导向滤波对图像的边缘细节起到了理想的保护作用，而且还有一定的去雾功能，通过采用该方法实现了去雾、细节保留和对比度增强的效果。从图3中清晰地看出该方法达到的去雾效果是非常理想的。
3图像欠曝光处理和增强
经上面过程处理后，可以在目前图像中获取到一些信息，但是仍存在着光线偏暗的问题，针对此问题，进一步采用图像增强方法，首先，采用了董丽丽等[5]提出的基于改进的直方图均衡化图像增强的方法，起到的作用是:①进一步提高了图像的清晰度；②
更好实现了图像的颜增
第42卷第5期
刘柯，梁永全，李旭健：面向水下和低光图像的复原及增强方法
・1395・
强。但是，实验结果表明，在该方法提高亮度的过程中，会
出现部分图像的局部区域偏亮或者偏暗问题，如图4所示。
始图像。
CNN 的训练。公式如下
(a)处理前
(b)处理后图像
图4 改进的直方图均衡化结果
Y  = max(S *Y i —1)+C ) i  =RGB, (7)
式中：CNN 每一层的卷积核用S ，表示，CNN 每一层的偏 置用C 表示，第五次卷积之后的输出结果用Y i —l)表示。
图像的融合
Y  = cat  Y r  Y g Y b ,
(8)
NSCT 操作。根据塔形分解算法的原理，将初始图像
划分为高通和低通，然后采取非下采样方向滤波器组
(non-subsampled  directional  filter  banks，将那些高频子带
拆分为多个方向子带，针对一些低频部分，继续根据上述
操作进行分解。
实验结果表明，通过深度学习联合NSCT 操作，有效
解决了图像的欠/过曝光问题，对水下和低光图像的颜也
在许多处理水下和低光图像的方法中，处理后的图像 都会不同程度存在着边缘细节淡化的问题，并伴随着图像 彩局部失真、细节丢失等问题，为此，采用改进后的超
分辨率卷积神经网络(SRCNN)配合非下采样轮廓波变换
(NSCT，技术［3」对图像的彩和细节部分进行增强。
该方法改进了文献［6, 27」提出的颜校正方法。
首先采用SRCNN 方法对原始图像进行处理，有3个卷积 层；对图像进行CNN 训练，得到3个新的图像，通过图像
之间的相互融合，得出新的图像；对新图像NSCT 处
理［-29」，求得最终的图像。
对R 、G 、B 这3个通道的处理。将最初的图像分为
R 、G 、B 这3个通道，公式如下
Y, = image  (Y, , i  = RGB, (6)式中：z 指的是R 、G 、B 这3个通道，Y 指的是CNN 的初 起到了增强作用，达到了预期目标。NSCT 能够实现不同 尺度、不同方向的快速变换。
综上所述，SRCNN 和NSCT 技术对改善图像清晰度、 增强颜和细节的保护上拥有其它方法无法替代的作用。
4实验结果与分析
该章节通过与其它现有方法进行实验对比，进一步说
明本文方法的有效性。首先，针对本文的去雾方法进行说
明；然后从定性和定量方面进行分析和评价。
4.1实验对比
图像预处理。对于水下图像，与文献［」的方法和文 献［0」的方法进行了对比，结果如图5所示。对于非水
下图像，与文献［4」的方法和文献［5」的方法进行对
比， 结果如图 6 所示。
(a)原图(b)文献[9](c)文献[10](d) Ours
图5
水下图像去雾后的结果比较
•1396•计算机工程与设计2021年
(b)文献[14](C)文献问
(a)原图(d)Ours
图6非水下图像去雾结果比较
由图5得知，文献［」有效去除了图像中所含的雾气和噪声的干扰，但是仍然存在一些问题，比如：局部区域有差等。文献［0」提出的一种基于深度卷积神经网络的去散射方法，在颜增强方面好于文献［」，但是依旧存在着边缘细节不够清晰的问题，使得最后的视觉效果不佳。
图6中，文献［4」起到了一定程度的去雾效果，能够清晰地看出场景中的物体，但是并没有保留住图像的边缘细节。文献［5」整体效果好一些，但仍然存在局部模糊现象。
本文提出的方法不仅可以很好去除雾气，而且还能够有效增强图像颜和保留图像的边缘细节。对于越清晰的图像，表示它们含有的噪声越少，它们的信噪比(SNR)也越大。接下来，为了说明本文方法的高效性，对于图5中的3幅图像(图5()、图5(b)、图5(c))和图6中的3幅图像(图6()、图6(b)、图6(c))分别计算信噪比。见表1和表2。
表1信噪比值
No.文献［」文献［0」Ours
图5(a)36.3737.5139.68
图5(b)38.6239.294143
图5(c)36.6337.1240.24
图像曝光处理和增强。对于水下图像，将该方法和文献［1」和文献［2」所提出的方法做对比实验，结果如
表2信噪比值
No.文献［14」文献［15」Ours
图6(a)37.2138.364125
图 6(b)37.9539.144138
图6(c)37.8438.554015
图7所示。对于非水下低光图像，将本文方法和文献［3」和文献［16」所提出的方法作对比，如图8所示。
从图7中不难发现，文献［1」可以很好解决水下雾气的问题，在彩增强方面没有达到理想的效果。文献［2」可以很好实现水下去雾和颜的增强，但是并没有很好保持图像的边缘细节。本文所提出的方法不仅改善了水下图像的雾气，而且在颜增强和细节保持方面也有很大的提高。
图8中可以看出，文献［3」在一定程度上可以提高欠曝光图像的亮度，文献［6」虽然比文献［3」增加了亮度，但是却很容易造成局部光照过亮的问题，综上所述，本文提出的方法在曝光度和对比度方面都是最好的。
4.2定性分析
(1)水下图像增强
为了使本文方法在去雾、图像增强等方面更加有说服力，本文方法将进一步与文献［7」、文献［8」、文献［1」和文献［2」进行结果比较，从而说明本文方法的有效性。如图9所示。
图9中可以很清晰显示出：文献［」明显改善了水下图像的欠曝光问题，一定程度上提高了图像的对比度，但

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。