第47卷第5期
Vol.47No.5计算机工程Computer Engineering
2021年5月
May 2021
基于局部生成对抗网络的水上低照度图像增强
刘
文1，2，3，杨梅芳1，2
，聂江天4，章
阳3，杨和林4，熊泽辉5
（1.武汉理工大学航运学院，武汉430063；2.武汉理工大学内河航运技术湖北省重点实验室，武汉430063；3.武汉理工大学计算机科学与技术学院，武汉430063；4.南洋理工大学计算机科学与工程学院，新加坡639798；
5.新加坡科技与设计大学信息系统技术与设计系，新加坡487372）
摘要：针对低照度条件下获取的水上图像亮度和对比度低以及质量差的问题，提出一种基于局部生成对抗网络
的图像增强方法。以残差网络作为基本框架设计生成器，通过加入金字塔扩张卷积模块提取与学习图像深层特征和多尺度空间特征，从而减少结构信息丢失。设计一个自编码器作为注意力网络，估计图像中的光照分布并指导图像不同亮度区域的自适应增强。构建具有判别图像局部区域能力的判别器结构，约束生成器输出增强效果更加自然的图像。实验结果表明，该方法能够有效增强水上低照度图像，场景还原和细节保留能力优于SRIE 和LIME 等方法。
关键词：低照度图像增强；深度学习；生成对抗网络；金字塔扩张卷积；自适应增强开放科学（资源服务）标志码（OSID ）：
中文引用格式：刘文，杨梅芳，聂江天，等.基于局部生成对抗网络的水上低照度图像增强［J ］.计算机工程，2021，47（5）：16-23.英文引用格式：LIU Wen ，YANG Meifang ，NIE Jiangtian ，et al.Low-light maritime image enhancement based on local generative adversarial network ［J ］.Computer Engineering ，2021，47（5）：16-23.
Low-Light Maritime Image Enhancement Based on
Local Generative Adversarial Network
LIU Wen 1，2，3，YANG Meifang 1，2
，NIE Jiangtian 4，ZHANG Yang 3，YANG Helin 4，XIONG Zehui 5
（1.School of Navigation ，Wuhan University of Technology ，Wuhan 430063，China ；2.Hubei Key Laboratory of Inland Shipping
Technology ，Wuhan University of Technology ，Wuhan 430063，China ；3.School of Computer Science and Technology ，Wuhan University of Technology ，Wuhan 430063，China ；4.School of Computer Science and Engineering ，Nanyang Technological
University ，Singapore 639798，Singapore ；5.Pillar of Information Systems Technology and Design ，Singapore University of
Technology and Design ，Singapore 487372，Singapore ）
【Abstract 】To address the problems of the maritime images taken in low-light ，including low brightness ，low contrast
and poor quality ，this paper proposes an image enhancement method based on a local Generative Adversarial Network （GAN ）.The generator is designed by taking the residual network as the backbone ，and a pyramid dilated convolution module is introduced to extract and learn the deep features and multi-scale spatial features of images ，reducing the loss of structure information.At the same time ，an autoencoder is designed as an attention network to estimate the light distribution of the image and guide the adaptive enhancement for regions of different brightness.Finally ，a discriminator that is able to distinguish local regions of the image is designed to constrain the genera
tor to output images with more natural enhancement effects.Experimental results show that the proposed method can effectively enhance maritime images taken in low-light.Compared with SRIE ，LIME and other traditional methods ，the proposed method can restore scenes better and retain more details.
【Key words 】low-light image enhancement ；deep learning ；Generative Adversarial Network （GAN
）；Pyramid Dilated Convolution （PDC ）；adaptive enhancement DOI ：10.19678/j.issn.1000-3428.0060354
基金项目：国家自然科学基金（51609195）；中央高校基本科研业务费专项资金（2020-zy-197）。作者简介：刘
文（1987—），男，副教授、博士，主研方向为计算机视觉、智能交通系统；杨梅芳，硕士研究生；聂江天，博士研究生；章
阳，
副教授、博士；杨和林，博士；熊泽辉（通信作者），助理教授、博士。收稿日期：2020-12-22
修回日期：2021-01-22
E⁃mail ：********************.sg
·热点与综述·
文章编号：1000-3428（2021）05-0016-08
文献标志码：A
中图分类号：TP391
第47卷第5期刘文，杨梅芳，聂江天，等：基于局部生成对抗网络的水上低照度图像增强
0概述
闭路电视监控（CCTV）作为船舶交通管理（VTS）系统的重要组成部分，在海事监管中发挥着重要作用，但是在夜晚等低照度环境下，CCTV系统捕获的海上图像存在亮度和对比度低以及质量差的问题，这不仅会干扰监管部门对视频内容的分析解读，也会影响后续船舶目标检测［1-2］等视觉任务的执行效果。因此，对CCTV系统在低照度环境下拍摄的图像进行增强具有重要的现实意义。
传统的低照度图像增强方法主要分为基于直方图均衡化（HE）的方法与基于Retinex理论的方法两类。HE方法［3］通过对灰度图像进行拉伸，增加像素灰度值的动态范围，以达到增强图像整体对比度的效果。Retinex理论是一种由LAND［4］提出的模拟人类视觉系统实现颜恒常性的彩理论，该理论认为一幅图像可以表示为光照分量图像和反射分量图像的乘积，只需消除光照对图像的影响即可改善低照度图像的视觉效果。目前，基于Retinex理论的方法主要有NPE［5］、SRIE［6］和LIME［7］等，这些方法的共同点在于它们首先通过人工设计以及参数调整准确估算图像的光照分量，然后根据Retinex理论直接或间接地得到增强图像。
近年来，随着高性能GPU的发展，应用深度学习技术来解决传统的低级视觉问题显得更加方便可行。因此，为了避免复杂繁琐的人工设计以及参数优化问题，研究人员提出了一些基于深度学习的图像增强方法。文献［8］结合彩模型变换和卷积神经网络的优势，将图像从RGB颜空间变换到HSI 空间并进行增强处理，以解决图像的彩失真问题。基于Retinex理论的思想，文献［9-10］均设计端到端的卷积神经网络增强模型。为了同时处理颜、亮度和噪声等多种因素，文献［11］提出一种根据计算的光照和噪声注意力图同时进行去噪和增强的多分支融合网络。生成对抗网络（GAN）自2014年由GOODFELLOW［12］提出以来，得到了不同领域研究人员的广泛关注，且已被应用于低照度图像增强领域。文献［13］通过端到端的方式构建GAN，学习由手机拍摄的低质量图像到高质量DSLR图像的特征映射。文献［14］基于Retinex思想和GAN，提出一种用于低照度图像增强的混合监督网络结构。
以上基于GAN网络模型的方法均需大量的成对图像以进行训练，当缺乏匹配对的训练数据时，它们的稳定性将会受到影响。为解决上述问题，文献［15］构建一种高效、无监督的EnlightenGAN网络，其可在大量不精确匹配的图像中进行模型训练并建立非匹配对关系。文献［16］建立一种通过改进两步GAN进行图像增强的非匹配对学习模型。尽管上述非监督学习的方式可以适应当前低照度图像增强领域数据集缺乏的场景，但是这种学习方式难以得到精确的图像增强结果。
本文建立一种局部生成对抗网络模型，以对水上低照度图像进行增强。在生成器中引入注意力网络估计低照度图像的光照分布情况，结合残差网络、金字塔扩张卷积（PDC）［17］和特征融合模块进行强特征提取，并根据输入的光照分布图实现不同光照区域的自适应增强。设计一种可判别图像局部区域的局部判别器结构，以促使生成器生成更加真实的增强图像。
1本文方法
1.1训练流程
本文方法的目的在于提高水上低照度图像的可见度，其核心思想是利用大量图像训练一对通过相互对抗学习以不断优化各自网络参数的网络模型，即生成器G和判别器D。G的优化目标是生成与真实正常光照图像外观和结构更为接近的增强图像，即最小化增强图像与真实正常光照图像之间的差异，混淆D对图像真伪的判断。D的优化目标是更准确地判断增强图像与真实正常光照图像之间的真伪。D和G
互斥的优化目标使得两者之间产生了相互对抗学习，在对抗的过程中，G的图像增强能力和D的真伪判别能力不断提高，使得增强图像与真实正常光照图像越来越相似，从而达到图像增强的效果。
本文方法的训练流程如图1所示，首先选取一组低照度图像及其对应的正常光照图像，然后将低照度图像输入到G中经过一系列增强变换操作后得到增强图像，最后根据损失函数计算增强图像与真实正常光照图像之间的损失值，并将损失值反向传播反馈回G，更新优化G的网络参数，同时将增强图像与正常光照图像输入到D中进行真伪判别。D通过提取图像特征并根据图像之间的特征差异判断真伪，然后将真伪结果反馈给G，使得G进一步改善增强效果，并在下一轮迭代中缩小增强图像与正常光照图像之间的差异。D 在促使G生成视觉效果更真实的增强图像的同时，进一步优化自身的判别能力
。
图1本文方法训练流程
Fig.1The training procedure of the method in this paper
17
计算机工程2021年5月15日
1.2
网络模型设计
本文所提局部生成对抗网络模型结构包含生成器G 和判别器D 。生成器G 主要由注意力网络、残差网络、PDC 模块和特征融合模块4个部分组成，如图2所示。
生成器G 的4个模块具体如下：1）注意力网络。注意力网络预测图像中光照分布的位置掩码，输出的光照分布图的像素点为0~1之间的概率值，原始低照度图像中越暗的区域所对应的光照分布图区域的像素值越接近1，否则越接近0，从而促使后续网络结构对图像中的不同光照区域进行不同程度的关注。与U-Net 模型［18］类似，本文的注意力网络由下采样的编码器、上采样的解码器和跳跃连接组成。下采样的编码器中包含卷积层和最大池化操作，特征图每经过一次池化操作，大小均变为输入特征图的1/2，这不仅能够保留原始图像的结构信息，还能加快模型训练和图像处理的速度。上采样的解码器包含反卷积层，用于复原图像尺寸。跳跃连接将编码器和解码器中相对应的卷积层和反卷积层的特征相连接，以缓解梯度消失问题，提高模型的特征提取能力。本文方法与文献［11］方法类似，均设计具有相同结构的注意力网络，通过该网络估计光照分布图以引导低照度图像增强。不同的是，本文不仅将估计到的光照分布图与输入图像进行简单拼接，还将光照分布图与最终的特征图逐元素相乘，再与原始图像逐元素相加以得到增强后的图像，从而简化学习目标并降低学习难度。
2）残差网络。与文献［19］提出的残差网络相比，本文残差网络删除了批处理归一化并将ReLU 激活函数替换成Leaky ReLU 函数，使用仅包含2个卷积层的残差块来减少模型参数并提取图像的深层特征。本文残差网络中的残差块结构如图3所示。
3）PDC 模块。由于空洞卷积可在不增加计算量
的情况下扩大局部感受野，并能够利用更多的图像
信息，因此本文在残差网络后加入PDC 模块以进行多尺度空间特征的提取与学习，减少结构信息丢失。PDC 模块中有4条并行路径，每条路径都包含一个空洞卷积和卷积核大小为1×1的卷积，在4条并
行路径中，空洞卷积的空洞率分别为1、2、4和6。
4）特征融合模块。将残差网络提取的特征与PDC 模块各个路径提取的特征进行拼接，然后采用4个卷积层融合上述拼接的特征，最后输出图像增强结果。
在通常情况下，不同亮度区域的信息丢失程度不同，因此，判别器需要对图像中的不同亮度区域进行不同程度的关注。本文判别器由卷积层和全连接层组成，从第5个卷积层中提取特征并计算这些特征与注意力网络产生的光照分布图之间的损失，通过学习光照分布图的方式来衡量第5层卷积所提取的特征，并将该层特征与下一层卷积所提取的特征进行逐元素相乘，最后经过2个卷积层和2个神经元数量分别为256和1的全连接层，将提取的特征进行汇总并输出判别结果。本文的判别器结构如图4所示。
本文生成器和判别器的参数设置分别如表1和表2所示，各个卷积层的填充方式均为“SAME ”，为了提高模型的非线性，除生成器的最后一个卷积以Sigmoid 函数作为激活函数外，其余卷积层后都加入Leaky ReLU 作为激活函数，Leaky ReLU 的负值斜率设置为0.2
。
图2生成器结构
Fig.2
Generator
structure
图4
判别器结构
Fig.4
Discriminator
structure
图3
残差网络中的残差块结构
Fig.3
The structure of residual block in residual network
表1
生成器参数设置
Table 1
Generator parameters setting
模块
注意力网络
残差网络
PDC
特征融合
操作卷积最大池化
卷积反卷积卷积
卷积空洞卷积卷积卷积卷积
卷积尺寸3×32×23×33×33×33×33×31×13×33×3
卷积数量32、64、128、256
—512
256、128、64、32
1323232323步长121211
1、2、4、6
111数量44141
30413118
第47卷第5期刘文，杨梅芳，聂江天，等：基于局部生成对抗网络的水上低照度图像增强
1.3损失函数设计
本文损失函数由生成损失函数L
G
和判别损失函
数L
D
组成。由于生成器的目的在于生成与正常光照
图像相似的增强图像，因此为了提高增强图像的整
体感知质量，本文为生成器设计如下的损失函数：
L
G =ω
con
L
con
+ω
col
L
col
+ω
att
L
att
+ω
adv
L
adv
（1）
其中，L
att 、L
con
、L
col
、L
adv
分别表示注意力损失、内容损
失、颜损失、对抗损失，ω
att 、ω
con
、ω
col
、ω
adv
分别表示
对应的权重参数。各项损失具体如下：
1）注意力损失
为了更好地约束注意力网络以对光照分布进行建模，本文使用如下的损失函数作为注意力损失：
L
att =
1
N
G
a
(I)-A2
2
（2）
其中，I表示低照度图像，G
a
（I）表示预测的光照分布图，N表示样本训练数目，A表示期望的注意力图，其通过式（3）计算得到：
A=
|
|max c(I)-max c(I)
max
c
(I)
（3）
其中，I表示正常光照图像，max
c
(×)表示取图像RGB 三通道上的像素最大值。
2）内容损失
本文利用在ImageNet数据集上预先训练过的VGG-16网络产生的特征图来计算内容损失，以测量增强图像与对应的正常光照图像之间的全局差异。令ϕ表示VGG-16生成的特征图，G（I）为生成器输出的增强图像，则本文的内容损失定义为：
L
con =
1
N
ϕ(G(I))-ϕ(I)2
2
（4）
3）颜损失
为了测量增强图像和正常光照图像之间的颜差异，本文首先应用高斯模糊函数移除图像的局部细节信息，然后计算图像间的欧氏距离以定义如下的颜损失［14］：
L
col =
g(G(I))-g(I)2
2
（5）
其中，g表示高斯模糊函数。
4）对抗损失
本文使用对抗损失督促生成器生成颜、纹理和对比度等方面均较为自然的增强图像，对抗损失
定义如下：
L
adv
=log
a
(1-D(G(I)))（6）在本文中，训练判别器D的目的在于根据光照分布图判别增强图像和正常光照图像之间的不同光照区域，输出输入图像来自正常光照图像的概率，其
取值范围在0~1之间。因此，本文判别损失函数L
D 定义为：
L
D
=-log
a
(D(I))-log
a
(1-D(G(I)))+γL
map
（7）
其中，γ为权重参数，L
map
表示判别器内卷积层提取的特征与光照分布图之间的损失，计算如下：
L
map
=
1
N
D(G(I))
5
-G
a
(I)2
2
+
1
N
D(I)
5
-02
2
（8）
其中，D(×)
5
表示判别器第5层卷积所提取的特征。
2实验结果与分析
2.1数据集
目前缺乏可用于网络训练的成对水上低照度图像数据集，且在水上动态环境下拍摄同一场景下的低照
度图像及其对应的正常光照图像极其困难，因此，本文实验中将真实的图像对和合成的图像对组成模型训练的数据集。其中，真实的图像对来自文献［10］中已公开的LOL数据集，该数据集中的图像拍摄于室内，通过调节相机的曝光参数值来改变曝光度，从而获得不同场景和不同光照强度下的500对低照度图像及其对应的正常光照图像。
为提高训练数据集的样本多样性，本文在文献［20］公开的SeaShips数据集中挑选出200幅正常光照图像以合成低照度图像。首先将正常光照图像从RGB颜空间转换到HSV颜空间，然后将V通道图像V乘以一个小于1的常数得到合成的低照度
V通道图像V
dark
，V
局部直方图均衡化dark
=σV，其中，σ服从（0，0.5）的均
匀分布，最后保持H和S两通道不变，用V
dark
图像替换V图像，并转换成RGB颜空间，得到合成的低照度图像，部分图像如图5所示。此外，由于图像的尺寸较大，因此本文在进行网络训练之前将训练图像随机裁剪成128像素×128像素的图像块，并且随机地对图像块进行上下和左右翻转
。
图5部分低照度图像
Fig.5Partial low-light images
表2判别器参数设置
Table2Discriminator parameters setting
操作卷积卷积卷积全连接卷积尺寸
5×5
5×5
3×3
—
卷积数量
8、16、32、64、128
1
64、32
1024、1
步长
1
1
1
—
数量
5
1
1
2
19
计算机工程2021年5月15日
2.2
实验条件及参数设置
实验所用的计算机操作系统为Ubuntu 18.04，GPU 配置为Nvidia GTX 2080ti ，使用tensorflow 深度学习框架实现网络模型并进行训练。在网络训练过程中，采用0.0002的固定学习率，迭代次数为104。本实验的生成器和判别器分别使用Adam 优化器和Momentum 优化器进行网络参数优化，采用小批量训练方式，batch size 的大小为8，权重参数ωatt 、ωcon 、ωcol 、ωadv 、γ的取值分别为1、2、11、0.01、0.05。
2.3评价指标
为了客观评价本文方法的增强效果和网络
性能，使用如下的无参考和全参考图像质量评价指标：
1）无参考图像质量评价指标。自然图像质量评
估指标（NIQE ）［21］
是一种完全无参考的图像质量分析器，其无需使用参考图像，仅根据图像的自然统计特征并利用目标图像的可测量偏差即可得到图像质量评价值。NIQE 指标计算公式如下：
D (ν1，ν2，
1， 2)
9）
其中，ν1、ν2和 1、 2分别表示自然图像和增强图像
高斯分布模型的均值向量和协方差矩阵。在图像增强中，NIQE 的数值越低表示图像的感知质量越高。
2）全参考图像质量评价指标。峰值信噪比（PSNR ）
和结构相似度（SSIM ）是2种使用最广泛的全参考图
像质量评价指标。PSNR 是衡量图像失真或噪声水平的客观标准，其值越高表示图像中包含的噪声越少，图像的失真越小，即增强效果和图像质量越高。PSNR 的计算公式如下：
PSNR =10lg
255
|
|I -I 2
（10）
SSIM 用来衡量2幅图像之间的亮度、对比度和结构相似性，其取值范围为0~1，值越接近1说明2幅图像越相似。SSIM 的计算公式如下：
SSIM(I  I )=
()2μI
μ
I +c 1()
2σII +c 2()μ
I
2+μI 2
+c 1
()
σ
I
2+σI 2
+c 2
（11）
其中，μI 和μI 分别为增强图像I 和正常光照图像I 的灰度均值，σI 和σI 为方差，σII 为I 和I 的协方差，c 1和c 2为值很小的常数，用来避免分母为0的情况。
2.4结果分析
如图6所示，在训练的过程中，本文网络模型的生
成损失值和判别损失值随着迭代次数的增加而逐渐下降并趋于稳定，这表明本文方法具有较好的稳定性。
图7所示为本文注意力网络估计的部分光照分布图，从图7可以看出，本文的注意力网络能很好地区分低照度图像中各个区域的光照分布情况。
为了验证本文方法的有效性，在合成的低照度图像和真实的低照度图像上分别进行实验，将本文方法与HE 方法［3］、SRIE 方法［6］、LIME 方法［7］、RetinexNet 方法［10］、EFTL 方法［14］和LightenNet 方法［9］等进行对比与分析。
图8~图10所示分别为本文方法与其他对比方法在合成的海面、内河和港口低照度图像上的增强效果。从主观视觉效果上分析可知，SRIE 方法和EFTL 方法虽然可在一定程度上提升图像的亮度，但亮度提升不够充分，使得处理后图像的整体亮度依然较低；RetinexNet 方法的增强效果不自然，颜与正常光照图像相差较大；LightenNet 方法处理的图像容易产生局部过曝光现象，并且存在斑，容易导致图像细节丢失问题。相比之下，本文方法和LIME 方法均能取得较好的视觉效果，但本文方法能对不同亮度的图像进行全局增强
，具有更好的自适
应能力。
图6损失收敛曲线
Fig.6
Loss convergence curve
图7
注意力网络估计的注意力图
Fig.7
Attentive images estimated by attentive network
20

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。