doi:10.3969/j.issn.1003-3106.2022.05.014
引用格式：李天宇，吴浩，毛艳玲，等.一种改进CycleGAN的低照度图像增强网络[J].无线电工程,2022,52(5):799-806.[LI Tianyu,WU Hao,MAO Yanling,et al.A Low-light Image Enhancement Network to Improve CycleGAN[J].Radio Engineering,2022,52 (5):799-806.]
一种改进CycleGAN的低照度图像增强网络
李天宇1,2，吴㊀浩1,2，毛艳玲1,2，陈明举1,2∗，石㊀柱1,2
(1.四川轻化工大学人工智能四川省重点实验室，四川宜宾644005;
2.四川轻化工大学自动化与信息工程学院，四川宜宾644005)generated
摘㊀要：为了提高CycleGAN对低照度图像增强后的细节分辨能力，提高图像整体的视觉质量，提出了一种改进CycleGAN的低照度图像增强算法㊂该网络的生成器由低光照增强模块和亮度均衡处理模块组成，用以学习低照度图像到正常照度图像的特征映射㊂以多尺度卷积和残差空洞卷积构建基于U-Net的低光照增强模块，提高网络对增强后图像细节信息的恢复能力；以全卷积构建亮度均衡处理模块，使图像亮度分布均匀并且提高图像视觉质量；以Patch-GAN作为网络的判别器，利用映射为一个NˑN的矩阵来提高判别器对细节信息的分辨能力，并且增强网络收敛能力㊂验证结果表明，相较于其他对比方法，所
提算法增强后的图像拥有更好的主观视觉效果和图像细节，同时在客观指标上的结果也优于其他方法㊂
关键词：低照度图像；多尺度卷积；残差空洞卷积；亮度均衡处理模块;Patch-GAN
中图分类号:TP394.1;TH691.9文献标志码:A开放科学(资源服务)标识码(OSID):
文章编号:1003-3106(2022)05-0799-08
A Low-light Image Enhancement Network to Improve CycleGAN
LI Tianyu1,2,WU Hao1,2,MAO Yanling1,2,CHEN Mingju1,2∗,SHI Zhu1,2
(1.Key Laboratory of Artificial Intelligence in Sichuan Province,Sichuan University of Science&Engineering,Yibin644005,China;
2.School of Automation and Information Engineering,Sichuan University of Science&Engineering,Yibin644005,China)
Abstract:In order to improve CycleGAN s capability to distinguish the details of enhanced low-light images and improve the overall visual quality of image,a low-light image enhancement algorithm to improve CycleGAN is proposed.The generator of the network is composed of a low-light enhancement module and a brightness equalization processing module to learn the feature mapping from low-light images to normal-light images.Among them,multi-scale convolution and residual hollow convolution are used to build a U-Net-based low-light enhancement module in order to improve the network s capability to restore the enhanced image detail information;and a brightness equalization processing module is built with full convolution to make the image brightness distribute uniformly and improve image visual quality.At the same time,Patch-GAN is used as the discriminator of the network,and an mapping NˑN matrix is used to improve the discriminator s capability to distinguish detailed information and enhance network convergence capability.Verification results show that as compared with other comparison methods,the image enhanced by the proposed algorit
hm has better subjective visual effects and image details,and the results on objective indicators are also better than other methods.
Keywords:low-light image;multi-scale convolution;residual hollow convolution;brightness equalization processing module; Patch-GAN
收稿日期:2021-11-16
基金项目：四川省科技厅项目(2020YFG0178)；人工智能四川省重点实验室项目(2019RYY01))；企业信息化与物联网测控技术四川省高校重点实验室项目(2018WZY01,2019WZY02,2020WZY02)；自贡市科技局项目(2019YYJC13,2019YYJC02,2020YGJC16) Foundation Item:Project of Sichuan Provincial Science and Technology Department(2020YFG0178);Project of Artificial Intelligence Key Laboratory of Sichuan Province(2019RYY01);Project of Key Laboratory of Higher Education of Sichuan Province for Enterprise Informationalization and Internet of Things Measurement and Control Technology(2018WZY01,2019WZY02,2020WZY02);Project of Zigong Science and Technology Bureau (2019YYJC13,2019YYJC02,2020YGJC16)
0㊀引言
可见光图像的成像过程中，周围环境的光照强
度往往影响着图像的质量㊂因此，低照度条件下获
取的图像往往不清晰且识别率低，缺乏可用性，给后
续的图像识别㊁目标检测以及分割带来很大的困
难[1]㊂因此，低照度图像增强是今后一个非常重要的研究方向㊂
传统的低照度图像增强的主流方法如Pizer等
人[2]提出的直方图增强法(Histogram Equalization, HE)，该方法计算简单㊁速度快，但是存在颜失真和局部过曝光的现象[3]㊂同时,Land[4]提出了Ret-inex理论，通过模仿人体的视觉系统，利用反射分量来进行低照度图像增强㊂基于此理论,Jobson等人[5-7]进一步提出了单尺度Retinex方法(SSR)㊁多尺度Retinex方法(MSR)以及带颜恢复的Retinex 方法(MSRCR);Fu等人[8]提出了一种基于融合的低照度图像增强方法;Guo等人[9]提出了通过图像照度区域估计来实现低照度图像的增强;Dong等人[10]结合图像去雾方法提出了一种新的低照度图像增强方法㊂Ying等人[11]设计了一个多曝光融合框架，并基于此提出了一种双曝光融合算法来提高图片的对比度㊂Wang等人[12]提出了一种基于非均匀光照的低光照算法，使得增强后的图像能够在很大程度上保持图像细节和自然度㊂虽然上述传统的低照度图像增强方法能够在一定程度上提高光照效果，但是往往伴随着颜失真㊁像素扭曲等现象，增强后的图像往往质量不高㊂
随着深度学习算法的快速发展，许多学者开始
探索将神经网络应用到低照度增强任务中，利用神
经网络来学习低照度图像到正常光照图像的映射关
系㊂如Lore等人[13]首次提出了使用深度自编码网络来实现低照度图像增强;Li等人[14]提出了利用4层卷积网络LightenNet来估计照度图，并结合Ret-inex理论实现低照度图像增强；文献[15]提出了全卷积网络RetinexNet，通过分解网络将低照度图片分解为反射图像和照度图像，并在此基础上利用增强网络进行后续的低照度增强操作㊂而Jiang 等人[16]利用生成对抗网络提出了EnlightenGAN，通过全局 局部鉴别器以及自正则注意力机制使该网络在训练时不需要成对数据也能获得良好的增强效果㊂
目前，虽然基于深度学习的方法对低照度图像增强效果较好，但是仍存在整体主观效果不佳以及一些细节恢复不够充分的问题㊂因此，针对当前的低照度增强算法，仍有较大的提升空间㊂本文考虑到现有方法的不足，利用循环一致性对抗网络的学习方式，提出了一种改进CycleGAN的低照度增强网络㊂该方法以多尺度卷积㊁残差空洞卷积构建基于U-Net结构的低光照增强模块，然后引入基于全卷积的照度均衡处理模块来共同组成生成器网络，同时使用了PatchGAN作为判别器网络来构成新的循环一致性对抗网络，实现低照度图像到正常光照图像的转换㊂
1㊀循环一致性对抗网络基本原理
近年来，生成式对抗网络成为了计算机视觉领域的研究热点㊂传统的GAN网络[17]如pix2pix[18]等都需要成对的数据集来进行模型训练，而Zhu等人[19]于2017年提出了循环一致性对抗网络
CycleGAN，解决了传统风格迁移算法需要成对数据集才能实现网络训练的问题㊂CycleGAN基于pix2pix网络架构，设计了2个相互对称的GAN网络，利用2个生成器和2个判别器来实现原图像和生成图像之间的相互映射，实现了非配对数据集也能够实现数据的相互转化㊂CycleGAN结构示意如图1所示
㊂
图1㊀CycleGAN结构示意
Fig.1㊀Schematic of CycleGAN structure 由图1可知,CycleGAN拥有G和F两个生成器，针对2个样本空间A,B包含2个映射关系:A-B 和B-A㊂生成器G将图像样本A转化成近似图像样本B的Generated_B，再利用判别器D B判断Gen-erated_B是否为真实图像；同时，利用生成器F将生
成图像Generated_B转化为类似样本图像A的Gen-erated_A㊂为了确保最终生成的Generated_A与原本的样本图像尽可能地相似，在此引入了一个循环一致性损失，来保证网络在不断训练过程中Generated_ A与样本图像A能够越来越相似，此过程为前向循环过程㊂由于生成器F的输入均由生成器G传输过来，为了保证生成器F的学习效果,CycleGAN通过设置一个对偶反向循环过程，实现样本图像B的循环过程㊂
如果直接将CycleGAN用于低照度增强，由于其生成器结构较为单一，针对一些细节信息恢复能力不足，且可能会造成增强后的图像亮度不均衡㊂同时，传统的判别器处理较为简单，对增强后图像细节问题判断不足，造成网络收敛困难㊂因此针对
CycleGAN的生成器和判别器结构进行改进，使其更适合于低照度增强任务㊂2㊀一种改进CycleGAN的低照度图像增强网络
2.1㊀基于U-Net与照度均衡的生成器网络结构
一般，生成器网络都需要经过编码 解码过程，但是一般的编解码操作经常会导致特征信息的丢失，使得最后生成的图片和原图有较大差异㊂为了降低这种信息的损失，构建了以U-Net为框架的生成器模型，利用U-Net的跳跃连接结构来避免这种现象的发生㊂该生成网络主要由低光照增强模块和照度处理模块组成，其中低光照增强模块为改进的
U-Net结构，主要包含编码器㊁转换器和解码器3部分，用以增强低照度图像，提高对低照度图像细节的恢复能力；照度处理模块为一个全卷积网络，用以平衡不同区域的亮度，增强整体直觉质量㊂生成器网络结构如图2所示
㊂图2㊀生成器网络结构
Fig.2㊀Generator network structure
㊀㊀①低照度增强模块
编码器为下采样过程，用于低照度图像特征信息的压缩与提取㊂首先采用了一个多尺度卷积模块对输入的原图进行特征提取㊂一般，低照度图像会呈现大面积暗黑，导致局部特征较为单一，使用不同大小卷积核有利于生成器获取更多的特征信息㊂本文分别使用了1ˑ1,3ˑ3,5ˑ5以及7ˑ7的卷积核来构成多尺度卷积模块，每个卷积核通道数为16，并且将卷积后的结果进行通道间的拼接，最后使用1ˑ1的卷积将通道数调整至64㊂随后，编码器进行3次下采样操作，将256ˑ256的特征图压缩至32ˑ32的大小，每个下采样模块由3ˑ3卷积核(步长为2)㊁实例归一化(Instance Normalization)以及激活函数ReLU组成㊂由于在低照度图像增强任务中，增强后的结果依赖某个图像实例，使用批归一化
(Batch Normalization)对整个batch做归一化会影响到最后图片增强的质量㊂因此本文在卷积操作后使用了实例归一化(Instance Normalization)层，分别对特征图的宽高做归一化，可以加快模型的收敛速度并保持每个图像的独立性[20]㊂
转换器主要用来整合编码器所提取的图像特征，本文的转换器共使用6个残差块来完成低照度图像特征
到正常光照图像特征的转换㊂转换器中的残差块由2个卷积层组成,2个卷积层都使用了卷积层+实例归一化+非线性激活函数ReLU的结构，第1个卷积块中使用了3ˑ3大小的标准卷积，第2个卷积块
中使用了3ˑ3的空洞卷积，空洞率依次为2,2,2,4,4, 4㊂引入空洞卷积主要是为了在扩大生成网络感受野的同时，还能保留特征图的许多细节信息，提高低照度图像增强的性能㊂空洞残差卷积如图3所示
㊂
图3㊀空洞残差卷积
Fig.3㊀Hollow residual convolution
解码器为上采样部分，主要是将转换器得到正常光照图像特征进一步还原出浅层特征，得到正常光照图像㊂上采样模块由一个反卷积层+实例归一化层+非线性激活函数ReLU组合而成，用于将图像大小恢复至和输入一样㊂最后一个解码块中取消了实例归一化层，使用了7ˑ7的卷积，并将激活函数调整为tanh㊂该激活函数能够保持输入输出呈非线性单调上升和下降的关系，同时也能够在一定程度上减少
梯度消失的现象发生㊂
②照度均衡处理模块
一般的低照度增强算法都是对暗光图片进行整体的亮度恢复，因此增强后的图像容易出现亮度不均等问题，使得低亮度区域欠曝光，高亮度区域过曝光㊂本文设计了一个由全卷积网络构成的亮度注意模块作为分支网络，对低照度图像中的弱光区域进行定位，使得整个生成器最后增强的图像亮度分布均匀，提高网络的增强效果㊂
该照度均衡处理模块为增强网络的辅助分支，其结果与增强网络输出结果相乘，使得增强后图片不同光照区域亮度均衡，进一步提高了对低光照图像的增强效果㊂其结构如图2中的照度均衡处理分支所示㊂首先使用一个9ˑ9的大卷积来获取输入图片较为全局的特征信息，随后经过5个3ˑ3的卷积来提取弱光区域位置信息，输出弱光位置注意图㊂亮度注意力分支网络中除最后一层使用卷积+Sig-moid激活函数结构外，其余各层均是卷积+ LeakyReLU的结构，并且网络中通道数均为32㊂2.2㊀基于Patch-GAN的判别器网络结构GAN网络基于博弈的概念来学习生成图像和真实图像之间的误差，利用生成器和判别器不断博弈的过程提升生成图像的质量，其中判别器的作用是确定生成器的生成结果是否满足数据分布，从而区分生成图像的真假㊂传统GAN网络判别器的输出结果是该样本为真的概率，该值代表的是图像整体的一个值，无法体现图像的局部特征㊂因此，对于一些对细节特征要求较高的任务存在一定的缺陷㊂
因此，本文的判别器是建立在Patch-GAN结构上的全卷积网络，将判别器的输出映射为一个NˑN 的矩阵，该矩阵中的每一个值都代表着其所属感受野区域为真的概率㊂相比于传统的判别器，使用一个矩阵作为输出能够更为充分考虑图像不同区域的细节特征，同时小尺寸的特征图计算也能够加快网络的收敛速度[21]，使网络更容易训练㊂本文设计了5层全卷积的判别器模型，前4个卷积块包含一个卷积层㊁一个实例归一化层和一个非线性激活函数LeakyReLU，并且卷积步长设置为2㊂此外，最后一
个卷积块只包含卷积层和激活函数层，卷积步长为1，通道数为1㊂激活函数不再使用LeakyReLU，而采用值域为(0,1)的Sigmoid函数代替㊂最后判别器网络输出一个通道数为1的矩阵，该矩阵上的每个数值代表所属感受野区域的概率值，以此来判断生成图像的真假
㊂
图4㊀判别器网络结构
Fig.4㊀Discriminator network structure
2.3㊀损失函数
CycleGAN能够使用非成对数据集训练得到与成对数据集相同的效果，因此，本文仍使用Cy-cleGAN中的对抗损失函数和循环一致性损失函数进行训练㊂假设低照度图像为X，正常光照图像为Y，则CycleGAN中存在2个映射关系，即生成器G: XңY与生成器F:YңX㊂于是针对判别器D
Y
的对抗损失函数为:
㊀L GAN(G,D Y,X,Y)=E y~P data(y)[ln(1-D Y(G)(x))]+
E
y~P data(y)[ln D Y(y)],(1)循环一致性损失函数为:
㊀㊀L cyc(G,F)=E x~P data(x)[ F(G(x))-x 1]+
E
y~P data(y)[ G(F(y))-y 1]㊂(2)一般，对抗损失用来判断低照度图像增强后与正常光照图像的相似度，并通过不断对抗训练来使得生成的正常光照图像的质量越来越好㊂循环一致性损失用来约束原始数据集中的图像和生成图像的相似程度，使得第2个生成器转换回来的图像更为接近原始图像㊂CycleGAN中拥有2个映射关系，于是总的损失函数为:
L(G,F,D
X,D Y)=L GAN(G,D Y,X,Y)+L GAN(F,D X,Y,X)+
λL cyc(G,F)㊂(3) 3㊀实验结果与分析
本文增强算法的实验在工作站上搭建环境并进行训练，工作站硬件配置CPU(Inter XeonE5-2695), GPU(NvidiaTITAN XP)，主板(超微X10DRGQ)；操作系统为Windows10专业版；软件配置为Anaconda,Py-charm；编程语言为python，深度学习框架为keras㊂3.1㊀实验环境与训练过程
在LOL数据集上进行网络训练，以485对图像作为训练集,15对图像作为测试集㊂图像统一归一化至416pixelˑ416pixel大小输入网络训练，网络Batchsize=1，一共训练200轮(epoch)，优化器为Adam，前一百轮学习率为0.0005，后一百轮学习率为0.0001㊂
实验采用了峰值信噪比(PSNR)㊁结构相似性(SSIM)㊁信息熵(EN)以及自然图像质量评价指标(NIQE)
作为图像质量评价指标㊂
①PSNR：能够反映增强后的图像结构信息的完整程度，其值越高，表示受到的噪声影响越小，增强后的图像质量越高，失真程度也越小;
②SSIM：用来衡量2幅图像的相似程度，其值越大，表示增强后的图像与正常光照图像越相似;
③EN：能够很好地反映增强后的图像中纹理信息的丰富程度，其值越大，表明图像的纹理信息越丰富，越接近于真实光照图像;
④NIQE：是一种基于无监督学习无参考的图像质量评价指标，其值越低，表示增强后的图像质量越高，越符合真实图像㊂
3.2㊀对比实验主观评价
为了验证本文低光照增强算法的优越性，选取了MSRCR[7],SRIE[8],LIME[9],DONG[10],MF[11], NPE[12]和RetinexNet[15]等算法在LOL的测试集中进行对比实验㊂从LOL数据集中随机选取了3张图片，使用上述低照度算法和本文算法进行处理，分别从整体主观效果和细节恢复情况2方面进行分析㊂(1)图像整体增强效果
本文算法与其余对比算法的实验结果整体增强效果对比如图5所示㊂
图5㊀实验结果对比
Fig.5㊀Comparison of experimental results
㊀㊀由图5可以看出,MSRCR算法与SRIE算法相比，前者增强后的图像曝光严重，后者增强后的图像整体偏暗，二者增强后的图像本身的颜细节信息缺失，导致图像整体不真实，增强效果距离真实清晰图像都有很大的差距㊂DONG算法图像整体彩较SRIE算法有所提高，但是增强后的图像存在一些噪声以及伪影出现，细节恢复不到位㊂LIME算法相较于前3种算法对图像的整体处理效果更好，增强后

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。