第54卷第6期2020年12月华中师范大学学报（自然科学版）
JOURNAL  OF  CENTRAL  CHINA  NORMAL  UNIVERSITYCNat. Sci.）Vol. 54 No. 6
Dec. 2020
DOI ： 10. 19603/j. cnki. 1000-1190. 2020. 06. 006 文章编号：1000-1190(2020)06-0949-07
一种改进的深度网络残差学习的图像降噪方法
靳华中*  ，刘阳，叶志伟
收稿日期：2020-03-05.
基金项目："十三五”国家重点研发计划项目(2016YFC0702000)； “十三五”国家重点研发计划项目
(2016YFC0702002)；地理信息工程国家重点实验室开放研究基金项目(SKLGIE2014-M-3-3).
* 通讯联系人.E-mail • 109230730@qq. com.
(湖北工业大学计算机学院，武汉430068)
摘要：近年来，基于深度卷积神经网络的学习方法在图像降噪方面取得了前所未有的成果，通过
调整网络结构和参数来获取更好的图像降噪效果已成为研究热点.降噪卷积神经网络在深度神经
网络中采用残差学习方法，在提高降噪效果的同时，在一定程度上解决了盲降噪问题.其不足之处 在于算法收敛时间长.该文针对降噪卷积神经网络结构做了进一步的改进，提出了一种基于反卷
积降噪神经网络的图像降噪算法.该文工作的主要特如下：1)在原有的网络结构中，引入反卷积
神经网络，优化了残差学习方式;2)提出一种新的损失函数计算方法.使用BSD68和SET12测试 数据集对本文提出的方法进行验证，实验结果表明，该文算法的降噪性能与降噪卷积神经网络算 法相比，在相同降噪效果情形下，该文算法的收敛时间缩短了 120%〜138%.同时，与传统的深度 学习图像降噪算法比较，该文方法的降噪效果和运行效率也都有提高.
关键词：图像降噪；深度学习；残差学习；反卷积神经网络中图分类号：TP391. 4
文献标识码：A  开放科学(资源服务)标识码(OSID)：
1研究背景
降噪是图像处理中的一个重要应用，是图像处
理中的一个经典逆问题.图像降噪的目的是尽可能
地将噪声信号从受污染的图像中分离出来，并去除
噪声信号，保留真实图像信息，带来更好的视觉效
果•给定一个加性高斯白噪声模型，它可以表示为
『=工+讥工表示原图像,◎表示噪声).图像降噪是
从带有噪声的图像y 中恢复干净的图像z.尽管在
过去几十年中已经提出了许多图像降噪算法，但由 于当前深度卷积神经网络(deep  convolutional  neural  network ,DCNN)方法比传统的降噪方法降
噪效果更优M  ，因此基于深度学习的算法成为当 前研究图像降噪的热点之一.
DCNN 方法将图像降噪作为一个监督回归问
题来处理，有效的利用了外部先验信息•通过大量
成对干净一噪声图像，学习得到一个高复杂度的多 层网络结构约束函数，将学习外部先验条件的方式
推向极限.DCNN 图像降噪方法的优势主要体现
在两个方面：一方面，DCNN 具有很深的层次结
构，可以有效地提高图像特征挖掘的能力和灵活
性；另一方面，深度学习在训练过程中，采用正则化
方法、RELU 激活函数、批标准化处理等方法，加 快了训练效率，提高降噪性能.
文献［5-6］利用DCNN 方法进行图像降噪时，
都获得了较为显著的降噪效果，但这些方法都存在
一个明显的缺点：它们只针对某个特定水平的噪声 建立降噪模型，在图像盲降噪中受到较大的限制.
在解决图像盲降噪方面.FC-AIDE 方法能够估计
噪声的未知水平，但是网络参数的训练是在监督训
练和自适应条件下微调得到的，其计算成本相对较
大刀.降噪卷积神经网络(denoising  convolutional
正则化残差
neural  network ,DnCNN)利用残差学习方法进行
图像降噪，该方法采用残差学习来估计残差图像,
即噪声图像与潜在干净图像之间的差异⑷，解决了 噪声水平未知的高斯降噪问题.受DnCNN 的启 发，本文提出了一种反卷积降噪神经网络
(denoising  deconvolution  neural  network,
DnDNN).在本文构建的网络结构中，每一个隐藏
层包括卷积运算和反卷积运算，卷积运算是提取图
像的特征信息，包括边缘、线条等特征，反卷积运算
是复原图像，复原到卷积之前图像的尺寸，最后一
950华中师范大学学报（自然科学版）第54卷
层做全连接，作为输出层.本文方法利用反卷积网络重构图像的方法进行降噪，在模型训练过程中引入残差学习.残差学习后得到的是纯噪声图像，纯噪声图像包含的信息比干净图像的少，训练起来更简单，效果更好；利用反卷积网络重构图像进行图像降噪的方法需要的网络层数更少，而且还能加快网络的收敛速度，提高降噪性能.
实验表明，在已知噪声强度级别的高斯降噪中，本文方法比现有的基于深度学习方法BM3D同、WNNMW的降噪效果好，比DnCNN方法的收敛时间短.对于噪声强度级别未知的高斯降噪，本文方法也取得较好的降噪效果，其盲降噪方法比针对特定噪声级训练待定模型的BM3D圉和TNRD=］的降噪方法性能更优.本文的主要工作总结如下：1）提出了一种改进的深度网络残差学习的图像降噪方法;2）本文提出的方法不仅能够提高残差学习的效率，加快训练速度，而且能够进一步提高降噪性能;3）本文提出了一种新的损失函数计算方法，缩短了模型训练的收敛周期.
论文的其余部分组织如下：第2节简要介绍了相关工作.第3节首先介绍了提出的DnDNN模型，然后介绍了改进的损失函数.第4节是实验参数配置和结果分析部分.最后，第5节是本文的结论.
2相关工作
2.1深度神经网络和残差学习
由于深度神经网络具有灵活的网络结构和强大的学习能力，因此深度学习技术目前已经成为解决图像降噪问题非常有效的方法.在这些方法中，Kokkinos E11］将级联网络运用到DCNN中，在图像降噪方面取得了较好的效果；在［12-13］中，在DCNN的基础上，引入了新的网络结构，分别利用信号增强原理和多特征融合方法多次复用各个隐藏层的特征信息，将其运用到图像降噪中，也取得较好的效果；还有学者运用特定的方法为特定领域噪声降噪，如［14-17］文献中采用的方法在乘性噪声、医学图像噪声的降噪方面取得显著成效等等.尽管上述的深度学习方法在图像降噪任务方面取得了很好的效果，但是当网络结构很深时，这些方法中的大多数会出现梯度消失或者梯度爆炸的问题，使网络性能退化.此外，上述方法是通过牺牲时间成本来提高降噪性能.
残差网络假设引用残差映射比原始未引用映射更容易学习，在图像处理过程中，它去掉相同的图像内容，从而更关注噪声部分.由于采用了残差
学习策略，极深的CNN可以很容易地进行训练，提高了图像分类和目标检测的准确性［⑷.与残差
网络不同,DnCNN使用单个残差单元来预测残差图像，并解决了多个图像降噪任务⑷.为了提升训
练效果,DnCNN将批量归一化和残差学习结合使用.
本文提出的DnDNN模型也采用了残差学习方法.与DnCNN不同，DnDNN方法使用反卷积在不同网络层次中对图像进行了重构，使得恢复的
图像含有更少的噪声.与DnCNN相比，该模型具有收敛时间短、训练稳定、降噪性能好等优点.
2・2反卷积
卷积网络是一种自底向上的方法，对输入图像进行多层卷积、非线性操作以及子采样.反卷积网络中的每一层都是自顶向下的，它试图通过对带有学习过滤器的特征映射的卷积求和来生成输入图像.反卷积网络利用卷积稀疏编码的多个交替层对图像进行分层分解.对第Z层特征图像进行反卷积，得到第I层重构图像.如图1所示.
£
血Z-lh reconslnictecl image
I7/-lb layer feature map ©©®
甲n~i
图1反卷积过程
Fig.1Deconvolutional process
反卷积是由上述的稀疏编码合成的，首先考虑反卷积网络的第一层，将每个二维特征映射乙,1与卷积核进行卷积并求和，得到重构图像丛:
K
yi=刀如㊉/T,i,（1）
*=1
式中，㊉是二维卷积算子必是卷积核的数量•是所有图像共有的模型参数，用】是亦的转置.特征映射Z是每个图像特有的潜在变量.为了表示简洁，将第I层的卷积和求和运算合并为一个卷积矩阵旳，将多个二维映射Z"转化为一个向量乙.于是，第Z层的重构图像表示为
从=FZ.（2）卷积神经网络可以看作是一个编码的网络结构［期，提供从输入到潜在特征空间的自下而上映射；反卷积网络可以视为一个解码器，将潜在特征映射回原始图像空间.反卷积网络最初被认为是稀
第6期靳华中等：一种改进的深度网络残差学习的图像降噪方法951
疏的、过于完整的特征层次结构，这与深度学习方法密切相关.反卷积网络可以学习从低层边缘到高层对象部分的图像表示，它以一种无监督的方式在不同的尺度空间上恢复图像特征.换句话说，深度学习对图像进行训练时，模型的不同层次学习到不同级别的图像特征信息.反卷积网络通过训练卷积核产生不同层次的基于卷积稀疏编码的潜在图像特征.DnDNN的反卷积结构采用了的层次模型，每一个反卷积层都试图在一组超完整特征图上进行稀疏约束，从而降低输入图像的重构误差.对于
Noise Tmage 图像去噪，残差图像被视为DnDNN模型中噪声观测图像与重建图像的差值.
3DnDNN去噪方法
一般来说，针对特定任务训练深度卷积神经网络模型分为两个步骤：1)设计网络结构;2)从训练数据中学习模型.在网络结构设计中，为了使其更适于图像降噪，本文在DnCNN的基础上，引入反卷积，并对原有的损失函数进行改进.
Residiuil Image
I n pill Image Fin^l layer fpiiture map L-lh layer fealure map Ninth layer fefitiiiv map I^isl I aye『bHluiemnp Oiiipul Image
图2DnDNN网络结构
Fig.2DnDNN network structure
3.1本文提出的DnDNN结构
本文设计的网络结构如图2所示，设计的网络深度为10.每一层包含一组卷积运算和一组反卷积运算，卷积运算是用于提取图像的特征信息，包括边缘、线条等特征，反卷积运算是复原图像，反卷积在重构过程中，去掉了部分不能被重构的噪声信息；最后一层为全连接层，由一组卷积运算组成，用于输出图像.在上述结构中，每做一次卷积运算(或
反卷积运算)后，紧接着做批归一化(Batch Normalization,BN)和RELU，以加快收敛速度，提升训练效果.
算法步骤如下：
1)加噪的原始图像经过卷积计算得到特征图，然后对特征图进行反卷积，得到重构图像；
2)加噪的原始图像减去重构图像得到残差图像；
3)将原始噪声图像与对应的标签图像相减的
结果，再与第2步的残差图像做差值，并进行最小化计算；
4)设置迭代次数，当达到迭代次数时，训练停
止，否则重复1)〜3).
本文实验设置的图片块大小为30X30，步长为6，每层设置64个大小为3X3的卷积核，为了保证图片输入输出尺寸大小一样，采用零填充方式.除最后的全连接层外，每层处理包括卷积和反卷积，不使用池化层.3・2本文提出的损失函数计算方法
训练数据是带有噪声的图像y=工+s通过学习训练数据的模式来寻映射函数f(y)=工，目的是预测潜在的干净图像.本文采用残差学习获
取映射R(y)Q s然后得到x=y—RCy)，故损失函数的计算公式如下：
Z(®)=||RCyi—(ji—Xj)||f,(3)式中—益为样本残差值(即噪声图像值减去干净图像值)，尺(如®)为通过学习得到的期望残差值,Z(®)用匸2正则化得到每个patch块的损失函
数值.在DnCNN中，最终的损失函数是每个patch 块损失函数累加，然后通过优化得到尽可能小的损失函数.由于均方误差函数(MSE)对梯度变化较为敏感，损失函数在收敛过程中鲁棒性较差，收敛速度较为缓慢.
为了缩短模型的收敛时间，又保证模型的降噪
效果，本文结合L1正则化和L2正则化的各自优势，对上述损失函数进行优化，其公式如下：
-I N_________
L(t)=焉艺产(/+z(®)/£—i),⑷
式中』为超参数，它用来调节损失函数LQ)的梯度.相比于平方损失，上式对于异常值不敏感，但它同样保持了可微的特性.它基于绝对误差(MAE)但在误差很小的时候变成了MSE.可以使用超参数t来调节的梯度，当上趋向于0时它就退化成了MAE，而当t趋向于无穷时则退化为了MSE.损失
952华中师范大学学报（自然科学版）第54卷
函数利用了MAE和MSE各自优点，不仅可以保持其具有连续的导数，同时可以利用MSE梯度随误差减小的特性来得到更精确的最小值，也对异常
值具有更好的鲁棒性•通过实验分析，当把t的值设置为0.25时，既可以保证训练速度，也能较好的加快收敛速度.
4实验结果和分析
对于已知或未知噪声水平的高斯降噪，训练集为400张像素为180X180的灰度图片•本文方法是在尺[0,55]噪声水平的训练集下进行训练的.为了验证本文方法对已知噪声水平的降噪效果，选取了噪声强度分别为。=15、25、50的高斯噪声图像.每个patch块的尺寸大小为30X30像素.为了扩充数据样本，并且减小边缘效应的影响，将400张像素为180X180图片中的每张图片按照其尺寸大小的（1,0.9）倍进行2次裁剪，然后采用比DnCNN更小的步长，以便保留图片更多的边缘信息.为了验证本文方法的降噪效果，采用BSD68和SET12数据集进行测试.
4.1参数设置和网络训练
为了兼顾降噪效果和收敛效率，将DnDNN网络深度设置为10.其中，前9层中的每一层都包含卷积和反卷积，最后一层为全连接层•采用3.2节改进的损失函数，小批量训练的每批图像块数量为128，迭代周期次数为50.初始化学习率为0.01，每迭代10个周期学习率减小为原来的需•本文实验
的运行环境为AMD Ryzen52600X6核处理器@ 3.60GHz、NVIDIA GeForce GTX2070GPU和内存空间1
6G.使用BSD68和SET12测试数据集，在3种不同噪声强度下，将本文方法分别与目前几种经典的降噪方法（包括两种基于非局部相似性的降噪方法BM3D⑻和WNNM⑼，一种生成方法EPLL：21]，四种基于判别训练的方法（即，MLP：22],CSF：23],TNRD：10],DnCNN-B⑷））进行比较，实验结果如下表1,2所示.图3为几种常见的图像降噪算法得到的一张来自BSD68测试集上的噪声水平为（7=50的降噪结果对比图，从PSNR 值来看,DnDNN方法与DnCNN-B降噪结果相当，优于其他几种方法.从图中可以看出，DnDNN 不仅可以恢复锐利的边缘，清晰的纹理和精细的细节，而且在平滑的区域产生视觉上令人愉悦的效果.
表1BSD68数据集上不同方法的平均PSNR（DB）结果
Tab.1The average PSNR(db)results of different methods on the BSD68dataset
a BM3D WNNM EPLL MLP CSF TNRD DnCNN-B Ours 1531.0731.3731.21——31.2431.4231.6131.66 2528.5728.8328.6828.9628.7428.9229.1629.17 5025.6225.8725.6726.03——25.9726.1826.14
Tab.2
表2SET12数据集上不同方法的平均PSNR(DB)结果
The average PSNR(DB)results of different methods on the SET12dataset
a BM3D WNNM EPLL MLP CSF TNRD DnCNN-B Ours
1532.3732.732.14——32.3232.532.6832.74 2529.9730.2629.6930.0329.8430.0630.3630.38 5026.7227.0526.4726.78——26.8127.1527.13
表3不同降噪方法在噪声级别为25，图像尺寸大小分别为256X256,512X512和1024X1024下分别在CPU和GPU下运行时间(s)，对于CSF、TNRD、DnCNN和本文提出的DnDNN的CPU(左)和GPU(右)的运行时间Tab.3Run time(in Seconds)on CPU(left)and GPU(right)of different methods on images of Size256X256, 512X512and1024X1024with Noise Level25for CSF,TNRD,DnCNN and DnCNN 方法BM3D WNNM EPLL MLP CSF TNRD DnCNN-B DnDNN 256X2560.65203.125.4  1.42  2.11/-0.45/0.0100.90/0.0160.93/0.017 512X512  2.85773.245.5  5.51  5.67/0.92  1.33/0.032  4.11/0.060  4.30/0.063 1024X102411.892536.442.119.440.8/1.72  4.61/0.11614.1/0.23514.82/0.242
第6期靳华中等：一种改进的深度网络残差学习的图像降噪方法953
图4描述的是本文的DnDNN 在基于梯度优 化算法SGD，运用残差学习方法以及改进的损失
函数在噪声强度为o=25时模型训练的PSNR 值 随迭代周期的变化图.从图4可以看出，利用
DnDNN 方法训练时，当迭代周期到18次左右时， PSNR 值趋近于稳定，为30. 38 dB，其收敛速度非
常快，训练效果也非常好.
Noisy/14.76<IB BM3D/26.21dB WNNM/26.5hlB EPLL/26.36NB
MLP/26.54dB TNRD/26.59<IB DnCNN-B/26.92<IB DtiCNN/26.93dB
图3利用不同降噪方法得到的一张来自BSD68的噪声水平为50的图片的降噪结果
Fig. 3 The  noise  reduction  result  of  a  picture  with  a  noise  level  of  50 from
BSD68 obtained  by  different  noise  reduction  methods
The  Denmsing  Resulls  of  DnDNN
3(h4o
o n
2
3 u <u z
6
9.2() 1()
20 3()
40 50
EporJws
有盲降噪性能，所以在对比模型的收敛时间时,
DnDNN 方法主要与DnCNN-B 方法进行对比.从 图5可以看出，当迭代20个周期时，本文提出的 DnDNN
算法训练结果趋于稳定，此时的PSNR 值 为30. 38 dB.本文提出的方法每一个迭代周期所 用的时间为317 s，略高于DnCNN-B 每一个迭代 周期所用的时间(DnCNN-B 每一个迭代周期用时 301 s).但是本文方法的收敛时间要远远少于 DnCNN-B 的收敛时间,DnCNN-B 大约迭代50次
图4 DnDNN 模型下存=25高斯降噪训练收敛效果图
Fig. 4 Training  convergence  effect  diagram  of  疗=25 Gauss  noise  reduction  under  DnDNN  model
4.2运行时间
除了降噪效果以外，模型的运行效率和收敛时 间也是评价模型性能好坏的重要指标.表3给出了 一些经典图像降噪算法在噪声级别为25，图像尺 寸大小分别为 256X256.512X512 和 1024X1024
下运行时间，从表中数据可知，DnDNN 方法的运
行效率BMD 和TNRD 方法稍低，与DnCNN-B 方
法相当，考虑到DnDNN 方法具有盲降噪的优点, 本文提出的DnDNN 方法仍然具有较高的计算效
率.再考虑模型的收敛时间，由于DnDNN 方法具
30.5
3(
59.
2I  lit 4 Residl  CciiiiiJiirison
图5 DnCNN 和DnDNN 模型下
a=25高斯降噪圳练收敛速度对比图
Fig. 5 Comparison  chart  of  convergence  rate  of
tr=25 Gauss  noise  reduction  training  under
DnCNN  and  DnDNN  models

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。