2021年第40卷第4期传感器与微系统(Transducer and Microsystem Technologies)63
DOI：10.13873/J.1000-9787(2021)04-0063-03运动模糊图像的恢复技术研究**
收稿日期：2019-09-27
*基金项目：国家自然科学基金资助项目(61762067)陈英，洪晨丰
(南昌航空大学软件学院，江西南昌330063)
摘要：针对运动模糊图像的恢复，提出了基于生成式对抗神经网络(GAN)网络与FSRCNN网络的方案。采用GoPr。模糊图像数据集与DIV2K图像恢复数据集进行网络训练；通过图像处理对模糊图像进行规格化、归一化、彩空间转换等预处理操作；利用GAN对模糊图像进行图像恢复，并结合FSRCNN针对模糊图像进行图像增强；针对GAN与FSRCNN的处理结果进行分析与对比，经由FSRCNN网络图像增强的恢复图像的峰值信噪比虽然有一定的下降，但结构相似度则得到了提升。实验结果表明本文的算法方案具有较好的可行性。
关键词：生成式对抗神经网络；卷积神经网络；运动模糊；图像处理
中图分类号：TP391.41文献标识码：A 文章编号：1000-9787(2021)04-0063-03
Research on restoration technology of motion blur image
CHEN Ying,HONG Chenfeng
(School of Software,Nanchang Hangkong University,Nanchang330063,China)
Abstract:An image restoration scheme based on generative adversarial networks(GAN)network and FSRCNN network for motion blurred images is proposed.GoPro fuzzy image dataset and lhe DIV2K image restoration dataset are used for network training・Image processing operation is used to normalize the fuzzy image,convert color space・GAN is used to restore lhe image of lhe blurred image,and the FSRCNN is combined to enhance the image for the blurred image・Processing results of GAN and FSRCNN are analyzed and compared.The peak signal-noise ratio of the reconstructed image enhanced by the FSRCNN network image has a certain decline・However,the structural similarity is improved・Experimental results show that the proposed algorithm has good feasibility.
Keywords:generative adversarial networks(GAN)；convolutional neural network(CNN)；motion blur；image processing
0引言
计算机领域在近年来的急速进步与图像存储在日常生活中逐渐普及，焦距、相机抖动和目标物体的运动等因素都是图像模糊的原因，同样因为这些因素，导致了图像信息发生小不服或与空间的大面积退化，从而使图像信息存储与使用发生错误E。于是针对模糊图像恢复问题，近年来已经出现许多相关研究，如Zhang F等人⑵提出了基于L0-正则化和模糊核估计优化的盲图像去模糊算法，通过L0来表示模糊核的梯度与强度，从而获得了良好的稀疏性和较少的噪声。Ma C等人⑶利用对象概率，结果丰富度与局部对比度三个信息提出基于SalientPatch的去模糊算法，加快了模糊核估计的同时保证了大尺寸模糊图像的高质量恢复。WangR等人⑷针对无人机设备而产生的模糊图像通过训练分类器来达到图像模糊恢复的实现。WangK等人⑸提出了基于步进边缘的去模糊算法，通过操作多尺度框架来进行去模糊的算法。黄宇涵等人⑹论证了点扩散函数在频域内的零点特性以及两次傅里叶同态变化的方向特性，针对这两个特性提岀了运动模糊方向的估计方法与两种模糊距离的估计方法，并通过维纳滤波进行图像的恢复。朱立夫等人⑺根据所求点扩散函数，利用Lucy-Richardson迭代算法对运动模糊图像进行复原。白响恩等人⑻利用Radon 确定点扩散函数的模糊角度以确定模糊尺度后，对不同模糊程度的图像计算参数并复原。上述文献主要研究方案多以特定图像为研究对象，以图像模糊核估计与模糊核特性为主要研究方法，并未对模糊图像类型进行广泛的研究。
本文利用深度学习的生成式对抗神经网络(generative adversarial networks,GAN)与卷积神经网络(convolutional neural network,CNN)实现对运动模糊图像的恢复与图像增
64传感器与微系统第40卷
强，以提高运动模糊图像的恢复质量与算法鲁棒性。
1基础理论
1.1运动模糊图像退化模型
图像恢复的基础方案是建立图像模糊过程的数学模型，也就是退化模型。通过描绘图像的退化过程，从而利用图像模糊的逆过程实现图像的恢复。退化模型如图1所示，输入系统的图像/(%』)，经过退化函数即点扩散函数的作用，发生图像的退化。最后在h(x,y)和生活中噪声n(%,y)共同作用下退化图像g(x,y)。
图1图像退化模型
1.2GAN网络
生成网络结构如图2所示，由三部分组成：输入部分、ResNet模块、输出部分。输入数据为256x256 x3的三通道RGB图像，经过由1层反射填充层与3层卷积层，生成64个256X256大小的特征图。ResNet模块为9个ResNet 层组成,ResNet层本质为添加输入输岀来形成最终输岀的卷积层。在加深深度的同时提高了对特征图的特征。输出部分则是以卷积层为主，最后生成256x256x3的恢复图像。
Input Convolution block ReflectionPadding Add
ReflectionPadding ConvolutionNet block Convolution
图2GAN生成网络结构
判别网络主要是以卷积层为主并输出一元判断值，网络结构如图3所示。输入数据为256x256x3的三通道RGB图像，经过第一层卷积层通过7x7的卷积核得到大小为128X128的特征图，再通过3个卷积核为3X3与2个4X4的卷积层得到大小为16X16的特征图像。最后经过Flatten层对多维输入一维化，将卷积层过渡到全连接层，并后续两个全连接层的处理下输出一元判断。
latten Dense Li Convolution block ConvolutionNet block
Input Convolution
图3GAN判别网络实现结构
1.3FSRCNN网络
FSRCNN网络利用卷积神经网络，实现了超分辨率图像重建，可以将低分辨率的图像重建至高分辨的图
像，并保证了图像完整信息的同时补全了图像的缺失信息。网络结构如图4所示，以卷积层为组成主要网络层，分为5个部分：特征提取、收缩、非线性映射、扩张、反卷积。首先以卷积核为5x5的卷积层进行输入数据，进行特征提取。然后经过卷积核为1xl的卷积操作将数据降维，降低计算复杂度。其次结合5层卷积核为3x3的卷积层进行非线性映射。最后利用1xl的卷积核将低纬度特征进行扩大维度，通过反卷积层实现上采样。
A 1^0000000^0) Input ConvolutionNet block Convolution ConvolutionNet block
Conv2DTranse
图4FSRCNN网络实现结构
2本文提出的GAN+FSRCNN结构
2.1整体结构的设计
本文主要实现系统是运动模糊图像的恢复系统，通过对模糊图像的基本数字信息进行特征处理与提取，然后经过GAN网络与FSRCNN网络对图像预测，得到恢复图像，整个恢复过程如图5所示。
图5图像恢复步骤
2.2GAN网络图像处理
采用GoPro生成的轻量级模糊图像数据集⑼，相对于原数据集3124对数据，本数据集包含了经过对图像质量进行筛选的2103对模糊-清晰的图像。本文在使用该数据集的训练集进行GAN网络训练的同时，也利用其提供的测试集进行图像测试。
1)规格化与归一化：获取的图像为不同的分辨率的RGB彩图像，因此在GAN网络预测之前需要将图像进行双线性插值处理将图像分辨率转化256x256。同时在对图像进行图像规格化后，采用归一化来针对图像RGB三种颜分量进行数值范围转化，将颜分量的范围从(0, 255)压缩至(0,1)，待处理图像经过预处理在保持图像颜分布特征的同时，减少了网络运算量。
2)采用GAN对模糊图像进行图像恢复：通过生成网络计算得出的知觉损失(perceptual loss)与整个训练过程产生的Wasserstein损失，训练整个模型。由于采用的GAN网络输入数据为实际图像有别于传统GAN网络的噪声作为输入数据，所以能通过生成网络的直接得到恢复图。
2.3FSRCNN网络图像增强
本文采用由NITRE比赛提供的超分辨DTV2K数据集，并且在比较对比了不同组分辨率倍率数据集，选择3倍率的高分辨率-低分辨率的数据作为训练数据。
1)彩空间转化：采用FSRCNN网络针对图像重建的过程中，为了保证重建图像的有效特征与降低计算机计算量，采用了YCbCr彩空间作为图像彩值的基本坐标。利用人体视觉器官的感知特性，使用图像的亮度图(丫)作为网络训练与预测的训练数据。因此为了在进行图像重建的同时需要将图像进行亮度图提取
。
第4期陈英，等：运动模糊图像的恢复技术研究65
2）网络预测：采用FSRCNN对图像进行图像重建,FS-RCNN主要以8层卷积层与1层反卷积层组成，而在实际训练过程针对图像的重建过程，根据不同的卷积层的作用图像经历了特征提取、特征降维、非线性映射、特征扩维，转置卷积5个过程。本文将图像的PSNR作为损失函数，进行对网络的训练，进而提高网络效果。
3）彩结合：通过对原始低分辨率图像进行双三次插值放大运算，获取到与重建图像等分辨率的原始图像，并提取对应分辨率下的Cb图、Cr图与网络重建图像进行结合。如图6所示，（a）为Cb度图，（b）为Cr度图，（c）经过彩结合后的高分辨率重建图，从（a）与（b）可以看出度图保留了原始图像颜的基本信息与图像的基本轮廓，于是经过彩结合得到了重建效果良好的高分辨率重建图。
（a）第1类图像（b）第2类图像（c）第3类图像（d）第1类恢复图像（e）第2类恢复图像（f）第3类恢复图像
图6恢复图像示例
3实验结果与分析
3.1数据样本与实验环境
实验样本为GoPro模糊图像数据集中不同模糊类型下的RGB真彩图像。本文采用3类图像，分别为采用第1/ 2/3类的方式进行标记：1）第1类图像：动模糊方向为垂直向下，模糊幅度为小的图像;2）第2类图像：运动模糊方向为水平向左，模糊幅度为小的图像;3）第3类图像：运动模糊方向为水平向右，模糊幅度为大的图像。
实验环境的硬件中的显卡为GeForce GTX1070o软件环境中的GAN网络与FSRCNN网络均采用Adam优
化算法，其中,GAN网络基本参数设置如下：批大小4，初始学习率0.0001；FSRCNN网络基本参数设置如下：批大小2，初始学习率0.01o
3.2GAN恢复图像
通过对比图6中的第一行和第二行可以发现，在不同方向的模糊运动下会有不同的处理效果，并且初始模糊图像本身块偏多的情况下也会影响GAN网络的训练效果。结合表1，可以看出第1类图像恢复效果在图像阴影的视觉干扰下显得并不明显，但是相对于第3类图像则PSNR 表示恢复程度良好，但在SSIM的比较下，第3类图像则在结构相似度上有明显的差距。
表1恢复图像评价表
类别PSNR SSIM 第1类图像20.709670.603799
第2类图像20.895930.740835
第3类图像1&554020.775123
3.3经过FSRCNN图像增强
图7为将GAN生成的恢复图像经过FSRCNN超分辨重建，进行图像质量增强。
（a）第1类图像（b）第2类图像（c）第3类图像
图7增强图像示例
结合表1与表2这六组恢复处理数据，可以看出虽然FSRCNN在低分辨率图像重建方面有优秀的重建效果，但是针对模糊图像的再处理却没有达到预期的效果。在（a）组图像可以看出FSRCNN在线条处理主要体现为对其的锐化的同时降低了其PSNR与SSIM O在（b）组图像中呈现出对密集块区域的处理效果，PSNR相较于先前图像降低了0.5db，但在锐化图像边缘的同时达到了0.75的结构相似度。相较于两组（c）的恢复图像，在主观测评层面比对观察可看岀图像背景岀的大厦被明显锐化恢复，并且在SSIM方面也有了进一步提升。
4结束语
表2增强图像评价表
类别PSNR SSIM 第1类图像19.904570.574878
第2类图像20.462840.752473
第3类图像18.093 140.795317
本文从图像恢复方面入手，进行运动模糊图像恢复技术的研究，所作的工作包括CAN恢复图像和FSRCNN增强图像，由实验结果可以看出，本文的算法能够满足运动模糊图像的恢复与鲁棒性的要求。
参考文献：
[1]桑亮，高爽，尹增山•基于生成对抗网络的运动模糊图像恢
复[J].计算机工程与应用,2019,55(6):173-177.
[2]ZHANG F,LU W,LIU H,et al.Natural image deblurring based
on10-regularization and kernel shape optimization[J j.Multimedia Tools and Applications,2018,77(20)：26239—26257. [3]MA C,ZHANG J,XU S,el al.Accurate blind deblurring using
salient patch-based prior for large-size images[J].Multimedia Tools and Applications,2018,77：28077—28100.
[4]WANG R,MA G,QIN Q,et al.Blind UAV images deblurring
based on discriminative networks[J'.Sensors,2018,18(9)：2874.
(下转第73
页)
第4期王姗姗，等:K型单刀四掷射频MEMS开关设计73
上电极的距离3Jim。由此可确定所设计开关的结构合理。4结论
基于单刀四掷开关的原理，设计了一种由K型功分器和单刀单掷开关级联而成的K型MEMS单刀四掷开关。通过优化K型功分器和单掷开关几何特性参数，实现DC-20GH啲工作范围内，覆盖了L~Ku波段插入损耗W0.41dB，隔离度M21.00dB，整体尺寸为2.11mm X 1.6mm x0.6mm，驱动电压为12.41V，满足现阶段通信系统中对MEMS单刀四掷开关的小型化、低驱动、宽频带、高性能的要求。
参考文献：
[1]刘洋•微机电系统发展现状及关键技术分析[J].新材料产
业,2019,304(3):59-63.
[2]胡光伟，刘泽文，侯智昊，等.一种低驱动电压的SP4TRFMEMS
开关[J].传感技术学报,2008,21(4)：656-659.
[3]CASINI F.High performance RF-MEMS SP4T switches in CPW
technology for space applications[C]//The40th European Microwave Conference,IEEE,2010：89—92.
[4]ROY S C,RANGRA K J.Design optimization of RF MEMS
SP4T and SP6T switch[C]//20103rd International Conference on Emerging Trends in Engineering and Technology, IEEE,2010: 430一433.
[5]DEY S,KOUL S K,PODDAR A K,et al.Reliable and compact
3-and4-bit phase shifters using MEMS SP4T and SP8T
(上接第62页)
[6]许永强，王亚龙.BP神经网络在水轮机调节过程中的应
用[J].水电能源科学,2017,35(7):57,176-178.
[7]张剑焜，李志红，李燕，等•基于混合粒子算法的水轮发电机
组调速器PID参数优化[J].中国农村水利水电,2019(1)：
180-183,192.
[8]吕松哲•基于模糊径向函数的神经网络PID算法的水轮机调
速系统设计[J]•自动化与仪器仪表,2016(9)：33-35. [9]史华勃，陈刚，丁理杰，等•兼顾一次调频性能和超低频振荡
抑制的水轮机调速器PID参数优化[J].电网技术,2019, 43(1)：221-226.
[10]KISHOR N,SINGH S P,RSGHUVANSHI A S.Dynamical simu
lation of hydro turbine and its state estimation based LQ
(上接第65页)
[5]WANG K,XIAO L,WEI Z.Motion blur kernel estimation in
steerable gradient domain of decomposed image[J].Multidimen-sional Systems and Signal Processing,2016,27(2)：577—596.
[6]黄宇涵，李德龙，李德富•基于MATLAB的运动模糊图像恢
复[J]•电子元器件与信息技术,2018(8)：57-59.
[7]朱立夫，燕必希，王君，等•视觉传感器抖动模糊图像复原技
术[J]•传感器与微系统,2018,37(8):19-21.
switches[J].Journal of Microelectromechanical Systems,2018(99):
1-12.
[6]张一飞，李孟委，吴倩楠•一种基于高阻硅衬底的高精度RF
MEMS衰减器设计[J]・中北大学学报(自然科学版)，2019,
40(3)：81-87.
[7]ZHAO C X,GUO X,DENG T,et al.Automated and optimal actu
ation voltage waveform design for contact bouncing mitigation of MEMS switches[J].Key Engineering Materials,2014,609—610：
1248-1253.
[8]GUHA K,KUMAR M, AGARWAL S,el al.A modified capaci-
tance model of RF MEMS shunt switch incorporating fringing field effects of perforated beam[J]・Solid-State Electronics, 2015,114：35—42.
[9]GOLDSMITH C L,YAO Z J,ESHELMAN S,et al.Performance
of low-loss RF MEMS capacitive switches[J].IEEE Micro w ave& Guided Wave Letters,1998,8(8)：269—271.
[10]LI M W.Broadband radio frequency MEMS series contact switch
image pro pluswith low insertion loss[J].Microsystem Technologies,2019,
25(5):1619-1625.
作者简介：
王姗姗(1995—)，女，硕士研究生，研究方向为射频MEMS设计加工。
吴倩楠(1988-)，女，通讯作者，博士，副教授，从事射频微机电器件，电磁超材料方面的研究工作，E-
mail：qiannanwoo@nuc. edu o
3119-3137.
[11]FANG H,CHEN L,SHEN乙AppBcation of an improved PSO
algorithm to optimal tuning of PID gains for water turbine gover-nor[J].Energy Convers Manage,2011(52)：1763—1770. [12]YAGHOOBI S,MOJALLAU H.Tuning of a PID controller using
improved chaotic Krill Herd algorithm]J]・Optik,2016,127(11)：
4803-4807.
作者简介：
周克良(1963-)，男，硕士，教授，硕士研究生导师，研究领域为过程控制与网络集成自动化，智能仪器。
曾光明(1993-)，男，硕士研究生，研究方向为智能控制理论，E-mail：1909729002@qq o
[8]白响恩，易佳•红外运动模糊图像参数估计方法[J]・传感器
与微系统,2015,34(9)：27-28,34.
[9]NAH S,HYUN KIM T,MU LEE K.Deep multi-scale convolu
tional neural network for dynamic scene deblurring[C]〃Pro・ceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2017：3883—3891.
作者简介：
陈英(1981-)，男，博士，副教授，主要研究领域为图像处理及模式识别，生物特征识别及安全应用。
control\J1.Energy Conversion and Management,2006,47( 18 )
:
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论