收稿日期：２０１９ １０ １８；修回日期：２０１９ １２ １２  基金项目：国家重点研发计划项目（２０１６ＹＦＣ０２００４００）；国家自然科学基金资助项目（６１６７３２６５）
  作者简介：董星煜（１９９３ ），男，山西朔州人，硕士研究生，主要研究方向为图像处理、深度学习；刘传奇（１９９３ ），男，山东聊城人，博士研究生，主要研究方向为图像处理、深度学习；赵健康（１９６６ ），男（通信作者），湖南益阳人，教授，博导，博士，主要研究方向为导航制导与控制（ｚｈａｏｊｉａｎ ｋａｎｇ＠ｓｊｔｕ．ｅｄｕ．ｃｎ）．
融合运动信息的图像运动模糊去除算法
董星煜，刘传奇，赵健康
（上海交通大学电子信息与电气工程学院，上海２０１１００）
摘　要：现有运动去模糊算法难以有效复原含有大尺度旋转的复合运动模糊，针对此问题提出了一种基于
Ｕ ｎｅｔ模型的神经网络框架。该框架通过融合运动信息至网络输入，给定每一像素点不同的运动约束。经过网络的编码器与解码器结构，得到每一像素点的预测值，实现端对端的方式直接获得复原图像。实验在通用数据集上与当前先进去模糊算法进行比较，该方法相比性能最好的算法ＰＳＮＲ（ｐｅａｋｓｉｇｎａｌ ｔｏ ｎｏｉｓｅｒａｔｉｏ）值提高了０．１４ｄＢ，相比实时性最好的算法运行时间减少了０
．１ｓ；同时在含有旋转运动的测试集上进行验证，证明了该算法可获得较好的复原质量。
关键词：运动模糊；图像复原；卷积神经网络；运动约束中图分类号：ＴＰ３９１ ４１  　文献标志码：Ａ  　文章编号：１００１ ３６９５（２０２１）０１ ０５６ ０２７８ ０４ｄｏｉ
：１０．１９７３４／ｊ．ｉｓｓｎ．１００１ ３６９５．２０１９．１０．０６４７Ｉｍａｇｅｍｏｔｉｏｎｄｅｂｌｕｒａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｍｏｔｉｏｎｉｎｆｏｒｍａｔｉｏｎ
ＤｏｎｇＸｉｎｇｙｕ，ＬｉｕＣｈｕａｎｑｉ，ＺｈａｏＪｉａｎｋａｎｇ
（ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｎｉｃＩｎｆｏｒｍａｔｉｏｎ＆ＥｌｅｃｔｒｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，ＳｈａｎｇｈａｉＪｉａｏＴｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０１１００，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｈｅｅｘｉｓｔｉｎｇｍｏｔｉｏｎｄｅｂｌｕｒｒｉｎｇａｌｇｏｒｉｔｈｍｉｓｄｉｆｆｉｃｕｌｔｔｏｅｆｆｅｃｔｉｖｅｌｙｒｅｃｏｖｅｒｔｈｅｃｏｍｐｏｓｉｔｅｍｏｔｉｏｎｂｌｕｒｗｉｔｈｌａｒｇｅｒｏｔａ
ｔｉｏｎａｌｍｏｔｉｏｎ．ＴｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｎｅｕｒａｌｎｅｔｗｏｒｋｆｒａｍｅｗｏｒｋｂａｓｅｄｏｎＵ ｎｅｔｍｏｄｅｌｆｏｒｔｈｉｓｐｒｏｂｌｅｍ．Ｂｙｃｏｍｂ
ｉｎｉｎｇｍｏｔｉｏｎ
ｉｎｆｏｒｍａｔｉｏｎｔｏｔｈｅｉｎｐｕｔｏｆｎｅｔｗｏｒｋ
，ｔｈｉｓｆｒａｍｅｗｏｒｋｇａｖｅｄｉｆｆｅｒｅｎｔｍｏｔｉｏｎｃｏｎｓｔｒａｉｎｔｔｏｅａｃｈｐｉｘｅｌ．Ｔｈｒｏｕｇｈｔｈｅｓｔｒｕｃｔｕｒｅｏｆｅｎ ｃｏｄｅｒａｎｄｄｅｃｏｄｅｒ，ｅａｃｈｐｉｘｅｌｏｂｔａｉｎｅｄｔｈｅｐｒｅｄｉｃｔｉｏｎｖａｌｕｅ，ｔｈｅｒｅｂｙｔｈｅｂｌｕｒｒｙｉｍａｇｅｃｏｕｌｄｂｅｒｅｃｏｖｅｒｅｄｉｎａｎｅｎｄ ｔｏ ｅｎｄｍａｎｎｅｒ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｗａｓｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｃｕｒｒｅｎｔｓｔａｔｅ ｏｆ ａｒｔｄｅｂｌｕｒｒｉｎｇａｌｇｏｒｉｔｈｍｏｎｔｈｅｕｎｉｖｅｒｓａｌｄａｔａｓｅｔ．Ｔｈｉｓｍｅｔｈｏｄ
ｉｍｐｒｏｖｅｄｔｈｅＰＳＮＲｖａｌｕｅｏｆｔｈｅｂｅｓｔａｌｇｏｒｉｔｈｍｂｙ０．１４ｄＢ
，ａｎｄｒｅｄｕｃｅｄｔｈｅｒｕｎｎｉｎｇｔｉｍｅｏｆｔｈｅｂｅｓｔｒｅａｌ ｔｉｍｅａｌｇｏｒｉｔｈｍｂｙ０．１ｓ．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｉｔｗａｓｖｅｒｉｆｉｅｄｏｎｔｈｅｔｅｓｔｄａｔａｓｅｔｗｉｔｈｒｏｔａｔｉｏｎａｌｍｏｔｉｏｎ．Ｔｈｉｓｐｒｏｖｅｓｔｈａｔｔｈｅａｌｇｏｒｉｔｈｍｏｂｔａｉｎｓｂｅｔｔｅｒｒｅｓｔｏｒａｔｉｏｎｑｕａｌｉｔｙ．
Ｋｅｙｗｏｒｄｓ：ｍｏｔｉｏｎｂｌｕｒ；ｉｍａｇｅｒｅｓｔｏｒａｔｉｏｎ；ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ；ｍｏｔｉｏｎｃｏｎｓｔｒａｉｎｔ
０　引言
使用快速移动的相机拍摄图像时，运动模糊难以避免，在光线条件较差的环境下，主动增加曝光时间会引起更为严重的图像降质。图像稳定设备在一定程度上可以减少运动模糊，但其适用范围有限，对于高速运动补偿效果较差，因此使用数学方法后期去模糊是常用选择。
从成像原理来讲光学图像是曝光时间内相机传感器累积存储光学能量形成的，如果在曝光时间内相机传感器与拍摄场景之间存在相对运动，固定传感器上将接受一系列不同的光能量，整个图像出现运动拖影。这一过程可以看成一幅清晰图像与模糊核卷积同时添加噪声而成，用数学模型表示为
ｂ（ｘ，ｙ）＝ｆ（ｘ，ｙ） ｋ
（ｘ，ｙ）＋ｎ（ｘ，ｙ）（１）
其中：ｆ（ｘ，ｙ）表示理想没有相对运动情况下获取的图像，即期望通过建立模型恢复的清晰图像；ｋ（ｘ，ｙ）表示图像退化函数，此处称之为模糊核函数；ｎ（ｘ，ｙ）表示成像过程中产生的噪声；ｂ（ｘ，ｙ）表示观察到的退化图像； 表示卷积运算。
运动去模糊问题根据模糊核是否已知可以分为非盲去模糊和盲去模糊两类。在非盲去运动模糊研究领域，Ｊｏｓｈｉ等人［１］使用加速度计和陀螺仪获取相机运动，再使用贝叶斯最大后验概率，根据模糊图像和模糊核矩阵估计清晰图像，但是
该方法假设图像场景深度未发生变化，对模糊恢复的精度造成
了影响。盲去模糊需要在模糊图像上同时求取模糊核与复原
图像，属于严重病态问题［
２］。Ｋｒｉｓｈｎａｎ等人［３］提出基于变分贝叶斯的图像盲去模糊算法，并运用Ｒｉｃｈａｒｄｓｏｎ Ｌｕｃｙ算法复原图像，为此类方法奠定了基础，但复原图像振铃效应明显。
Ｔａｎｇ等人［４］
提出了一种多正则化约束方法来估计运动核，首先结合空间尺度、ｌ０范数和暗通道先验模型寻锐利的大尺度边缘保证模糊核估计的准确性，其次提出了一种双约束正则化模型，结合ｌ０规范化强度先验和ｌ２规范化梯度先验对模糊核进行估计，很好地保持了模糊核的连续性和稀疏性。
Ｄｅｓｈｐａｎｄｅ等人［５］
提出了在频域中提取运动信息估计模糊核的方法，该方法根据图像频谱中暗纹分布规律，利用ｒａｄｏｎ变换提取运动信息构造模糊核，再利用反卷积的方法恢复清晰图像，该方法对于低信噪比图像的运动估计不理想。近年来深度学习的方法获得了较好的效果，文献［６］先利用卷积神经网络从模糊图像中提取边缘，再利用边缘作为正则项约束估计模糊
核并恢复图像。Ｓｕｎ等人［７］
将模糊核估计问题转换为分类问题，按照运动方向与尺度将运动分为７３个标签，再利用图像旋转扩展到全角度，最后建立非均匀反卷积模型对图像进行去模
糊，该模型仅适用于某些特定类型的模糊。Ｋｕｐｙｎ等人［８］
采用条件对抗网络，以端到端方式直接还原清晰图像，并用多组损
第３８卷第１期２０２１年１月　计算机应用研究
ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ．３８Ｎｏ．１
Ｊａｎ．２０２１
失函数对网络进行优化，在取得较好去模糊效果的同时，将实时性提高了５倍。Ｍ
ｕｓｔａｎｉｅｍｉ等人［９］
首次结合陀螺仪数据与神经网络的去模糊方法，使用模糊图像和陀螺仪测得模糊场作为输入，以全分辨率清晰图像作为输出训练全卷积神经网络以恢复模糊图像，该方法可以处理大尺度和空间变化的运动模糊，对真实世界的图像实时性和视觉质量方面优于现有技术。
综上，目前常用的恢复模糊图像方法可以分为以下两类：
一种是基于模糊核建立［５，７，１０］
，因为对图像中的每个像素点建
立模糊核属于病态问题［８］
，所以基于建立模糊核的方法假设全图拥有单一模糊核，或将图像分块建立局部模糊核来复原图像，该方法在恢复空间可变运动模糊时效果较差并且模糊核的
估计可能带来计算误差；另一种建立端对端的网络模型［８，１１］
，通过提取图像的抽象特征直接由模糊图像得到复原图像，该方法对场景依赖性较大。
针对上述问题，本文立足于拍摄时相机运动产生模糊的场景，提出了一种融合运动信息到卷积神经网络的去模糊方法。当带有旋转的复合运动引起图像模糊时，图像中每一像素点运动均不相同，理论上这些像素点均有不同的模糊核。基于神经网络可以逼近任何高维度非线性函数的思想，希望为每一个点建立模糊核，因此本文将模糊运动信息转换为图像格式输入网络，对于每一个像素点给定运动约束。由于复合运动对于每一像素点的运动量均不相同，这相当于利用神经网络为每一个点建立了模糊核。为了抓取不同尺度的图像特征并且对复原图
像实现像素级的预测，网络的设计借鉴了Ｕ ｎｅｔ构架［１２］
并将运动信息转换为图像格式输入网络。针对该训练任务，通过分
析运动模糊产生的原理提出了逼真模糊图像的生成方法。将
训练好的网络模型在Ｋ
ｈｌｅｒ数据集［１３］
上进行实验，并与当前最先进的模糊算法进行比较，得到了较好的效果。同时本文提出了一种生成复合运动模糊图像的方法，并通过此方法制作了含有大尺度旋转的测试数据集，证实了本文方法可以有效恢复空间可变运动模糊图像。
１　网络设计
１ １　网络整体框架
网络结构的设计借鉴Ｕ ｎｅｔ网络模型，Ｕ ｎｅｔ网络结构广泛用于语义分割任务，最初的提出用于医学图像分割，属于全卷积网络。其结构主要分为编码器和解码器两部分。编码器通过多个卷积层与池化层提取不同维度的特征，解码器对顶层特征进行多层反卷积将特征图恢复到原始输入的大小，从而对每一个像素都能产生一个预测。编码器与解码器之间的特征
映射采用ｓ
ｋｉｐｃｏｎｎｅｃｔ连接，这样可以将低层次的特征图与高层次的特征图结合起来，帮助解码器更好地修复图像的细节。为了使网络能更好地应用于复合运动模糊的去除，本文将网络设计为五通道输入、三通道输出。其中五通道输入为两通道图像格式的运动信息与三通道彩模糊图像，三通道输出为彩清晰图像。对于两通道运动信息的计算，首先将模糊运动转换至像素坐标系并分解至ｘ轴与ｙ轴，再分别将ｘ轴与ｙ轴的运动归一化至０～２５５的图像灰度范围，具体计算方法将在２．１节阐述。网络整体结构如图１
所示。
１ ２　网络参数设置
网络中每一个卷积块包括两层ｃｏｎｖ卷积层、ＢＮ归一化层和ＲｅＬＵ激活层，ｍａｘｐｏｏｌｉｎ
ｇ为最大池化层，ｕｐｃｏｎｖ为转置卷积层。其中卷积层选用大小为３×３的卷积核，这样计算量更小且非线性映射能力更强，在每一次卷积运算后加入ＢＮ层对每一层的特征作归一化，加快网络收敛速度。ｐｏｏｌｉｎｇ层选用２×２ｍａｘｐｏｏｌｉｎｇ，在增大感受野的同时降低了运算量，保证恢复效果的同时也提高了运算速度。网络的左右两部分分别是编码器和解码器。编码器结构与常用的卷积神经网络相同，输入图像首先通过卷积块转换为６４通道特征图，然后经过连续四次池化与卷积转换为１０２４通道特征图。解码器包含连续四次转置卷积与卷积块，每一次转置卷积将特征图的通道数减半、宽度与高度翻倍，再经ｓｋｉｐｃｏｎｎｅｃｔ与编码器中相同尺寸的特征图融合，最后经卷积块输出至下一层解码器。特征图最终复原到原图尺寸后降维至３通道，特征图具体变化如表１所示。该设计结构可以通过逐层ｐ
ｏｏｌｉｎｇ获得较大的感受野，同时可以融合底层特征抓取图像细节，在速度与精度之间达到平衡。网络的损失函数选用均方误差（ＭＳＥ），定义如下：
ＭＳＥ＝１Ｍ×Ｎ∑０≤ｉ≤Ｍ∑０≤ｊ≤Ｎ
（ｆｉｊ－ｆｉｊ
′）２
（２）
在常用的正则化计算方法中 属于
其中：ｆｉｊ′为网络输出复原图像在点（ｉ，ｊ）处的像素值；ｆｉｊ为清晰图像在点（ｉ，ｊ）处的像素值；Ｍ、Ｎ分别为图像的宽度与高度。
表１　特征图尺寸
Ｔａｂ．１　Ｆｅａｔｕｒｅｍａｐｓｉｚｅ
特征图
特征图尺寸
特征图通道数
ｉｎｐｕｔ４９６×３６８５ｃｏｎｖ＿１４９６×３６８６４ｅｎｃｏｄｅ＿ｃｏｎｖ＿１２４８×１８４１２８ｅｎｃｏｄｅ＿ｃｏｎｖ＿２１２４×９２２５６ｅｎｃｏｄｅ＿ｃｏｎｖ＿３６２×４６５１２ｅｎｃｏｄｅ＿ｃｏｎｖ＿４３１×２３１０２４ｄｅｃｏｄｅ＿ｃｏｎｖ＿１６２×４６５１２ｄｅｃｏｄｅ＿ｃｏｎｖ＿２１２４×９２２５６ｄｅｃｏｄｅ＿ｃｏｎｖ＿３２４８×１８４１２８ｄｅｃｏｄｅ＿ｃｏｎｖ＿４４９６×３６８６４ｃｏｎｖ１×１
４９６×３６８
３
２　网络训练
２ １　运动模糊图像生成
在曝光时间内（一般在０．１ｓ以内）的相机运动主要为平移与旋转的复合运动。在图像坐标系中，像素的运动主要由以下四个量决定：旋转中心、旋转角度、平移的方向与长度。为了使数据中包含各种运动的组合，构建运动完备的数据集，在对每张图片生成运动信息的时候，随机确定以上四个量的值，其
中旋转中心（ｒｘ，ｒｙ
）为图像中任意一点，旋转角度θ的取值为０～０．０４弧度，平移方向δ取值为０～２π弧度，
平移长度Ｌ的取值为０～
２５像素。结合运动模糊产生的物理机理，根据给定运动信息，可以
·９７２·第１期董星煜，等：融合运动信息的图像运动模糊去除算法  　
求取每一像素点（ｘ，ｙ）的运动轨迹。假设相机曝光时间为Ｔ，
将曝光时间等分为ｎ
个阶段，则在每个Δｔ＝Ｔ／ｎ（＜１ｍｓ）阶段内，可以将像素点近似为匀速运动。
像素点（ｘ，ｙ）在整个曝光时间Ｔ内会形成一条运动轨迹，其中在时刻ｔｉ（ｉ＝０，１，…，ｎ）的轨迹坐标为（ｘｔｉ，ｙｔｉ
）：ｘｔｉ
＝－Ｒ×ｃｏｓα＋ｉ×θ
()
ｎ＋Ｌｎ
×ｃｏｓδ＋ｘ（３）ｙｔｉ＝Ｒ×ｓｉｎα＋ｉ×θ
()
ｎ＋Ｌｎ
×ｓｉｎδ＋ｙ（４）
其中Ｒ为像素点与旋转中心的距离：
Ｒ＝（ｘ－ｒｘ）２＋（ｙ－ｒｙ
）槡２
（５）
α为像素点（ｘ，ｙ）与旋转中心（ｒｘ，ｒｙ
）的连线相对于ｘ轴的夹角：
α＝ａｒｃｔａｎ（ｙ－ｒｙ／ｘ－ｒｘ
）（６）
则像素点（ｘ，ｙ）在模糊图像中的像素值ＩＢ
（ｘ，ｙ）为ＩＢ
（ｘ，ｙ）＝１
ｎ∑ｉ∈（
０，ｎ）Ｉ（ｘｔｉ，ｙｔｉ）（７）
其中：Ｉ（ｘｔｉ，ｙｔｉ）为轨迹上每一点在清晰图像中的像素值。根据上述方法产生模糊图像，每一个像素点的运动信息
（ｍｘ，ｍｙ
）均不同，求取该运动并分解至ｘ与ｙ坐标轴：ｍｘ＝－
Ｒθ×ｓｉｎα＋Ｌｃｏｓδ（８）ｍｙ＝
Ｒθ×ｃｏｓα＋Ｌｓｉｎδ（９）
将每一像素点的运动信息归一化为０～２５５，即为网络的两通
道运动信息输入。
本文用以上方法对ＰＡＳＣＡＬ ＶＯＣ２０１２数据集进行处理，生成的模糊图像与运动信息图像如图２
所示。
２ ２　实验环境及设置
本实验在ＣＰＵ为ｉ５ ３４７０，ＧＰＵ为ＮＶＩＤＩＡ１０８０Ｔｉ的计算
机上进行，初始学习率设置为０．００５，衰减率为０．８，批大小为
４，并使用Ａｄａｍ优化器优化损失函数［１２］
，网络的训练周期为７天，训练ｌｏｓｓ曲线如图３所示。由图３可以看出训练前期曲线有小幅波动，
可能是ｂａｔｃｈ选用较小的原因，随着迭代次数的增加，图像ＭＳＥ趋于平缓，损失函数收敛，
模型达到了最优。
３　实验结果及分析
为了评估本方法的去模糊效果，本实验选用Ｋ ｈｌｅｒ数据
集［１１］
和自行生成的测试集进行验证实验。Ｋ
ｈｌｅｒ数据集通过记录真实相机的运动轨迹再通过机器人平台进行回放，在运动过程中记录一连串清晰图像形成模糊图像，该模糊由６自由度运动产生，最贴近真实图像模糊。数据集包含四张清晰图，每张图像用１２个模糊核进行处理，最后形成４８张模糊图像。对于带有旋转运动的模糊图像，如果旋转量较小，可以假定全图为均匀变化运动模糊，但是在实际场景中有许多情况不满足此
种简化，因此本文又制作了带有大尺度旋转的图像数据集来测
试本文算法的效果。３ １　评价指标
在进行复原质量评估时选用峰值信噪比和结构相似性（
ｓｔｒｕｃｔｕｒａｌｓｉｍｉｌａｒｉｔｙｉｎｄｅｘ，ＳＳＩＭ）两项指标作为性能衡量的标准。
ＰＳＮＲ表示一个信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值，通常用对数分贝单位来表示。定义如下式：
ＰＳＮＲ＝１０×ｌｏｇ１０ＭＡＸ２Ｉ
ＭＳＥ（１０）
其中：ＭＡＸＩ表示图像的最大像素值，
本文每个采样点均用８位保存，因此ＭＡＸＩ值为２
５５；ＭＳＥ为均方误差。ＳＳＩＭ用于衡量两张图像的相似程度，相比于峰值信噪比，结构相似性在图像品质上更加符合人眼对图像品质的判断。针对图像Ｉ１和Ｉ２定义如下：
ＳＳＩＭ（Ｉ１，Ｉ２）＝［ｌ（Ｉ１，Ｉ２）］α［ｃ（Ｉ１，Ｉ２）］β［ｓ（Ｉ１，Ｉ２
）］γ
（１１）
其中ｌ（Ｉ１，Ｉ２）比较Ｉ１和Ｉ２的亮度，
计算方法如下：ｌ（Ｉ１，Ｉ２）＝２μＩ１μＩ
２＋Ｃ１μ２Ｉ１＋μ２
Ｉ２
＋Ｃ１（１２）
ｃ（Ｉ１，Ｉ２）比较Ｉ１和Ｉ２的对比度，
计算方法如下：ｃ（Ｉ１，Ｉ２）＝２σＩ１σＩ
２＋Ｃ２σ２Ｉ１＋σ２
Ｉ２
＋Ｃ２（１３）
ｓ（Ｉ１，Ｉ２）比较Ｉ１和Ｉ２的结构，
计算方法如下：ｓ（Ｉ１，Ｉ２
）＝σＩ１Ｉ２
＋Ｃ３σＩ１σＩ
２＋Ｃ３（１４）
其中：α、β、γ为调整ｌ（Ｉ１，Ｉ２）、ｃ（Ｉ１，Ｉ２）、ｓ（Ｉ１，Ｉ２
）相对重要性的参数；Ｃ１、Ｃ２、Ｃ３皆为常数用于维持公式的稳定性；μＩ１及μＩ２、σＩ１及σＩ２分别为Ｉ１和Ｉ２的平均值和标准差；σＩ１Ｉ２为Ｉ１和Ｉ２的协方差。
３ ２　Ｋ ｈｌｅｒ数据集算法比较
在Ｋ ｈｌｅｒ数据集上，本文与最先进的去模糊算法进行比
较，表２为不同去模糊算法在Ｋ ｈｌｅｒ数据集上的质量评估结果，图４展示了针对同一模糊图像的不同算法的复原结果。
表２　Ｋ ｈｌｅｒ数据集质量评估结果
Ｔａｂ．２　ＱｕａｌｉｔｙａｓｓｅｓｓｍｅｎｔｒｅｓｕｌｔｓｏｎｔｈｅＫ ｈｌｅｒｄａｔａｓｅｔ
方法ＰＳＮＲ／ｄＢＳＳＩＭｔｉｍｅ／ｓ文献［８］２５．８６０．８００．２２文献［１４］２７．７８０．８２６．３４文献［１５］２２．１３０．６２１４４．２０文献［１６］２６．１６０．７９７．８７本文
２７．９２
０．８０
０．１
２
  文献［１４］虽然假设的是局部均匀模糊模型，但其对噪声
抗性较高，且对大尺度模糊的复原效果较好，因此在该数据集上表现出了较好的效果，但是在图像边缘处局部出现振铃效
应。文献［
１６］提出的是非均匀模糊算法，在数据集上的表现稍逊于文献［１４］，在模糊尺度较大时，图像的恢复效果较
差，伪影较为严重，在边缘处出现多余信息。文献［
１５］为快速去卷积模型，但其鲁棒性较差，图像出现较明显的振铃效应，在
数据集上的表现最差。文献［
８］在结构相似性方面表现出了较好的结果，但是其网络在像素空间未使用ｌ２距离，
因此峰值信噪比的结果较差。分析复原图像出现振铃效应的原因，有学
·０８２·计算机应用研究第３８卷
者认为是由于ＰＳＦ的估计存在误差［１７］
。本文所用的模型假设的是空间变化的模糊模型，对每一像素点给定对应的运动信息，因此所用模型对旋转模糊的复原效果较好，并且本文选用
端对端的方法获取复原图像，避免了估计Ｐ
ＳＦ引入误差。从人眼直观来看，本文方法得到的复原图像边缘信息恢复较好，且没有振铃现象，但是网络未使用结构相似性约束，在亮度上
与原图略有差异，因此在Ｓ
ＳＩＭ指标上未表现到最佳。从峰值信噪比来看，本算法得到的复原图像较当前最先进的算法提升了０
．１４ｄＢ。在运行时间上，文献［１４～１６］均为传统方法，在求取复原图像时需要迭代更新，因此在速度上与深度学习方法有较大差距；本文方法相比于文献［８］所用ＧＡＮ结构更为简单，在实时性上表现更佳。
３ ３　复合运动测试集算法验证
为了验证本算法能有效复原含有大尺度旋转的复合运动模糊，本文通过选取不同场景的清晰图像，添加不同运动尺度的模糊，制作了相对应的测试图像集。在测试集上进行实验，复原结果的客观图像评价指标如表３所示。随着模糊尺度加
大，ＰＳＮＲ与ＳＳＩＭ均略有下降，但对比模糊图像ＰＳＲＮ平均上升５～６ｄＢ，ＳＳＩＭ平均约上升０．１，总体对于复合运动模糊复
原结果较好。图５是测试集上的实验结果，
可得本文的去模糊方法对于场景的依赖性较小，对于不同场景模糊图像，复原图像的纹理和边缘细节复原结果较好，且不存在明显伪影。
表３　模糊图像与复原图像指标比较
Ｔａｂ．３　Ｃｏｍｐａｒｉｓｏｎｏｆｂｌｕｒｒｙｉｍａｇｅｓａｎｄｒｅｓｔｏｒｅｄｉｍａｇｅｉｎｄｉｃａｔｏｒｓ
旋转角度／ｒａｄ平移长度
／ｐｔ模糊图像
ＰＳＮＲ／ｄＢ复原图像
ＰＳＮＲ／ｄＢ模糊图像ＳＳＩＭ复原图像
ＳＳＩＭ０～０．０２０～１０２４．５８３０．４５０．７３０．８５０～０．０２１０～２０２１．９２２７．７１０．６４０．７６０～０．０２２０～３０２０．７４２５．９７０．５８０．６９０．０２～０．０４０～１０２３．３２２９．４６０．７１０．８１０．０２～０．０４１０～２０２１．０７２６．３５０．６００．７７０．０２～０．０４
２０～３０
１９．８８
２４．８３
０．５７
０．７
１
４　结束语
针对现有去模糊方法难以较好地解决复合运动尤其含有
大尺度旋转运动的空间可变模糊问题，本文提出了融合运动信息的卷积网络，复原方法对每一像素点给
定运动约束，以端对端的方式快速实现模糊图像的复原，避免了模糊核估计带来的误差。实验结果表明，本文方法复原图像评价指标较高，纹理清晰，较好地抑制了振铃效应的产生，可以有效地恢复出高质量的清晰图像。参考文献：
［１］ＪｏｓｈｉＮ，ＫａｎｇＳＢ，ＺｉｔｎｉｃｋＣＬ，ｅｔａｌ．Ｉｍａｇｅｄｅｂｌｕｒｒｉｎｇｕｓｉｎｇｉｎｅｒ
ｔｉａｌｍｅａｓｕｒｅｍｅｎｔｓｅｎｓｏｒｓ［Ｊ］．ＡＣＭＴｒａｎｓｏｎＧｒａｐｈｉｃｓ，２０１０，２９
（４）：ａｒｔｉｃｌｅＮｏ．３０．
［２］余义斌，彭念，甘俊英．凹凸范数比值正则化的快速图像盲去模糊
［Ｊ］．电子学报，２０１６，４４（５）：１１６８ １１７３．（ＹｕＹｉｂｉｎ，ＰｅｎｇＮｉａｎ，ＧａｎＪｕｎｙｉｎｇ．Ｆａｓｔｂｌｉｎｄｉｍａｇｅｄｅｂｌｕｒｒｉｎｇｕｓｉｎｇｒａｔｉｏｏｆｃｏｎｃａｖｅｎｏｒｍ
ｃｏｎｖｅｘｎｏｒｍｒｅｇｕｌａｒｉｚａｔｉｏｎ
［Ｊ］．ＡｃｔａＥｌｅｃｔｒｏｎｉｃａＳｉｎｉｃａ，２０１６，４４（５）：１１６８ １１７３．）［
３］ＫｒｉｓｈｎａｎＤ，ＦｅｒｇｕｓＲ．Ｆａｓｔｉｍａｇｅｄｅｃｏｎｖｏｌｕｔｉｏｎｕｓｉｎｇｈｙｐｅｒ Ｌａｐｌａ ｃｉａｎｐｒｉｏｒｓ［Ｃ］／／ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．２００９：１０３３ １０４１．［４］ＴａｎｇＳｈｕ，ＺｈｅｎｇＷａｎｐｅｎｇ，ＸｉｅＸｉａｎｚｈｏｎｇ，ｅｔａｌ．Ｍｕｌｔｉ ｒｅｇｕｌａｒｉｚａ
ｔｉｏｎ ｃｏｎｓｔｒａｉｎｅｄｂｌｕｒｋｅｒｎｅｌｅｓｔｉｍａｔｉｏｎｍｅｔｈｏｄｆｏｒｂｌｉｎｄｍｏｔｉｏｎｄｅ ｂｌｕｒｒｉｎｇ［Ｊ］．ＩＥＥＥＡｃｃｅｓｓ，２０１９，７：５２９６ ５３１１．［５］ＤｅｓｈｐａｎｄｅＡＭ，ＰａｔｎａｉｋＳ．ＯｎｉｍｐｒｏｖｉｎｇａｃｃｕｒａｃｙｏｆＰＳＦｅｓｔｉｍａｔｉｏｎ
ｉｎｓｐｅｃｔｒａｌａｎｄｃｅｐｓｔｒｕｍｄｏｍａｉｎｗｉｔｈｍｏｒｐｈｏｌｏｇｉｃａｌｆｉｌｔｅｒｉｎｇ
［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ１ｓｔＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＥｍｅｒｇｉｎｇＴｅｃｈｎｏｌｏｇｙＴｒｅｎｄｓｉｎＥｌｅｃｔｒｏｎｉｃｓ，Ｃｏｍｍｕｎｉｃａｔ
ｉｏｎ＆Ｎｅｔｗｏｒｋｉｎｇ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１２：１ ６．［６］ＸｕＸｉａｎｇｙｕ，ＰａｎＪｉｎｓｈａｎ，ＺｈａｎｇＹｕｊｉ，ｅｔａｌ．Ｍｏｔｉｏｎｂｌｕｒｋｅｒｎｅｌｅｓ
ｔｉｍａｔｉｏｎｖｉａｄｅｅｐｌｅａｒｎｉｎｇ［Ｊ］．ＩＥＥＥＴｒａｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，２０１７，２７（１）：１９４ ２０５．［７］ＳｕｎＪｉａｎ，ＷｅｎｆｅｉＣａｏ，ＺｏｎｇｂｅｎＸｕ，ｅｔａｌ．Ｌｅａｒｎｉｎｇａｃｏｎｖｏｌｕｔｉｏｎａｌ
ｎｅｕｒａｌｎｅｔｗｏｒｋｆｏｒｎｏｎ ｕｎｉｆｏｒｍｍｏｔｉｏｎｂｌｕｒｒｅｍｏｖａｌ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａ
ｔａｗａｙ
，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１５：７６９ ７７７．［８］ＫｕｐｙｎＯ，ＢｕｄｚａｎＶ，ＭｙｋｈａｉｌｙｃｈＭ，ｅｔａｌ．ＤｅｂｌｕｒＧＡＮ：ｂｌｉｎｄｍｏ
ｔｉｏｎｄｅｂｌｕｒｒｉｎｇｕｓｉｎｇｃｏｎｄｉｔｉｏｎａｌａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ
ａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａ ｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１８：８１８３ ８１９２．［９］ＭｕｓｔａｎｉｅｍｉＪ，ＫａｎｎａｌａＪ，Ｓ ｒｋｋ Ｓ，ｅｔａｌ．Ｇｙｒｏｓｃｏｐｅ ａｉｄｅｄｍｏｔｉｏｎ
ｄｅｂｌｕｒｒｉｎｇｗｉｔｈｄｅｅｐｎｅｔｗｏｒｋｓ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＷｉｎｔｅｒＣｏｎｆｅｒｅｎｃｅｏｎＡｐｐｌｉｃａｔｉｏｎｓｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１９：１９１４ １９２２．［１０］王司雨，李良荣，顾平，等．一种混合的单图像去运动模糊方法
［Ｊ］．电子技术应用，２０１９，４５（９）：８１ ８４．（ＷａｎｇＳｉｙｕ，ＬｉＬｉａｎｇ ｒｏｎｇ，ＧｕＰｉｎｇ，ｅｔａｌ．Ａｍｉｘｅｄｓｉｎｇｌｅｉｍａｇｅｍｏｔｉｏｎｄｅｂｌｕｒｍｅｔｈｏｄ［Ｊ］．ＣｏｍｐｕｔｅｒＴｅｃｈｎｏｌｏｇｙａｎｄＩｔｓＡｐｐｌｉｃａｔｉｏｎｓ，２０１９，４５（９）：８１ ８４．）［
１１］吴梦婷，李伟红，龚卫国．双框架卷积神经网络用于运动模糊图像盲复原［Ｊ］．计算机辅助设计与图形学学报，２０１８，３０（１２）：２３２７
２３３４．（ＷｕＭｅｎｇｔｉｎｇ，ＬｉＷｅｉｈｏｎｇ，ＧｏｎｇＷｅｉｇｕｏ．Ｔｗｏ ｆｒａｍｅｃｏｎｖｏ ｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｆｏｒｂｌｉｎｄｍｏｔｉｏｎｉｍａｇ
ｅｄｅｂｌｕｒｒｉｎｇ［Ｊ］．ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒ ＡｉｄｅｄＤｅｓｉｇｎａｎｄＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ，２０１８，３０（１２）：２３２７ ２３３４．）［１２］ＲｏｎｎｅｂｅｒｇｅｒＯ，ＦｉｓｃｈｅｒＰ，ＢｒｏｘＴ．Ｕ ｎｅｔ：ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓｆｏｒ
ｂｉｏｍｅｄｉｃａｌｉｍａｇｅｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］／／ＰｒｏｃｏｆＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭｅｄｉｃａｌＩｍａｇｅＣｏｍｐｕｔｉｎｇａｎｄＣｏｍｐｕｔｅｒ ＡｓｓｉｓｔｅｄＩｎｔｅｒｖｅｎｔｉｏｎ．Ｃｈａｍ：Ｓｐｒｉｎｇｅｒ，２０１５：２３４ ２４１．［１３］Ｋ ｈｌｅｒＲ，ＨｉｒｓｃｈＭ，ＭｏｈｌｅｒＢ，ｅｔａｌ．Ｒｅｃｏｒｄｉｎｇａｎｄｐｌａｙｂａｃｋｏｆ
ｃａｍｅｒａｓｈａｋｅ：ｂｅｎｃｈｍａｒｋｉｎｇｂｌｉｎｄｄｅｃｏｎｖｏｌｕｔｉｏｎｗｉｔｈａｒｅａｌ ｗｏｒｌｄｄａｔａｂａｓｅ［Ｃ］／／ＰｒｏｃｏｆＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ，２０１２：２７ ４０．［１４］ＸｕＬｉ，ＺｈｅｎｇＳｈｉｃｈｅｎｇ，ＪｉａＪｉａｙａ．Ｕｎｎａｔｕｒａｌｌ０ｓ
ｐａｒｓｅｒｅｐｒｅｓｅｎｔａｔｉｏｎｆｏｒｎａｔｕｒａｌｉｍａｇｅｄｅｂｌｕｒｒｉｎｇ［
Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍ ｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１３：１１０７ １１１４．［１５］ＨｉｒｓｃｈＭ，ＳｃｈｕｌｅｒＣＪ，ＨａｒｍｅｌｉｎｇＳ，ｅｔａｌ．Ｆａｓｔｒｅｍｏｖａｌｏｆｎｏｎ ｕｎｉ
ｆｏｒｍｃａｍｅｒａｓｈａｋｅ［Ｃ］／／ＰｒｏｃｏｆＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕ ｔｅｒＶｉｓｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１１：４６３ ４７０．［１６］ＷｈｙｔｅＯ，ＳｉｖｉｃＪ，ＺｉｓｓｅｒｍａｎＡ．Ｄｅｂｌｕｒｒｉｎｇｓｈａｋｅｎａｎｄｐａｒｔｉａｌｌｙｓａ
ｔｕｒａｔｅｄｉｍａｇｅｓ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２０１４，１１０（２）：１８５ ２０１．［１７］ＳｈａｎＱｉ，ＪｉａＪｉａｙａ，ＡｇａｒｗａｌａＡ．Ｈｉｇｈ ｑｕａｌｉｔｙｍｏｔｉｏｎｄｅｂｌｕｒｒｉｎｇｆｒｏｍ
ａｓｉｎｇｌｅｉｍａｇｅ［Ｊ］．ＡＣＭＴｒａｎｓｏｎＧｒａｐｈｉｃｓ，２００８，２７（３）：ａｒｔｉｃｌｅＮｏ．７３．［１８］ＫｉｎｇｍａＤＰ，ＢａＪ．Ａｄａｍ：ａｍｅｔｈｏｄｆｏｒｓｔｏｃｈａｓｔｉｃｏｐｔｉｍｉｚａｔｉｏｎ［ＥＢ／
ＯＬ
］．（２０１７ ０１ ３０）．ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１４１２．６９８０．·１８２·第１期董星煜，等：融合运动信息的图像运动模糊去除算法  　

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。