基于卷积神经网络的正则化方法
吕国豪;罗四维;黄雅平;蒋欣兰
【摘 要】正则化方法是逆问题求解中经常使用的方法.准确的正则化模型在逆问题求解中具有重要作用.对于不同类型的图像和图像的不同区域,正则化方法的能量约束形式应当不同,但传统的L1,L2正则化方法均基于单一先验假设,对所有图像使用同一能量约束形式.针对传统正则化模型中单一先验假设的缺陷,提出了基于卷积神经网络的正则化方法,并将其应用于图像复原问题.该方法的创新之处在于将图像复原看作一个分类问题,利用卷积神经网络对图像子块的特征进行提取和分类,然后针对不同特征区域采用不同的先验形式进行正则化约束,使正则化方法不再局限于单一的先验假设.实验表明基于卷积神经网络的正则化方法的图像复原结果优于传统的单一先验假设模型.
【期刊名称】《计算机研究与发展》
【年(卷),期】2014(051)009
【总页数】10页(P1891-1900)
【关键词】L1范数约束;L2范数约束;正则化方法;卷积神经网络;图像复原
【作 者】吕国豪;罗四维;黄雅平;蒋欣兰
【作者单位】北京交通大学交通数据分析与挖掘北京市重点实验室 北京 100044;北京交通大学交通数据分析与挖掘北京市重点实验室 北京 100044;北京交通大学交通数据分析与挖掘北京市重点实验室 北京 100044;北京交通大学交通数据分析与挖掘北京市重点实验室 北京 100044
【正文语种】中 文
【中图分类】TP18
由于逆问题的病态特性，对逆问题的直接求解一般被认为是不适定的，正则化方法是处理逆问题中经常使用的一种方法．在图像复原中，由于图像在成像、传输等过程中都存在着退化（模糊、噪声等），因此，如何从接收到的退化图像中尽可能恢复出原始的清晰图像具有重要的实用价值和研究意义．
对于图像复原，即使是最简单的图像退化模型，其复原过程仍然是一个病态问题．一种解决办法是通过对解空间加以约束，寻求满足一定先验条件的适定解，这一过程称为正则化方法．通过加入约束条件以实现稳定求解的方法最早是由Ivanov［1］在1962年提出的，其基本思想是约束复原图像的能量．同年Phillips［2］提出了类似的方法以及最平滑解的模型．1963年，Tikhonov［3］提出了求解病态问题的理论并应用于图像复原，即正则化方法，其基本思想是将对复原图像的能量进行约束改为对复原图像中高频成分的能量进行约束，例如，可以选用最简单的一阶高通滤波器——梯度算子（Tikhonov方法），也可使用多阶高通滤波器的滤波结果的组合（Phillips方法）［2］．此后，人们不断对正则化方法进行改进，以提高复原图像的质量，例如，自适应正则化方法［4－5］、使  用 L1 范  数 约  束  的  方  法 TV（total variation）模型［6］、TV 模型的改进算法［7］、进一步的超稀疏约束（采用0．5～0．8范数）［8］、统计特性的约束［9－11］、L1 范数和 L2 范数的组合［12］等等．此外，一些用于图像复原的滤波器，例如，Wiener滤波器［13］、Tikhonov滤波器［3］等，可以看作是不同正则化方法所对应的能量泛函优化问题的解析解．
上述正则化方法对整幅图像往往采用同一种能量泛函形式．在图1中，图1（a）采用L2范数得到较好的复原效果（即图1（d）优于图1（c）），而图1（e）采用L2范数得到结果却较差
（即图1（g）优于图1（h）），这说明能量泛函的合理形式因图像类型的不同而不同．进一步考虑，对于一个复杂图像中的不同部分也需要使用不同的能量泛函形式，以取得理想的结果．
基于这种想法，本文希望通过对图像内部不同子块的特征进行提取，进而利用提取的特征判断图像子块为纹理区域或平坦区域．针对不同特征区域采用不同的先验形式进行正则化约束，正则化方法不再局限于单一的先验假设．然而，目前广泛使用的特征提取算法（例如 Harris角点检测［14］、SIFT特征［15］）很难完成上述工作，这是因为：
Fig．1 Results of two type of images using different norm constraints．图1 2类图像使用不同能量泛函形式的复原结果
1）上述特征提取方法所指定的特征点是人为按照一定的规则指定的，所以在图像子块中是否存在满足要求的特征点具有不确定性；
2）即便在图像子块内存在满足要求的特征点，但这些特征点是否能够准确地反映出图像纹理区域和平坦区域的区别还存在不确定性，即根据人为指定的规则提取的特征点是否具有区分图像纹理区域和平坦区域的能力还需要进一步研究．
近年来卷积神经网络（convolutional neural network，CNN）在计算机视觉、图像处理领域得到了广泛的应用．卷积神经网络模型是一种多层神经网络，它起源于共享权值网络（sharing weights neural network）［16－17］，该模型由于最初主要应用在语音识别中，因此也称时延神经网络（time delay neural networks，TDNNs）［18］．在图像分析方面，由于时序关系不明显，因此称共享权值网络更为确切．卷积神经网络由两种类型层次组成：卷积层和子采样层，主要特点是位于同一层的所有单元共享相同的权值，检测的特征也相同．这样，这些检测到的特征送入高层时就能够实现平移不变性的特征检测，同时，通过子采样策略保证对畸变不敏感．
卷积神经网络已经成功地应用在人脸检测［19－20］、手写体识别［16］、语音检测［21］、文本分析［22］、视频分析［23］、车牌识别［24］等领域．另外，Lecun等人［25］加入稀疏编码约束改进模型，在多个视觉任务中取得了很好的结果．
基于上述讨论，本文提出了基于卷积神经网络的正则化方法，其基本思想是更改传统正则化方法中对于图像中各个部分服从统一分布的简单假设，寻出依据图像局部先验的更精确的描述方法．
1 图像模糊与复原
图像退化的因素有很多，最简单的退化模型（即线性移不变模型）可以描述为一个卷积过程，即
其中，I表示原始的清晰图像；g表示退化后的图像；卷积核k也称为点扩散函数，描述图像的模糊过程；ε（x，y）表示噪声．
对于式（1）描述的最简单的退化模型（假设ε（x，y）＝ε为独立同分布的高斯加性噪声），图像复原（即由g求得I或I的近似解）的基本思想是寻一个复原图像，使得经过退化后最接近I，即
在式（2）中采用了L2范数的平方（即常用的能量定义方式）来度量经过退化后与I的接近程度．
但是，如果存在函数I0经过卷积核k作用后变为  （即（k＊I）（x，）＝0），那么与＋c·
I经过0 0y
0退化后与I的接近程度相同，即式（2）无法对I－与＋c·I进行区分，即解的不唯一，从而难以得到理0想的图像复原结果．为了解决解不唯一的问题，需要对解加以（先验的）约束，从而对与＋c·I0进行区分，即正则化方法．例如，从式（2）的解空间中除去I0所在空间，然后进行求解，即
其中，ψ表示某一函数空间，即人们根据先验知识对求解结果进行约束，从而使得复原图像I－具有某些特殊的性质，例如I－中不可以含有剧烈的大幅度的震荡等．
式（3）是一个有约束（I－
∈ψ）的优化问题，在求解过程中，通过Lagrange乘子法，将其转化为一个无约束的优化问题，即
其中，λ称为正则化参数，其作用是在解的先验约束和解经过退化后与模糊图像的相似程度之间寻求一种平衡．对于式（4）这样的无约束的优化问题，一般采用L2范数约束和L1范数约束两种方法，也就是本文所称的传统正则化方法．
1．1 L2范数约束
L2范数约束下的正则化方法是基于核空间的元素（k是低通滤波器）以高频分量的假设，将对复原图像的能量进行约束改为对复原图像中高频成分的能量进行约束，即
式（5）可以转化为求解极小化能量泛函的变分问题，进一步利用变分法求解，得到相应的Eular－Larange方程为
其中，表示散度算子．L2范数约束模型是一种各向同性的扩散模型，且其扩散系数均为1．这种扩散模型没有反映出沿边缘方向和梯度方向扩散的差别，因此在图像复原的同时也使得图像的边缘发生了模糊，但也正是由于L2范数约束的扩散系数相同，对于图像内部的平坦区域往往能取得较好的复原效果．
1．2 L1范数约束
采用L1范数约束的形式对图像进行复原即TV 模型［7］：
L1范数约束对复原图像中高频成分能量的约束采用L1范数的形式．式（7）也可以转化为求解极小化能量泛函的变分问题，进一步利用变分法求解，得到相应的Eular－Larange方程为
L范数约束仅沿图像梯度
的正交方向扩1散，而朝梯度方向无扩散．对于图像中的每一个像素点L1范数约束始终存在一个边缘方向和一个梯度方向，这在图像的纹理、边缘区域可以取得很好的复原结果，但在图像的平坦区域得到的边缘方向并不真实存在，此时仍沿边缘方向扩散会导致在平坦区域的噪声抑制不充分，甚至出现虚假边缘，产生阶梯效应．
2 卷积神经网络正则化方法
图像复原正则化的本质是人们对于图像性质的一种先验认识．各种不同正则化方法的提出可以看作人们不断地修改或提高先验认识，从而使得其更加逼近图像真实特性的过程．为了寻求对图像先验的更好描述，提高图像复原结果，对于传统的正则化方法，可以从以下2个方面进一步分析和思考：
1）优化传统正则化方法中高通滤波器，更好地区分复原图像中的纹理区域和平坦区域；
2）改进对传统正则化方法中能量泛函形式，使得由该能量泛函形式约束形成的子空间和复原图像所在的子空间尽可能匹配．
正则化损失函数已有许多文献对于滤波器的设计进行了研究，提出了多种基于统计或学习的改进滤波器［7
－12］．本文主要针对2）进行研究，将传统的图像复原问题转化为一个分类问题，利用卷积神经网络对图像的不同子块的特征进行提取和分类，进而针对不同特征区域采用不同的先验形式进行正则化约束．本文采用梯度算子作为滤波器进行分析和实验，理论和实验结果可以方便地推广到其他高阶或复杂的滤波器．

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。