小型微型计算机系统Journal of Chinese Computer Systems 2020年12月第12期 Vol.41 N o. 12 2020
一种梯度正则化稀疏表示的图像超分辨率重建方法
黄淑英，胡晓燕，吴昕，吴佳俊，许亚婷
(江西财经大学软件与物联网工程学院，南昌330032)
E-mail ：************************
摘要：近年来，稀疏表示的方法在图像超分辨率（Super-r e s o l u t i o n,S R)重建方面取得了较好的结果.但是，由于图像在获取的 过程中受外界因素的影响，获取到的低分辨率（L o w Resolution,L R)图像细节往往损失严重，在图像S R重建中L R图像自身可 利用的先验信息有限.因此，传统的稀疏表示不能很好地恢复出图像的高频细节.针对这一不足，本文基于稀疏表示的SR重建 思想，采用邻域回归的方法从外部样例中学习图像的梯度先验信息来弥补图像自身先验不足的缺点，提出一种梯度正则化稀疏 表示的图像S R重建方法.该方法通过构建一种图像梯度正则化项来引导图像的细节重建，提高重建的高分辨率（High Resolu­tion,H R)图像的质量. 实验结果表明，本文提出的 SR 重建算法重建结果较好，能恢复出更清晰的边缘信息，在主观和客观上重 建结果都优于大多数的方法.
关键词：图像超分辨率；稀疏表示；梯度正则化；邻域回归
中图分类号：TP391 文献标识码：A文章编号：1000-1220(2020) 12-258847
Image Super-resolution Reconstruction Based on Gradient Regularized Sparse Representation
HUANG Shu-ying,HU Xiao-yan,WU Xin.WU Jia-jun,XU Ya-ting
(School of Software & Internet of Things Engineering,Jiangxi University of Finance and Economics,Nanchang 330032 .China)
Abstract： In recent years, the sparse representation method has achieved good results in image super-resolution ( SR) reconstruction. However, due to the influence of external factors in the process of image acquisition, the low resolution (LR) image details obtained are often seriously lost,and the prior information available to LR image itself is limited in image SR reconstruction. Therefore,the tradi­tional sparse representation cannot recover the high-frequency details of the image very well. To solve this problem,this paper uses the neighborhood regression method to learn the gradient prior information of image from external samples to make up for the shortcom­ings of the imaged own prior,and proposes an image SR reconstruction method based on the sparse representation of gradient regulari­zation. In this method,an image gradient regularization term is constructed to guide the detail reconstruction of the image and improve the quality of HR image reconstruction. Experiment
al results show that the SR reconstruction algorithm proposed in this paper has bet­ter reconstruction results and can recover more clear edge information. Meanwhile, both the subjective and objective reconstruction re­sults of the proposed method are superior to most SR methods.
Key words： image super-resolution ； sparse representation; gradient regularization ； neighborhood regression
i引言
单幅图像S R重建是指从一幅输人的L R图像恢复出H R 图像的技术[1].S R重建技术是当前计算机视觉和图像处理领 域的研究热点，许多S R重建算法相继被提出，主要有基于插 值的方法、基于重建的方法、基于学习的方法.基于插值的图 像S R重建方法[24]简单且易实现，其思想是重建图像中待补 充的像素点利用周围的像素点加权获得，加权像素点距离补 充像素点的距离越近加权的比重就越大，但重建出的图像边 缘往往比较模糊.基于重建的图像S R重建方法[5~根据图像观测模型进行建模来估计H R图像，并结合先验知识来约束 重建图像，以得到更多的图像细节信息，主要方法包括：凸集 投影法[71、迭代反投影法[8]和最大后验概率法[9]等，在图像先验信息不足的情况下基于重建的方法得到的重建结果不 理想.
基于学习的S R重建方法1~是目前比较流行的S R重建 技术，其主要思想是利用图像训练集来学习L R图像块到H R 图像块之间的映射关系.该思想最初是由Freeman和Paz-t〇r[in等人提出.基于学习的S R方法
优势是充分利用了图像 自身的先验知识，能得到较准确的重建结果.C h a n g等人[121提出了局部线性嵌入（Local Linear Embedding,L L E)的方法，认为H R/L R图像块在两个不同的特征空间中具有相似的局 部几何形状流形.该算法应用训练集重构H R图像，通过重叠 目标H R图像中的块，实现了块之间的局部兼容性，增加了平 滑度约束.2010年Y a n g等人[13]运用压缩感知（Compressive Sensing,C S)的思想提出了基于稀疏表示的S R重建算法，该
收稿日期:2020>06-23收修改稿日期:2020^07-23基金项目：国家自然科学基金项目（61862030,61662026,62072218)资助；江西省自然科 学基金项目（20丨8280822006,20丨8丨8八8202010,20192六0820002,20192六081^21008)资助.作者简介：黄淑英（通讯作者），女，1977年生，博士，副教授，研究方向为图像处理、机器学习；胡晓燕，女，1995年生，硕士研究生，研究方向为图像处理；吴昕，女，1996年生，硕士研究生，研究 方向为图像处理；吴佳俊，男，19%年生，硕士研究生，研究方向为图像处理；许亚婷，女，1995年生，硕士研究生，研究方向为图像处理.
黄淑英等：一种梯度正则化稀疏表示的图像超分辨率重建方法2589 12期
算法用图像对联合训练两个过完备字典，将L R图像块用L R 字典表示的系数与H R图像块用H R字典表示系数来重建图 像.该算法实现了对图像块更紧凑的表示，从大量L R图像学 习先验知识，图像重建效果较好，但学习过完备字典需要耗费 大量时间.Zeyde等人[M]在Y a n g基础上改进算法，用K-S V D 算法
和正交匹配追踪算法（Orthogonal Matching Pu rsuit,〇M P)进行字典训练，缩短了运行时间且得到了更好的重建 结果.2011年,D o n g等人[15)提出了自适应稀疏域选择和自适 应正则化的图像S R算法，将样例图像块学习自回归模型引 人到算法中规范化图像局部结构，提高重建图像的质量.后来 D o n g等人[16]在稀疏模型中考虑到稀疏编码对噪声的影响提 出了非局部集中稀疏表示（Non-locally C e n t r a l i z e d Sparse Representation，N C S R)方法，加人非局部自相似性约束来更精 确地估计稀疏编码系数，在图像去噪、去模糊、S R重建方面均 表现出.近年来，由于深度学习具有强大的学习能力，基于 深度学习的方法[17’18]也越来越被重视，并且有一系列方法被 提出.D o n g等人[|9：首次将3层卷积神经网络（Conv ol ut io na l Neural Network,C N N)引人图像S R中，效果上取得了显著的 提升.虽然基于深度学习的方法已取得很好的重建结果，但是 需要大量的数据训练，目前真实场景的训练数据集很难获得，数据集中的L R大多是通过双3次插值降采样等操作模拟获 得，因而对处理真实场景的L R图像效果并不好.因此，本文 将重点针对稀疏表示的S R重建方法进行研究.
虽然稀疏表示的方法取得了较好的效果，但还有许多值 得改进的地方.由于L R图像受到噪声和模糊的影响，重建算 法往往对噪声不够鲁棒，在恢复图像质量去除噪声的同时也 丢失了大量图像的高频信息.针对稀疏表示的S R重建存在 的问题，本文在非局部稀疏表示的基础上，结合邻域回归的方 法，提出一种图像梯度信息正则化来增强重建图像的纹理细 节.本文也通过大量的实验验证了所提出的梯度正则化稀疏 表示的S R重建方法对含有噪声的L R图像重建能获得很好 的重建结果.
,
$4]表本为：
x= <l>a(2)其中,a= 力]为稀疏编码系数，其特点是大部分元素都为零，只有较少的非零元素.因此，稀疏系数求解 又可以用优化问题[2〇]表示为：
a= argmin ||a ||〇s.t.x^^>a(3)
a
其中，||a I L表示系数的范数.为了解决优化问题，上述最小化问题可以转化为近似范数最小化，要求是
a有足够少的非零元素，可表示为：
a= argmin ||a || ,s.t.(4)
a
为了求解，可以把上式中约束项^ =<1^转换成惩罚项得 到下式：
5 = argmin ||<Pa-x|| 2 + A ||a, ||(5)
其中,A是正则参数，用来平衡系数稀疏度和图像重建 误差之间的权重.
2.3基于稀疏表示的图像S R重建
图像S R重建是图像降质的逆过程，利用所获得的退化图像y，恢复出H R图像;c.稀疏表示在图像复原领域表现优 异，图像的稀疏先验信息可以有效提高图像重建质量，恢复图 像可以用字典原子的线性组合来逼近.假设L R图像y和H R 图像;c在过完备字典上的稀疏编码系数非常接近，首先需要 求得L R图像在字典$上的稀疏系数+，再根据;c= 就可以估计出H R图像;c.根据上节信号稀疏表示理论，图像>«在字典<5上的稀疏系数a v求解为：
S y= argmin\\\y- H<bay ||2 + A||a, || , |(6)学习到一个好的字典，不仅能获取图像中所包含的信息，而且使得图像在该字典上的表达更稀疏，进而提高S R重建 的质量，这也是图像稀疏表示的目的.从式（6)中可以看出，在求解系数+时，构建合适的字典是重建图像的关键，同时 构建合适的正则化项可以提高稀疏系数的求解精度.
3提出的图像SR重建方法
2图像S R重建相关理论
2.1图像降质模型
在图像获取的过程中，通常会受到图像采集设备的影响，或者恶劣的天气环境、抖动、光照等外界因素
的影响，所获得 的图像大多分辨率比较低、质量比较差.在图像S R领域，建 立符合实际成像的退化模型十分重要.图像的降质过程模型[6]如下：
y= Hx+ n(1)其中，y是获取的L R图像，是理想的H R图像,//表示 下采样和模糊矩阵代表加性噪声.图像的S R重建与上述 图像降质过程相反，包括提升L R图像的分辨率、去噪、去模 糊等操作.
2.2信号稀疏表示理论
对于给定的正交字典或过完备字典，信号稀疏表示理论 是指用该字典中尽可能少的原子来表示信号，并且总是可以 求出一组大多数元素为零的稀疏解，其中字典生成和信号稀 疏分解是该理论的关键.信号x用一组过完备字典$ =3.1重建模型
传统的稀疏表示S R重建方法对含有噪声的L R图像进 行S R重建时，为了减少噪声对重建结果的影响，通常会损失 部分的高频信息，从而导致重建的H R图像出现模糊现象和 斑块效应.本文在图像自适应稀疏表示的基础上，结合邻域回 归[21]知识，通过构建一个图像梯度正则化项，提出一种基于稀疏表示的图像S R算法.该方法在减少噪声影响的同时，可以增强重建图像细节.本文构建的S R重建模型表示如下：
r I I I I2+A,|| a,I I, + 1
a = argmin^ , ^(7)
U2I I G(x)-V x I I2J 其中，用;f表示重建H R图像的初始估计，A，和>\2是正 则化参数，第1项是图像重建的保真项，第2项是稀疏非局部 正则化项，第3项为本文提出的梯度正则化项,▽表示提取梯度操作,G(2)是用邻域回归的方法估算的重建H R图像的梯度_
其中，稀疏非局部正则化项是利用图像的非局部先验信 息来减少稀疏系数中噪声的影响，提高重建图像的质量.这里
2590小型微型计算机系统2020 年
用块提取矩阵尽来获得2的图像块，毛=/?,j e(f= l,2,…,A〇表示第个大小为的图像块.％是图像块元在字典$上的表示系数，A是系数的非局部均值[16)，求出每个图像 块A的非局部自相似块，对其稀疏系数加权平均得到/?,，稀 疏编码噪声可以用A约束a，消除.其中A表示如下：
A= Y,,W'i a'<(8)其中W!是权重系数，a丨是第/个与A相似的图像块¥
的编码系数，W!.可以通过下式获得：
M=4exP(H2!丨丨冰（9)其中W是归一化因子是用来控制平滑程度的全局参数.
稀疏非局部正则项虽然在图像重建过程中能够减少噪声 的影响，同样也会导致图像一部分纹理信息的丢失.针对此问 题，本文在此基础上通过构建一种基于邻域回归的梯度正则 项来增强重建图像的细节信息.下面将对图像S R重建中字 典学习、图像块稀疏域的选择及邻域回归正则项做详细地描述.
3.2字典学习
学习一个好的字典可以提升图像重建结果，因为同一个 图像块在不同字典上的稀疏性是有差异的.本文通过图像自 身来学习字典，首先，将图像裁剪为W个大小的图像块，用& = U，巧，…，h]表示.然后，为了得到高质量的样 本，本文通过设置方差阈值来筛选出边缘纹理较多的图像块，去除纹理较平滑图像块，筛选后的图像块可表示为& = [4, 4].训练样本是& = …,<]，利用高通滤波得正则化与稀疏
到图像块的高频部分作为聚类特征，这样不仅能提高聚类的 准确性而且也能有效地保持图像边缘信息.最后，在此基础上 应用K-M e a n s聚类方法将&聚为&类，来学习 个子字典 l〇tt，公式表示如下：
=argmin||| 5t - <t4a t ||2f+ A||a* || ,|(10)
^k，a k
其中，&表示聚类后的子数据集，叫为&在％上的系数矩阵.
为了减小字典学习的计算量，降低复杂度，用主成分分析 (P r i n c i p a l Components Analysis，P C A)算法对数据降维，并计 算每类数据集的主成分来构建字典.数据集&的协方差矩阵 表示为，应用P C A方法求解得到正交变换矩阵P t，令子数 据集&的字典为匕，则稀疏系数为叫=/^5».
3.3自适应稀疏域选择
为了到表示图像块最好的稀疏表示，提高图像重建质 量，我们通过判断目标图像块和字典类中心的距离自适应选 择稀疏域，到合适的字典，得到精确的图像块估计.用K-M e a n s算法，确定聚类中心为叫，对每个图像块2，计算与叫的距离，依据距离最小原则自适应选择一个子字典与&的距离可由下面公式获得：
k,= argmin||x i-ti k\\2(11)其中太表示第个图像块与第A：个聚类中心的距离.由于图像块A含有噪声，通常使得距离计算结果不够准确.因此，在叫子空间来确定子字典，令"=[M,，叱，…叫]，应用奇异值分解（Si ng u l a r Value Decomposition,S V D)算法求出
的协方差矩阵.令也为前几个最显著的特征向量组成的投影 矩阵，可以在子空间A来计算距离，则距离计算为：
< =argjn in ||丨|2(12)图像块A利用稀疏表示可以近似为尤=重建图像 X可表示为：
X= 4>〇:= (1 21 (^^«.)(13)
«=1«=•
重建图像S通过对所有的重建图像块S,.求平均来得到.〇代表所有子字典的集合，a表示所有系数％的集合.整 个S R重建过程中利用公式（12)迭代更新稀疏域的选择，并 通过X= 来更新jc的估计.
3.4邻域回归梯度正则项的构建
由于重建图像2本身含有噪声，边缘比较模糊，其自身 可利用的先验信息非常有限.因此，为了更好地恢复和增强重 建图像的纹理细节，本文基于邻域回归的思想在外部干净的 H R图像梯度样本库中学习与图像S梯度信息相似的结构来 重构高频细节，构建一种图像梯度正则项，利用重构的图像梯 度来引导重建H R图像的梯度，以增强重建图像的纹理细节.
构建图像梯度正则项的具体过程如下所述：首先，建立外 部图像的梯度样本库，利用一阶梯度提取算子分别提取外部 样例H R图像和L R图像的水平、垂直方向梯度来构建数据 集；然后，利用最近邻检索（K-Nearest Neighbor,K-N N)方法 在图像梯度数据集中查结构相似的梯度块；接着，用邻域回 归的方法来拟合与重建X结构相似的高频信息，获得拟合系 数，并利用对应的H R图像梯度块来拟合与重建3f结构相似 的清晰的梯度信息；最后，利用拟合的清晰的梯度信息来构建 图像梯度正则项.下面将对具体操作进行描述.
在重建高频信息过程中，在L R空间通过K-N N方法得 到与相似的梯度邻域块在此基础上，利用邻域回归方
法对重建梯度信息进行拟合，这一过程可以用最小二乘回归 方法来求解，因为系数的A范数进行正则化通常更耗时、效 率更低，我们使用h范数正则化的最小二乘回归计算系数，可以表示为：
min||V S-N s a s ||^+A3||a g ||^(14)其中▽表示^度提取操作，包含评估图像的水平梯度 &(幻和垂直梯度A(2)，A3是正则化参数,a s是利用梯度邻 域块乂表示的拟合系数，对公式（14)求解得到：
ag = {N]Ng+\,I)-'NT g S/x(15)其中/是单位矩阵，由上式可得到在L R梯度数据集中评 估图像3?梯度的加权系数根据评估图像$与H R图像中 的小图像块具有相似的局部几何特征，利用相同的加权系数 %来加权对应的H R特征空间的邻域来重建评估图像清晰 的梯度信息G(2)，其公式表达如下：
G(x) =NG ag(16)其中，是与\对应的H R空间的梯度邻域.
针对图像重建过程中出现的边缘纹理模糊的现象，本文 利用上述邻域回归的方法来对评估图像进行清晰纹理细节的 重建，来修正重建图像的梯度信息，即在重建过程中让重建图 像的梯度信息更接近评估的纹理信息.其能量函数定义如下：
黄淑英等：一种梯度正则化稀疏表示的图像超分辨率重建方法2591 12期
min ||V X-G(x) || 2(17)该能量函数在公式（7)中作为S R重建模型的一个正 则项，在图像重建过程中用来增强估计H R图像的纹理细节.
3.5 S R模型的求解
本节将详细介绍公式（7)的求解过程，其过程如下：首 先，将L R图像用简单3次插值放大到与重建H R图像一样的 尺寸，得到重建图像的初始估计然后，用K-Means方法对 2的图像块聚为（类，每一类的子字典用P C A算法来学习.2 的每个图像块自适应选择所属类的子字典作为其字典〇；最 后，我们采用迭代收缩算法求解目标函数.通过梯度下降法更新H R图像2，公式如下：
^(>♦1/2) _
S(,) +S(HT(y-H x{,))+A2V r(G(3c) - V3c(0))(18)
在每次迭代获得评估图像后，利用下面公式来更新图像 块的稀疏系数，其公式如下：
«<,+1/2)(19)对获得的稀疏系数a，利用公式（8)的非局部均值进行更 新，采用迭代收缩算法更新稀疏编码系数，公式如下：
«<,+1)=S,{^T HT(y-H W；*'n))/c + a\'*'n)+A (2〇)其中叉是软阈值函数，£•是辅助参数，用来保证收缩函数是可优化的.稀疏编码系数更新完之后，则图像块重构表 示为：
j c,u+,) =0t a j'tn(21)重建H R图像为：
=
(X心,)-1 土 (心n’+n)(22)
/'=11=1
4实验结果及性能分析
为了验证所提出模型的有效性，本文做了大量的对比实 验并与近年来一些方法做了比较，比较方法包括：Bicubic、N C S R[16]、E P L L[22]、N R S R[21]、INSR[231、R E P S-S R124]方法.本 节主要选取了 12张测试图像如图1所示，来展示各方法的重 建结果，其中包括6张彩图像（其名分别为：Bu t t e r f l y、Hat、Parr ot s、Zebra、Plants、Bird)和6张灰度图像（其名分别为：Flower、b a b y、barbara、flowers、baboon、Comic).在实验中采 用如下步骤对测试图像进行降质：首先，对测试图像用标准偏 差为1.6，尺寸大小为的7x7的髙斯函数进行模糊；然后，对 模糊后的图像进行下采样，下采样的尺度因子分别为2、3、4; 最后，对下采样得到的L R图像加入不同水平的高斯噪声得
图1测试图像 Fig.1T e st images
到最后的L R图像.实验中根据经验设置基本参数如下：图像 块的尺寸为6 x6，聚类数A为64，重叠像素点数为4,3为7，c 为0.35,A2为0. I.下面将利用实验结果对我们提出的模型 的有效性进行验证，并对各个方法所获得S R重建图像分别 在主观方面和客观方面给出评价.
4.1梯度正则化有效性验证
本文提出的梯度正则化是利用外部图像样例的梯度先验 信息来引导H R图像的重建，使获得的H R图像具有更清晰 的边缘.下面我们通过对比算法在迭代更新3E过程中，使用 一次邻域回归重建图像之前和之后的图像梯度图来证明我们 方法的有效性.
如图2所示，图2(a)为没有应用邻域回归正则项获得的 重建图像的梯度图，图2(b)为使用一次邻域回归正则项后获 得的重建图像的梯度图.为了方便观察，我们将局部区域进行 了放大，从放大区域我们可以看到图2(a)中蝴蝶的翅膀边缘 模糊，有明显的断裂痕迹，而在图2(b)中经过一次邻域回归 正则项获得的重建图像的梯度更加清晰，断裂区域明显地减 少了.由此可见，利用加人邻域回归正则项后的S R重建方法能恢复出更多的图像边缘信息.
⑷邻域回归正则化之前
图2使用邻域回归正则化前后重建图像梯度对比
Fig. 2 Image gradient comparison before and after
regularization by neighborhood regression
4.2实验结果对比
本节将从主观和客观两方面与其余方法比较来证明我们 提出方法的有效性.图3是对图像Butterfly放大3倍时的视 觉图，图4是对图像Parrots放大4倍时的视觉图.为了方便观察，我们剪切了局部区域进行放大，从图中的放大区域，可 以明显地观察到其中BicU bic、N RSR方法重建的图像损失了
(b)
邻域回归正则化之后
2592
小型微型计算机系统2020 年
7
8 9 10 11 12噪声水平
5 67 8 9 10 11 12
噪声水平
Fig . 5
图5
不同方法在不同噪声水平下图像放大3倍
P S N R /S S I M 均值
P S N R  / SSIM  average  v a l u e s  of  d i f f e r e n t  methods  under  d i f f e r e n t  n o i s e  l e v e l s  with  a  s c a l e  f a c t o r  of  3
最好的，S S I M 指标也相对较高，并且在噪声逐渐增大的时候 我们提出的方法下降趋势更慢.随着噪声水平增加,N C S R 方 法的
P S N R
和
S S I M
值比其他方法下降得更快
；INSR
方法S S I M 值下降较快;E P L L 方法虽然P S N R  —直处于较低 水平，但在噪声增大时S S I M 指标呈上升趋势.综上所述，
我们的方法在高噪声时达到了较高的P SN R /S S I M 值，实验 表明我们的方法在不同噪声水平下重建效果都优于所比较的 方法.
我们也给出了所对比的几种方法针对12幅测试图像在 不同放大倍数和不同噪声水平下的重建图像的客现评价结
大量的纹理细节、边缘模糊且含有一定的噪声，如图4中鸟眼 睛周围的纹路几乎无法分辨；E P L L 方法重建的图像光滑区 域仍存在很多噪声且重建的边缘存在锯齿;N C S R J N S R 方法况;R E P S -S R 方法对噪声更具鲁棒性可以很好地恢复出H R  图像，但在消除图像噪声的同时也损失了图像的纹理细节；本 文方法重建的图像的边缘相比于其它方法更为清晰同时也保
重建图像较E P L L 方法质量稍有提升，但仍存在边缘模糊情
留了图像更多的纹理细节信息.
(a)LR  (b)Or i g i n a l
(f)NRSR
(g)INSR (h )R E P S -S R  (i)Proposed  menhod
图3
放大倍数为3 ，噪声为8时不同算法对图像Butterfly 重建视觉效果对比
Fig . 3 Vi s u a l  comparison  samples  of  d i f f e r e n t  methods  on  ’B u t t e r f l y , image  with  a  s c a l e  f a c t o r  of  3, n o i s e  l e v e l  of  8
(a)LR  (b )O r i g i n a l (c )B i cu bi c (d)NCSR (e)EPLL
■
迮■邊
(f)NRSR
!|g|(g)INSR
(h )R E P S -S R  (i)Proposed  menhod
图4
放大倍数为4，噪声为5时不同算法对图像Parrots 重建视觉效果对比
Fig . 4 Visu al  comparison  samples  of  d i f f e r e n t  methods  on  Tarrots " image  with  a  s c a l e  f a c t o r  of  4, n o i s e  l e v e l  of  5
为了更好地说明本文方法在重建图像质量方面的优越性
及对噪声的鲁棒性，我们对前面给出的12幅测试图像在多种 噪声水平降质的情况下进行了实验比较.图5显示了当噪声
水平逐渐增加时，所有对比方法在对图像放大3倍的情况下 得到的重建结果的P S N R /S S I M 平均值.从图中可以看出，相 比于其他的S R 重建方法，我们提出的方法获得的P S N R 是
O J
z s
d

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。