超分辨
率重建
(a)低分辨率图像(b) 高分辨率图像
图1.1 超分辨率重建示意图
由于超分辨率重建技术具备非常明显的优势，该技术在许多行业有着广阔的应用前景：
(1) 军事应用领域[4]：在军事的高空观察，战场的实时监控等场景中，由于成像设备距离目标较远或者受环境等因素的制约，往往很难得到高清的战场画面，而这些战场信息在作战指挥中有非常重要的作用，因此通过软件的手段提高图像的分辨率在军事应用领域有着非常重大的意义。
(2) 遥感领域[5]：遥感图像在太空分析，卫星定位等领域有着非常重要的作用，由于成像设备的不足或者在大气等环境的干扰下，导致遥感图像的分辨率较低。但遥感图像通常数量较多且镜头固定，各图像间信息可以互补，因此可以利用这些互补信息来重建出高清图像。
(3) 医学领域[6]：临床上通常通过大量的医学图像来获得病人的相关信息。由于受到设备本身分辨率不高或者人体结构复杂性的影响，导致获得的图像分辨率较低而影响医生对病情的判断，因此可以引入超分辨率重建技术通过获得的低分辨率图像重建出高清图像，帮助医生做出更准确的判断，有利于病情的。
(4) 公共安全领域：许多公共场所都安装了摄像头，由于摄像头位置比较高和摄像头精度比较低等原因，得到的图像分辨率通常较低。如果一旦发生抢劫、盗窃等犯罪活动，警察很难根据画面看清犯罪嫌疑人的面部特征，因此可以引用超分辨率重建技术重建出高清的图像，帮助警察迅速破案。
(5) 图像压缩领域：在大数据时代，每天都产生海量的图片，传统的图像压缩算法正面临着挑战。但是如果能采用超分辨重建技术，在存储或者传输图片前对
图像进行下采样，减小图像的尺寸，待使用时再用超分辨率重建技术恢复图像，这样可以大大提高压缩效率。
综上所述，图像超分辨率重建不仅能在不改变硬件的条件下，提高图像的质量，而且不受环境等外界条件的制约和成本低等优点，在各个领域有着广泛的应用前景，因此，对图像超分辨率重建研究有着重大的意义。哪种正则化方式具有稀疏性
1.2 国内外研究现状
超分辨率重建概念最早由J. L. Harris[7]和J. W. Goodman[2]在上世纪60年代提出，由于其较好地重建效果，此后很多研究者在此基础上，对其重建方法进行了更为深入的研究。经过几十年的发展，根据图像输入和输出的不同超分辨重建可以分为三大类如图1.2所示。输入为视频或者图像序列输出为高清图像，这类重建问题称为基于重建的超分辨率重建；输入和输出都为视频，则称为视频超分辨率重建；对于输入为低分辨率图像输出为高分辨率图像的重建，根据有无训练样本可以分为，基于学习的超分辨重建和基于边缘增强的超分辨率重建[8]。根据研究方法分类，目前主要的超分辨率重建方法可以大致分为三大类：基于重建的超分辨率重建方法、基于插值的超分辨率重建方法和基于学习的超分辨率重建方法，其中基于学习的方法是近几年研究的热点。
图1.2 图像超分辨率重建方法分类示意图
(1) 基于重建的超分辨重建方法。该方法是较早提出来的一种方法，是80-90年代的一种主流研究方向，最早由Tsai和Huang提出，通过从多幅存在几何平移
的图像中重建出高清图像的方法[9]。该方法主要通过寻几幅图像中的相对关系，在频域建立起多幅图像间的一种线性关系，发现其互补信息来进行融合重建，基于频域的经典算法有递归最小二乘法、多通道采样法和递归自小二乘法等。虽然基于频域的算法存在运动模型单一、鲁棒性差、应用范围窄等缺点，但其具有简单高效、运算速度快等优点，这让许多研究者看到了超分辨率重建的可行性，吸引了大批研究者参与进来，对超分辨率重建的发展起了很大的促进作用。90年代初Irani 和Peleg [10]提出一种迭代反向投影IBP 方法，将研究重心从频域转移到空域来，该类方法的主要原理是基于公式(1.1)的前向观测模型，其中K 表示低分辨率图像的数量，Y 代表高分辨率图像，k X 表示第k 幅低分辨率图像，D 、F 、k F 分别表示下采样矩阵、模糊系数、第k 幅图像的变形矩阵，k N 代表噪声。
,1,,k k k X DHF Y N k K =+= (1.1) 该方法主要通过前向观测模型，对多幅图像的一致性进行约束，并结合一定的先验约束（通常是平滑约束）来进行求解，所以该方法的关键在于运动估计和先验约束的选取。经过研究者们的努力，涌现了许多经典的基于重建的超分辨率重建算法如迭代反向投影法、最大后
验概率[11]（MAP ）方法和凸集投影法[12](POCS)等，但该类方法存在难于处理噪声、先验约束不生效、对图像间的局部运动处理效果差等缺点。
(2) 基于插值的重建方法。考虑到图像相邻像素之间的关系，2001年Rajan 和Chaudhuri [13]提出了插值模型，其主要思想是根据待插值点周围像素点的值来估计待插值点的像素值，包括分解、插值和融合三个步骤。经典插值算法有最近邻插值(NBarest Interpolation)、双线性插值(NBarest Interpolation)、双立方插值(NBarest Interpolation)，这三种算法也是目前商用软件中常用的图像放大算法。最近邻插值也称为零阶插值，该方法思想很简单，将距离待插值点最近的已知像素点的值作为待插值点的像素值。双线性插值和双立方插值其待插值像素点的值，则是通过双线性算法、双立方算法得出。其中效果最好的是双立方插值也是现在应用最广的放大算法，但是其速度也是这三种算法中最慢的，最近邻插值速度最快但是效果也相对较差。其后也有不少人在这三种插值算法基础上提出了一些改进算法如Nguyen [14]等提出了小波域插值算法、Lei Zhang [15]等提出方向滤波和数据融合相结合的边缘导向插值技术、Hu [16]等人提出一种自适应插值核函数方法等，这些改进
算法虽然在一定条件下改善了插值效果，但也大大的增加了时间复杂度。
总的来说，基于插值的算法虽然速度快，能较好的应用于实时处理的场景，但也存在一些不足，首先没
有考虑添加高清图像的先验信息，只是根据图像自身周围像素点来插值，很难恢复出高清图像中的细节信息，其次，很容易受到图像中的噪声影响。
(3) 基于学习的重建方法。该方法是近年来的研究热点，其最大的优势是加入了高清图像的先验信息。基本思想是建立一组低分辨率和高分辨率图像训练集，通过一些算法寻这组训练集的对应关系，再根据这种关系来重建图像。基于学习的算法最早由Freeman[17]等人提出，该算法通过马尔科夫随机场学习到高-低分辨率图像之间的关联关系，以此来重建出高清图像。其后又有人在此基础上引入贝叶斯理论、置信传播算法等对其进行了改进。Baker[18]等在深入研究了图像超分辨率重建方法后，发现基于插值的方法从低分辨率图像中得到的信息非常有限，随着放大倍数的增加图像越来越模糊，进而提出了基于图例学习的重建算法，通过对图例的学习提供更多高清图像的先验信息，突破了先验信息缺乏的瓶颈，重建出了更高清的图像。Christopher[19]等将基于学习的方法运用到视频重建中，首先对训练集进行学习到高-低分辨率图像间的关联关系，同时采用相邻的若干帧图像作为增强训练集来进一步提高重建图像的质量。Sun[20]等人通过对大量的自然图像进行研究建立了通用的图像先验梯度分布模型，该模型通过从图像的梯度变换来约束图像的边缘重建，很好的增强了图像的边缘，得到了质量较好的重建图像。Chang[21]等从流行学习中受到启发，将流行学习的思想引入到图像重建过程中，提出了基于近邻嵌入的超分辨率重建方法，该方法处理效果较好，但没有考虑到图像之间结构的差异性，近邻点的选取对不同结构图像影响较大。考虑到不同图像间结构的差异Chang Hong[22]等人提出了基于边缘检测和特
征选择的重建方法，对不同的区域结构选择不同的近邻个数，该方法获得了较好的重建效果，但也增加了算法的时间开销。Gao[23]等人考虑到高-低分辨率图像间近邻关系的近似性提出了联合学习的近邻嵌入算法。Yang[24]等受到压缩感知理论的启发，认为图像间具有很强的相关性，可以用过完备字典基线性表示出来，将稀疏表示理论运用到图像超分辨率重建中来并取得了不错的重建效果。由于稀疏表示方法的优越性吸引了大批研究者参与进来，Zeyde[25]等通过PCA对图像进行降维，并采用K-奇异值
分解的方法来训练字典，提高了算法运算效率。Lu受局部自相似性和流行学习的启发，提出新的编码方法降低了重建图像的人工痕迹。近年来在基于学习的基础上再对其进行正则化处理成为一个研究热点，Dong等通过引入正则化算子自适应选择重建方式，同时采用非局部正则化算子，抑制重建过程中的噪声取得了很好的重建效果[26]。
图像的超分辨率重建是一个正在蓬勃发展的领域，在几十年的发展中取得了不少成就，但也存在着不少难题等我们去攻克，我们应该采用不同理论，从不同的角度去研究它，不断的推动图像超分辨重建技术的发展。
1.3 本文研究内容及章节安排
1.3.1 主要研究内容
在广泛了解图像超分辨率重建方法的基础上，对基于稀疏表示的单幅图像超分辨率重建进行了深入研究，该方法是目前研究最多也是效果较好的一种重建方法。
本文分析了基于稀疏表示的图像超分辨重建原理，并对一些经典的方法做了仿真实验，选取了重建效果较好的稀疏域自适应模型进行深入的研究，针对其存在的不足提出了改进方法。同时也对图像超分辨率重建中的正则化进行了研究，发现不同的正则化方法，有着各自的优缺点，针对不同正则化方法的优缺点提出了改进措施。最后通过仿真实验验证提出方法的有效性。
1.3.2 章节安排
第1章，绪论。主要介绍图像超分辨率重建的研究背景和意义，以及国内外现状最后介绍了本文的主要研究工作。
第2章，图像超分辨率重建理论和关键技术。介绍图像超分辨率重建的一些基本概念和图像的退化模型，同时介绍了几种常用的图像超分辨率重建经典方法。
第3章，基于稀疏表示的图像超分辨率重建方法研究及改进。详细的介绍了稀疏域自适应的图像超分辨率重建模型，在实验过程中发现基于稀疏表示的图像超分辨率重建过程中，采用低分辨率图像的高频信息来重建图像，存在不能充分

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。