收稿日期：2020年9月3日，修回日期：2020年10月20日
基金项目：国家自然科学基金项目（编号：41461038）资助。作者简介：郑璐，女，硕士研究生，研究方向：图像处理及深度学习。王保云，男，博士，副教授，研究方向：机器学习及图像处理。
∗
1引言
在这个信息大爆炸的时代，人类通过各种各样
的信息感知世界，其中图像是人类获取信息、表达信息和传递信息的重要手段［1］。近年来，利用某些技术手段对低质量图像进行超分辨率重建引起了研究者的广泛关注。超分辨率图像重建（Super Resolution ，SR ）是指利用相关的图像处理和算法模型，从观测到的低分辨率图像中重建高分辨率图像
的技术［2］。高分辨率图像包含了更多的纹理特征和细节信息，因此在监控设备、卫星图像和医学影
像领域都有重要的应用价值。
传统的超分辨率重建算法通常分为基于重建的方法和基于学习的（非深度学习）方法。Stark 等人提出的凸集投影［3］使用迭代投影得到高分辨率图像的估计；随后，Irani 和Peleg 提出了迭代反投影的方法，成为超分辨率图像重建中非常有代表性的方法［4］；最大后验概率法是Schultz 和Stevenson 提出的一种典型的概率方法［5］，最终保持图像的局部特征平滑和边缘信息，获得了比较好的效果；Nguyen 等提出的正则化方法［6］，利用恒定正则化算子和最优正则化参数构造图像模糊参数、正则化参数以及
基于深度学习的超分辨率图像重建研究综述
∗
郑
璐1，
2
王保云1，
2
杨
昆1
孔
艳1，2
张祝鸿1，2
张玲莉1，
2
（1.云南师范大学信息学院昆明650500）（2.云南师范大学信息学院数据科学实验室
昆明
650500）
摘
要
目前超分辨率图像重建技术是计算机视觉领域的研究热点，随着深度学习的发展，基于深度学习的超分辨率
图像重建技术已经取得了一定的研究成果。论文回顾了典型的超分辨率图像重建的深度网络模型，对超分辨率图像重建的深度学习算法和网络结构进行介绍，比较分析了不同模型的优缺点，从本质上发现并提出了超分辨率图像重建的一些问题。在此基础上，提出了基于深度学习的超分辨率图像重建方法未来的研究趋势。
关键词
超分辨率重建；深度学习；卷积神经网络；生成对抗网络
中图分类号
TP391
DOI ：10.3969/j.issn.1672-9722.2021.04.036
A Review of Research on Super Resolution Image Reconstruction
Based on Deep Learning
ZHENG Lu 1，
2
WANG Baoyun 1，
2
YANG Kun 1KONG Yan 1，2
ZHANG Zhuhong 1，2
ZHANG Lingli 1，
2
（1.School of Information ，Yunnan Normal University ，Kunming 650500）
（2.Laboratory of Data Science ，School of Information ，Yunnan Normal University ，Kunming
650500）
Abstract
At present ，super-resolution image reconstruction technology is a research hotspot in the field of computer vision.
With the development of deep learning ，super-resolution image reconstruction technology based on deep learning has achieved cer ⁃tain research results.This paper reviews the deep network model of typical super-resolution image reconstruction ，introduces the deep learning algorithm and network structure of super-resolution image reconstruction ，compares the advantages and disadvantages
of different models ，essentially discovers and proposes some problems in super-resolution image reconstruction.On this basis ，the future research trend of super-resolution image reconstruction based on deep learning is proposed.
Key Words super-resolution ，deep learning ，convolutional neural network ，generative adversarial network
Class Number
TP391
2021年第4期计算机与数字工程高分辨率图像的最小能量函数，从而形成规则的超分辨率重建模型。传统的基于学习的方法主要涉及机器学习领域，通常采用机器学习技术来局部估计输出图像的高分辨率细节信息。基于实例的方法是一种早期的基于学习的超分辨率图像重建方法［7］，在4倍放大因子的条件下，获得了较高的图像质量；Chang 等首次提出了一种基于邻域嵌入的超分辨率图像重建方法；Karl 和Nguyen 等利用支持向量回归实现了超分辨率图像重建［8］；Yang 等提出了利用稀疏表示来实现超分辨率［9］，对每一个测试补丁，用线性规划的方法得到这个超完整字典下测试补丁的稀疏表示。最后，通过加权系数对高分辨率图像进行重建。
随着深度学习的迅速发展，一些研究者将注意力转移到了深度学习领域，尝试构建深度学习网络模型来处理超分辨率图像重建问题。本文通过卷积神经网络、残差网络、递归神经网络、密集卷积网络、生成对抗网络五种不同的深度网络模型，对基于深度学习的超分辨率方法进行分析概括，并对不同方法获得的超分辨率图像质量的评价结果进行阐述。最后比较各个模型方法的实验结果和定量评价指标，提出超分辨率研究领域问题和进一步的研究方向。
2基于深度学习的超分辨率图像重建
深度学习是机器学习的一个分支，在过去十年
左右的时间里发展飞速，引起了国内外研究者的广泛关注。目前，深度学习已成功应用于计算机视觉、语音识别、记忆网络、自然语言处理等研究领域［10］。
2.1SRCNN
超分辨率卷积神经网络（Super-Resolution
Convolutional Neural Network ，SRCNN ）是深度学习用在超分辨率重建领域的一项前沿性研究。它的网络结构非常简单，首先，利用双三次插值对图像进行预处理，将低分辨率图像放大到目标尺寸。然
后输入低分辨率图像，通过三层卷积网络拟合非线性映射，输出高分辨率图像结果。SRCNN 的网络结构如图1所示，第一层，图像块提取和特征表示；第二层，是特征的非线性映射；第三层，最终的重建［11］
。
图1
SRCNN 网络模型
SRCNN 在I LR 和I HR 之间建立了端到端
（end-to-end ）映射的SR 模型，相较于传统的超分辨率算法在相同的数据结构上以及放大相同倍数
的情况下，在峰值信噪比（PSNR ）和运算速度上都有了一定程度的提升。
2.2
VDSR
VDSR （Very Deep Convolutional Networks ）是基
于SRCNN 的改进网络。其最大特点是具有多层性，最终效果精度高，训练速度比较快。究其原因是因为作者发现输入的低分辨率图像和输出的高分辨率图像非常相似，即低分辨率图像携带的低频信息和高分辨率信息具有很强的相似性［12］，所以只需要学习高分辨率图像和低分辨率图像之间的高频残差部
分即可。因此，在提高网络深度的基础上，将残差网络引入到重建模型中，可以提高网络性能和最终重建结果的准确性。
如图2所示，插值后得到的目标尺寸的低分辨率图像作为VDSR 网络的输入，再将图像和网络学习到的残差相加，得到最终的网络输出［13］。VDSR 具有以下优点：深化了网络结构，扩大了感受野，充分利用分布在超大图像区域的上下文信息，避免图像信息的丢失，重建图像细节；对残差图像进行建模，学习高分辨率和低分辨率图像之间的差异，提高学习速度，同时采用极高的学习速率，加快收敛速度；VDSR 还应用了自适应梯度裁剪，使用可调节的梯度来最大限度地提高速度，同时抑制梯度爆炸［14］。VDSR 将不同倍数的图像混合在一起训练，解决了不同倍数的超分辨率问题［15］
。
图2
VDSR 网络模型
2.3
DRCN
DRCN （Deeply-Recursive Convolutional Net ⁃
work for Image Super-Resolution ）第一次将已有的递归神经网络结构应用在超分辨率问题上，同时利用残差网络的思想，加深了网络结构，增加了网络感受野，提升了性能。其网络结构如图3所示分为三个模块：第一个相当于特征提取的嵌入网络，第二个相当于特征非线性映射的推断网络，第三个相
当于重建网络，即从特征图像恢复最后的重建结果［16］。其中，Inferencenet work 网络是一种递归神经网络，通过它可以使数据反复循环。其中，H1到
Hd 是D 个共享参数的卷积层，通过同一重构网络
805
第49卷
对D 个卷积层的每一层结果进行处理，并在重构网络中添加输入图像，获得D
个重建结果输出。
图3DRCN 网络模型
DRCN 最大的特点在于多次应用相同的卷积
层，重复执行多次递归而不会增加参数数量。在这
个过程中，该方法加入了递归监督，为了解决梯度和最优递归的问题，监督所有递归，减轻了梯度消失或爆炸的影响。
2.4
SRDenseNet
DenseNet 是一个具有密集连接的卷积神经网
络。网络各层的输入是所有前一层的输出，该层学习到的图像特征作为输入直接传输到该层后面的
所有层。如图4是DenseNet 的一个密连接块，块体结构如下：BN-RELU-Conv
。
图4DenseNet 网络结构
DenseNet 在密连接块后将每个层的特性输入
到所有层中，这样所有层都是串联的，而不是像残差网络一样简单相加。这种结构可以缓解整个网
络中梯度消失的问题，具有增强特征传播、支持特征重用、减少参数个数等优点。SRDenseNet 结构
分为四部分，首先用一个卷积层学习低阶图像特征，然后用几个密连接块学习高阶图像特征，接着用几个反卷积层学习上采样的滤波参数，最后用一个卷积层生成高分辨率图像输出。SRDenseNet 在超分辨率的深层网络中引入密集跳跃连接，通过密集跳跃连接在不同级别上的特征融合，进一步提高图像超分辨率的重建性能。
2.5SRGAN
生成对抗网络（Generative Adversarial Net ⁃
work ，GAN ）由Goodfellow 等提出，它启发自博弈论中的二人零和博弈［20］。GAN 具有强大的图片生成
能力，使其在图片合成、图像修补、超分辨率、草稿图复原等方面都有广泛的应用［17］。Ledig 等首次将
生成对抗网络（Generative Adversarial Network ，GAN ）应用到超分辨率图像重建中，提出了基于生
成对抗网络的超分辨率（Super-Resolution using a Generative Adversarial Network ，SRGAN ）算法［18］，该算法将低分辨率图片样本输入到生成器网络训练学习，来生成高分辨率图片，再用判别器网络辨别其输入的高分辨率图片是来自原始真实的高分辨率图片还是生成的高分辨率图片，当判别器无法辨
别出图片的真伪时，说明生成器网络生成了高质量的高分辨率图片。实验结果表明相比以往的深度学习方法生成的图片效果在视觉上更逼真。之前的基于深度学习的超分辨率方法虽然能够获得很高的峰值信噪比，但恢复出来的图像通常会丢失高频细节，使人难以有好的主观感受效果。SRGAN 主要利用感知损失和对抗损失来改善图像恢复的真实性。感知损失是利用卷积神经网络提取出来的特征，通过比较卷积后的生成图像与卷积后原始图像的特征，使生成的图像尽可能地接近原始目标图像。SRGAN 的生成网络使用了SRResNet 作为网络模型［19］，并通过均方误差来优化。通过计算训练后的VGG 模型的高级特征上的感知损失，对SRGAN 进行了优化。结合SRGAN 的判别网络，可以得到峰值信噪比不是最高，但具有真实视觉效果
的超分辨重建结果。其网络结构如图5
所示。（a ）生成器网络模型（b ）判别器网络模型
图5SRGAN 网络模型
郑璐等：基于深度学习的超分辨率图像重建研究综述806
2021年第4期计算机与数字工程
3实验结果与分析
表1列出了文中所述的五种基于深度学习网络模型的超分辨率图像重建方法的PSNR和SSIM 值。这些方法在set5、set14、B100、Urban100数据集下完成测试，对比SRCNN、VDSR、DRCN、
SRDenseNet、SRGAN方法，由作者所公布的实验结果整理得到表中数据。通过观察实验数据发现SRDenseNet在四个数据集下的测试结果中，4倍放大因子下，得到的PSNR和SSIM值最高。通过对比整体的结果，VDSR和DRCN都获得了比较好的PSNR和SSIM值，这两种方法在SRCNN的基础上，都加深了网络层次，扩大了感受野范围，并运用了残差网络的思想提高了运行速度。
表1五种SR
算法重建效果对比
4结语
超分辨率图像重建旨在提高图像质量，便于获取更多关于图像的细节信息，是计算机视觉领域一项重要的研究工作。本节对五种典型的基于深度学习的超分辨率重建方法进行讨论总结，从中可以得出以下问题。
1）深度网络类型和结构构建。通过对五种不同深度学习网络模型分析发现，网络结构层次越深，感受
野越大，越能够充分利用图像的上下文信息，减少图像细节丢失的可能性。但同时越深的网络模型，意味着难以收敛的训练过程，因此，在加深网络模型层次的同时，结合残差网络、自适应梯度裁剪等能够避免深层网络梯度爆炸/消失的优化算法训练是非常必要的。
2）算法优化。文中所列的五种超分辨率图像重建方法都得到了较好质量的重建图像，与传统方法相比，也提升了PSNR和SSIM值。但是其训练速度和可视化效果并未达到人们的预期，还具有较大的改进空间。
3）评价机制。经过30多年的研究和开发，超分辨率图像重建技术取得了长足的进步。如何构建合理的评价机制，评价超分辨率图像的质量，进而评价不同超分辨率算法的优劣，也一直是超分辨率研究领域十分热门的问题。犹如SRGAN，在视觉效果上SRGAN很好地重建了图像的细节信息，主观感受最好。但是由于其不高的PSNR和SSIM 值，自然让我们想到另一个问题，建立能够反映主观感受效果的评价机制。通过量化主观人眼评价效果，结合客观评价指标，构建有效的评价机制也是值得研究的问题。
4）GAN模型。生成对抗网络因其具有很好的图像生成功能，在超分辨率图像重建方法中崭露头角，获得了最好的视觉效果。因此在未来工作中，着重考虑在当前SRGAN网络模型的基础上结合当下各类优化算法和成熟的网络结构，进一步提高重建图像的质量和训练结果的定量评价指标。
深度学习在超分辨率图像重建中具有广阔的应用前景。本文总结了现有的超分辨率图像重建的深度网络
模型，对比不同网络模型的特点和训练方法，总结分析了现有模型存在的问题以及模型构建的新思路，提出生成对抗网络在超分辨率问题中的优化策略和应用方法，并将在下一阶段详细展开研究与讨论。文末简述了超分辨率重建问题的其他相关研究方向——对于图像质量的评价机制，提出图像质量评价机制的不足和现存问题，对以后建立反映主观感受效果的评价机制提出具有实际参考价值的建议。
807
第49卷
参考文献
［1］葛广重.基于稀疏表示的单幅图像超分辨率重建研究［D］.南京：南京邮电大学，2013.
GE Guangchong.Research on Super-resolution Recon⁃struction of Single Image Based on Sparse Representation ［D］.Nanjing：Nanjing University of Posts and Telecom⁃munications，2013.
［2］毕晓昀.基于多方向轮廓模板的图像超分辨率重建方法研究［D］.大连：辽宁师范大学，2016.
BI Xiaoyun.Research on Image Super-resolution Recon⁃struction Method Based on Multi-directional Contour Tem⁃plate［D］.Dalian：Liaoning Normal University，2016.
［3］Stark H，Oskoui P.High-resolution image recovery from image-plane arrays，using convex projections［J］.Journal of the Optical Society of America.A，Optics and image science，1989，6（11）：1715-1726.
［4］Irani M，Peleg S.Improving resolution by image registra⁃tion［J］.CVGIP：Graphical Models and Image Process⁃ing，1991，53（3）：231-239.
［5］Schultz R R，Stevenson R L.A Bayesian approach to im⁃age expansion for improved definition［J］.Image Process⁃ing IEEE Transactions on，1994，3（3）：233-242.
［6］Nguyen N，Milanfar P，Golub G.Efficient generalized cross-validation with applications to parametric image res⁃toration and resolution enhancement［J］.IEEE Transac⁃tions on Image Processing，2001，10（9）：1299-1308.［7］潘宗序，禹晶，胡少兴，等.基于多尺度结构自相似性的单幅图像超分辨率算法［J］.自动化学报，2014，40（4）：2233-2244.
PAN Zongxu，YU Jing，HU Shaoxing，et al.Single image super-resolution algorithm based on self-similarity of multi-scale structure［J］.Acta Automatica Sinica，2014，40（4）：2233-2244.
［8］Kim K I，Kwon Y.Single-Image Super-Resolution Using Sparse Regression and Natural Image P
rior［J］.IEEE Transactions on Pattern Analysis and Machine Intelli⁃gence，2010，32（6）：1127-1133.
［9］Yang J，Wright J，Huang T S，et al.Image Super-Resolu⁃tion Via Sparse Representation［J］.IEEE Transactions on Image Processing，2010，19（11）：2861-2873.
［10］陈凯.深度学习模型的高效训练算法研究［D］.合肥：中国科学技术大学，2016.
CHEN Kai.Research on Efficient Training Algorithm of
Deep Learning Model［D］.Hefei：University of Science
and Technology of China，2016.
［11］Dong C，Loy C C，He K，et al.Learning a Deep Convo⁃lutional Network for Image Super-Resolution［J］.2014.［12］汪家明，卢涛.多尺度残差深度神经网络的卫星图像
超分辨率算法［J］.武汉工程大学学报，2018，40（4）：
440-445.
WANG Jiaming，LU Tao.Satellite image super-resolu⁃
tion algorithm based on multi-scale residual deep neural
network［J］.Journal of Wuhan Institute of Technology，
2018，40（4）：440-445.
［13］孙毅堂，宋慧慧，张开华，等.基于极深卷积神经网络的人脸超分辨率重建算法［J］.计算机应用，2018，38
（4）：1141-1145.
SUN Yitang，SONG Huihui，ZHANG Kaihua，et al.Su⁃
per-resolution face reconstruction algorithm based on ex⁃
tremely deep covolutional neural network［J］.Journal of
Computer Applications，2018，38（4）：1141-1145.［14］王东飞.基于通道注意力的卷积神经网络在图像超分辨率重建中的应用［J］.广播与电视技术，2018，45正则化网络
（6）：63-66.
WANG Dongfei.Application of Convolutional Neural
Network Based on Channel Attention in Image Super-res⁃
olution Reconstruction［J］.Radio&TV Broadcast Engi⁃
neering，2018，45（6）：63-66.
［15］王梓欣，牟叶，王德睿.基于深度学习的单图像超分辨算法比较探究［J］.电子技术与软件工程，2018
（7）：94-96.
WANG Zixin，MOU Ye，WANG Derui.Comparison of
single image super-resolution algorithms based on deep
learning［J］.Electronic Technology&Software Engi⁃
neering，2018（7）：94-96.
［16］Kim J，Lee J K，Lee K M.Deeply-Recursive Convolu⁃tional Network for Image Super-Resolution［J］.2016
IEEE Conference on Computer Vision and Pattern Recog⁃
nition（CVPR），2016.
［17］余思泉，韩志，唐延东，等.基于对抗生成网络的纹理合成方法［J］.红外与激光工程，2018（2）：34-39.
YU Siquan，HAN Zhi，TANG Yandong，et al.Texture
synthesis method based on adversarial generative network
［J］.Infrared and Laser Engineering，2018（2）：34-39.［18］徐一峰.生成对抗网络理论模型和应用综述［J］.金华职业技术学院学报，2017（3）：81-88.
XU Yifeng.A Survey of Generative Adversarial Network
Theory Models and Applications［J］.Journal of Jinhua
Vocational and Technical College，2017（3）：81-88.［19］Ledig C，Theis L，Huszar F，et al.Photo-Realistic Sin⁃gle Image Super-Resolution Using a Generative Adver⁃
sarial Network［C］//2017IEEE Conference on Computer
Vision and Pattern Recognition（CVPR），2017.
［20］Kim J，Lee J K，Lee K M.Accurate Image Super-Reso⁃lution Using Very Deep Convolutional Networks［J］.
2016IEEE Conference on Computer Vision and Pattern
Recognition（CVPR），2016.
郑璐等：基于深度学习的超分辨率图像重建研究综述808

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。