摘要
图像在形成的过程中受到成像系统、成像设备等限制,导致图像的质量下降。成像系统和成像设备的好坏通常会影响图像清晰的程度,为了在提高图像清晰度的同时不增加硬件成本的投入,因此有了图像的超分辨率重建这一概念。图像超分辨率重建技术克服了高分辨率图像对成像硬件的依赖。
图像的超分辨率重建是指通过数字信号处理的方法,由质量下降的低分辨率图像重建出高分辨率图像。自图像超分辨率的概念首次提出以来,在此后的三十多年时间里,无数学者提出了种类繁多的超分辨率重建算法。一般来说,图像超分辨率方法有三种:以插值为核心的方法、基于先验约束条件重构的方法、通过学习的方法。通过学习的方法可以学习外部的数据库引入更多的先验知识,所以图像超分辨率重建的发展趋势都聚焦在学习的方法上。随着人工智能、深度神经网络的迅速崛起,卷积神经网络成功的应用于图像重建。用卷积神经网络应用于图像超分辨率重建的深度学习方法,简称SRCNN算法,成功的将神经网络与图像超分辨率重建方法相结合,开辟了在深度学习领域图像重建的道路。
本文通过对经典的卷积神经网络模型进行研究。针对SRCNN算法计算量大,训练时间较长的问题,从降低参数防止过拟合的角度,本文构建了一个新的超分辨率重建模型。该模型在卷积神经网络的基础上做了如下创新:1.加深网络的深度,由原来的3层卷积扩大到6层,最终网络深度有12层;2.在第一层卷积操作之后引入池化层,以减少提取的特征的维度;3.随着网络的深度的加深,参数的数目也随之增大,引入局
部响应正则化层(LRN)可以有效防止过拟合,同时还可以加快网络的收敛速度;4.在最后的重建阶段,采用反卷积进行上采样重建操作。通过实验验证,改进后的方法具有比较好的图像重建效果。
关键词:图像超分辨率重建;卷积神经网络;池化;局部响应正则化;反卷积
Abstract
The image is limited by the imaging system, imaging device, etc. during the formation process, resulting in degradation of the image quality. The quality of the imaging system and the imaging device usually affects the degree of image clarity. In order to improve the sharpness of the image without increasing the input of hardware cost, the concept of super-resolution reconstruction of the image is obtained. Image super-resolution reconstruction technology overcomes the dependence of high-resolution images on imaging hardware.
Super-resolution reconstruction of images refers to the reconstruction of high-resolution images from low-resolution images of reduced quality by means of digital signal processing. Since the concept of image super-resolution was first proposed, in the following 30 years, countless scholars have proposed various super-resolution reconstruction algorithms. In general, image super-resolution methods can be roughly divided into three categories: Interpolation-based method, method of reconstr
ucting with prior constraints, and method of learning. Because the learning-based approach can learn from external databases to introduce more prior knowledge, the development of image super-resolution reconstruction is mainly focused on learning-based methods. With the rise of artificial intelligence and deep neural networks, convolutional neural networks have been successfully applied to image reconstruction. The deep learning method applied to image super-resolution reconstruction using convolutional neural network, referred to as SRCNN algorithm, successfully combines neural network with image super-resolution reconstruction method and opened up the road of image reconstruction in deep learning field.
In this paper, through the research of classical convolutional neural network, the SRCNN algorithm is computationally intensive and the training time is long. From the perspective of reducing the parameters to prevent over-fitting, this paper proposes a new super-resolution reconstruction model, which is based on the convolutional neural network and has the following innovations: 1. Deepen the depth of the network, from the original 3-layer convolution to 6 layers, and finally the network depth has 12 layers; 2. Join the pooling layer after feature extraction to reduce the dimension of the extracted features; As the depth of the network deepens, the number of parameters increases, and the operation of the Local Response Regularization Layer (LRN) can effectively prevent over-fitting, and at the same time speed up the convergence of the
network; 4. In the final reconstruction phase, The up sampling reconstruction operation is performed using deconvolution. The experimental results show that the improved method has better reconstruction effect.
Key Words: Image Super-Resolution; Convolutional Neural Network; Pooling; Local Response Normalization; Deconvolution
目录
第一章引言 (1)
1.1 课题研究的背景及意义 (1)
1.1.1 课题研究的背景 (1)
1.1.2 课题研究的意义 (1)
1.2 图像超分辨率技术的方法与发展 (2)
1.2.1 基于插值的方法 (2)
1.2.2 基于重建的方法 (3)
1.2.3 基于学习的方法 (4)
1.3 超分辨率重建评价方法 (5)
1.4 本文的主要研究内容及章节安排 (6)
第二章卷积神经网络图像超分辨率重建 (8)
2.1 SRCNN模型 (8)
2.2 卷积操作 (9)
2.3 ReLU (11)
第三章基于卷积神经网络的图像超分辨率重建 (12)
3.1 改进的SRCNN模型 (12)
3.2 池化层 (12)
3.3 局部响应正则化层 (13)
3.4 反卷积操作 (14)
3.5 损失函数(Loss Function) (15)
3.6 各卷积层参数设置 (16)
第四章实验结果与分析 (19)
4.1 实验环境 (19)
4.2 效率对比 (19)
4.3 结果评价 (20)
第五章总结与展望 (23)
5.1 本文内容总结 (23)
5.2 未来研究的展望 (23)
参考文献 (25)
致谢 (28)
正则化网络第一章引言
1.1 课题研究的背景及意义
1.1.1 课题研究的背景
人类通过五官、皮肤的触感等途径来接收信息。其中来自视觉系统所接收到的图像信息对人类感知世界至关重要。人类更倾向于得到画面清晰的图像,模糊和清晰的图像给人不一样的感官感受。清晰的画面,包含更多的内容信息,细节纹理也更加丰富。分辨率高低是衡量一个图像清晰与否的主要指标,高分辨率图像具有高解析度,能容纳更多的像素内容,从而包含更多的图像记录下的信息。高分辨率图像的获取主要由成像设备得到。然而,这种获得高分辨率图像的方式并不总是可行的。一方面是因为高分辨率成像设备比较昂贵,越是像素高的成像设备价钱越贵,一个好的镜头价值不菲;另一方面由于成像传感器、设备制造等技术方面的局限,使得单纯依靠硬件来获得高分辨率图像,有着诸多的限制。这些问题可以通过相对便宜并且简单有效的图像处理算法来解决,从而产生图像超分辨率重建(Super-Resolution SR)的概念。超分辨率重建技术完全有能力在目前的低分辨率系统中发挥其应有功能。
1.1.2 课题研究的意义
日常生活中人们更希望得到视觉效果更好的高分辨率图像。不仅如此,在一些需要放大图像的特定领域中高分辨率图像也是不可或缺的。在医疗图像处理、卫星成像、显微图像处理、视频监控、天文观测等领域高分辨率重建技术仍具有重要意义。
医疗图像处理:通过高分辨率重建出的CT(计算机断层扫描Computed Tomography)、MRI(核磁共振Magnetic Resonance Imaging)等医学影像可以为医生的诊疗提供更加精确的病变信息。
卫星成像:由于卫星遥感硬件设备自身的局限,而且还容易受到敌军干扰、天气等环境因素的限制,所以无法直接得到高分辨率卫星图像。将图像超分辨率重建技术运用到卫星图像上,不仅可以大大提高对目标定位的精确度,而且还可以更加精准的拦截目标,以进行军事打击和军事防御。
显微图像处理:图像超分辨率重建在显微图像处理方面也发挥着重要作用。为了更好的研究细胞的组织结构,通常需要更高分辨率的显微图像。超分辨率荧光显微技术是显微成像领域中非常重要的领域之一,2014年诺贝尔化学奖就授
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论