一种优化的迭代反投影超分辨率重建方法
刘克俭;陈淼焱;冯琦
【摘 要】针对现有超分辨率重建方法存在重建的高分辨率图像具有边缘结构不清晰、高频信息提升有限的问题,提出了一种结合迭代反投影(iterative back-projection,IBP)与限制对比度自适应直方图均衡化(contrast limited adaptive histogram equalization,CLAHE)的遥感图像超分辨率重建方法.通过结合迭代反投影与限制对比度自适应直方图均衡的超分辨率重建方法重建高分辨率遥感影像,增加重建图像的纹理细节信息,并利用灰度信息与梯度特征的能量优化模型对重建图像进行优化处理.本文以不同地貌类型遥感图像为实验数据.实验结果表明,该重建方法与经典迭代反投影方法相比,纹理细节丰富,边缘结构清晰,与非局部迭代反投影(nonlocal iterative back-projection,NLIBP)相比,客观质量评价指标均有明显改善,验证了该方法具有较好的普适性与鲁棒性.
【期刊名称】《遥感信息》
【年(卷),期】2019(034)003
【总页数】5页(P14-18)
【关键词】超分辨率重建;迭代反投影;限制对比度自适应直方图均衡化;非局部迭代反投影;资源三号
局部直方图均衡化【作 者】刘克俭;陈淼焱;冯琦
【作者单位】中国人民公安大学公安遥感应用工程技术研究中心,北京100038;中国人民公安大学公安遥感应用工程技术研究中心,北京100038;中国人民公安大学公安遥感应用工程技术研究中心,北京100038
【正文语种】中 文
【中图分类】P238.8
0 引言
超分辨率(super resolution，SR)重建是指通过对单幅或多幅低分辨率(low-resolution，LR)图像进行处理，重建出一幅或多幅高分辨率(high-resolution，HR)图像的技术[1]。将超分
辨率重建技术应用到卫星光学遥感图像处理中，利用卫星遥感图像进行超分辨率重建，提升遥感图像的空间分辨率，是目前遥感图像处理领域新的研究热点之一。充分利用我国日益丰富的卫星遥感图像数据，通过超分辨率重建这一图像处理技术，改善国产卫星遥感图像空间分辨率的质量，提高其空间分辨率，增强影像的可判读能力，扩大数据的使用范围，该项研究成果将具有重要的理论意义和实用价值[2-3]。
目前，按超分辨率重建的对象来分，可以分为：单幅图像的超分辨率重建与基于多幅图像的超分辨率重建。对于遥感图像自身的特殊性而言，因其拍摄的地表范围较广，所拍摄的地形起伏较大，配准精度难以满足多幅图像超分辨率重建的需求，而且高精度、亚像元的大幅面遥感图像配准研究也已经处于瓶颈期。因此，本文主要针对单幅遥感图像的超分辨率重建方法进行研究。针对单幅的超分辨率重建技术，国内外学者提出研究方法大致可以分为三类[4]：基于插值的超分辨率重建方法、基于重建的超分辨率重建方法、基于学习的超分辨率重建方法。
基于插值的超分辨率重建，经典的插值方法主要包括：最近邻插值、双线性插值和双三次插值[5]。这些方法主要通过图像已有的信息对未知像素进行估计实现插值放大，并非真正
意义上的超分辨率重建，因为这些传统的插值方法在重建的过程中并未生成新的高频信息，所以重建结果常常出现据齿、振铃和模糊等视觉失真效应，对于复杂地貌的遥感图像而言，基于插值的重建方法很难从真正意义上提高遥感图像空间分辨率的质量。
基于重建的超分辨重建方法，此类重建方法是摄影测量与遥感领域研究的热点，也是超分辨率重建的主流方法。此类超分辨率重建方法可建立较为全面的观测模型，将复杂的全局和局部运动、光学模糊、运动模糊、空间可变点扩散函数、欠采样等影响图像质量的因素并入其中，并且能够充分利用空域先验知识进行约束，形式更加灵活，重建性能更好。空域法中主要包括[6-12]：凸集投影、最大后验概率、迭代反向投影算法等。迭代反投影算法作为基于空域的超分辨率重建的一种典型方法，最早由Irani[13]于1991年提出，该方法在提高图像空间分辨率时，对重建图像进行去噪处理，导致重建图像部分的边缘区域存在锯齿现象。
基于学习的超分辨率重建，在图像处理领域一些学者突破原有的研究思路，提出了基于学习的超分辨率重建方法[14-16]，其基本思想是：选取与输入影像含同类信息的影像作为训练样本数据，利用机器学习的方法获得高分辨率与低分辨率影像之间的关系，即先验知识，
以指导其他低分辨率影像的超分辨率重建。近年来，随着人工智能的兴起，基于深度学习的超分辨率重建也得到了专家学者的广泛关注。基于深度学习的超分辨率重建需要大量的训练样本，对大数据量的样本进行训练，得到一系列的参数用于超分辨率重建，对于遥感领域而言，目前没有合适的训练样本库，而且相较于遥感图像的特殊性，此类重建方法在性能上还无法与基于重建的超分辨率方法相媲美，就目前而言还难以实现工程化。
综上所述，本文针对遥感图像的自身特点，权衡超分辨率重建的效果与性能，提出一种结合迭代反投影与限制对比度自适应直方图均衡化的遥感图像超分辨率重建方法。实验选取ZY-3全影像作为原始数据，以降低重建算法复杂度，提高重建质量与速度为前提，实现高清晰、多细节遥感图像的超分辨率重建。
1 原理
本文基于卫星遥感图像数据的特点，筛选无云的遥感图像作为实验数据，结合迭代反投影方法与限制对比度自适应直方图均衡化[17]重建纹理细节丰富的高分辨率遥感影像，最后，通过灰度信息与梯度特征的优化模型进一步改善重建图像质量。本文超分辨率重建的技术流程如图1所示。
图1 超分辨率重建流程图
1.1 限制对比度自适应直方图原理
限制对比度自适应直方图是一种较好的细节增强方法，可以提升图像的高频细节信息。与普通的自适应直方图均衡算法不同，限制对比度直方图均衡化算法通过计算图像的局部直方图，然后重新分布灰度信息改变重建图像高频细节信息，在计算转换时通过裁剪直方图限制了局部细节的过度提升。如图2所示，在直方图均衡的过程中，对像素的领域进行对比度限制，将超出的部分修剪掉，被裁剪的区域重新均匀的分布到直方图中，从而生成新的直方图，这样可以防止细节信息被过度提升，同时可以有效降低重建过程中引入的噪声，从而增加重建的高分辨率遥感图像的局部纹理细节，达到提升高频细节信息的目的。
图2 CLAHE 裁剪再分配示意图
1.2 结合IBP与CLAHE的超分辨率重建原理
迭代反投影方法的核心思想是，假设重建的超分辨率影像接近真实的高分辨率影像，对重建的超分辨率影像进行降质，得到与输入的低分辨率观测影像大小一致的低分辨率影像，
再将二者的误差投影到高分辨率影像上，随着误差的收敛而得到相应的重建的高分辨率影像。
为了弥补迭代反投影重建过程中丢失的纹理信息，本文结合限制对比度自适应直方图均衡化提升迭代反投影重建过程中的纹理细节信息。如图3所示，令观测影像为yi，如果第n次迭代得到的重建影像为xn，将xn降质到低分辨率影像空间，则可以得到其中Hi为降质矩阵。计算观测低分辨率图像yi与的差值，利用CLAHE提升高频细节信息，再利用投影算子将其映射到高分辨率影像空间中，将此作为xn的修正值，即反投影。反复重复上述过程，直到误差满足要求，结合迭代反投影与限制对比度自适应直方图的数学描述如下：
(1)
式中：为反投影算子；D为CLAHE细节提升函数。该重建方法的优点是直观且重建模型容易实现工程化，但重建过程中，重建图像可能存在部分强边缘信息。
图3 结合IBP与CLAHE的超分辨率重建
1.3 基于灰度信息与梯度特征的能量优化
有效的超分辨率重建算法除了改善影像分辨率与增加影像的细节信息之外，还必须使得重建后影像的灰度信息分布尽量接近参考影像，边缘结构更加清晰明显。因此，基于马尔科夫随机场理论，提出一种基于灰度信息与梯度域的能量优化模型。通过能量优化的方法对重建结果进一步优化，一方面，使得优化影像拥有参考影像的灰度分布，另一方面使得重建影像尽量逼近参考影像的梯度分布。形式上，该能量优化算法可以表示为：
(2)
式中：参数κ负责权衡这2个能量项，κ越大，高分辨率重建影像结果梯度分布越接近参考影像Iref的梯度分布；能量项Er代表参考影像Iref与重建影像Ih的灰度信息分布差异。全局的灰度分布能量优化Er(Ih|Iref)定义为：
(3)
式中：s为下采样因子；μ是一个调节因子，确保优化后的高分辨率影像与参考影像的灰度分布尽可能相近。
能量项Eg代表参考影像Iref与重建影像Ih的梯度差异，则全局的梯度能量优化定义为：
(4)
梯度域的优化则是为了使重建影像的梯度与参考影像的梯度差异尽可能的小，使图像的边缘结构更加明显清晰。
1.4 质量评价方法
为了更好地评价本文所提出的遥感影像数据细节增强的超分辨率重建结果，本文通过主观与客观相结合的方式对重建结果进行定量分析。由于本文选取的实验数据为真实的卫星遥感影像，与其对应的高分辨率影像并不真实存在，所以本文采用信息熵和平均梯度2个评价指标对重建效果做出客观评价[18]。
信息熵是用来表示任何一种能量在空间中均匀分布程度，能量分布越均匀，熵值越大，则影像中偏离影像直方图高峰灰度区的大小越大，所有灰度值出现的几率越趋于相等，则影像携带的信息量越大，信息越丰富。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。