378
空间变化离焦模糊红外图像快速复原算法
汪陈跃，雷旭峰，李，杨绍明，何  燕
（昆明物理研究所，云南 昆明 650223）
摘要：为了提升空间变化离焦模糊红外图像的图像质量，提出了一种基于图像质量评价的快速复原算法。本文提出的方法首先对模糊图像采用不同点扩散函数对应的截断约束最小二乘法算法进行复原而获得多幅复原图像，并对复原图像进行去振铃；然后对复原图像中每个像素为中心的区域进行图像质量评价，将采用不同参数复原的图像以图像质量评价的结果进行组合以获得最终的复原图像。由于无需对模糊图像点扩散函数估计，且采用了空间域运算的截断约束最小二乘法算法进行图像复原，实验结果表明，本文提出的算法能够对空间变化离焦模糊红外图像进行快速复原，算法运行速度较基于点扩散函数估计的方法大幅提升。
关键词：离焦模糊；空间变化模糊；图像复原；图像质量评价
中图分类号：TN911.73      文献标识码：A      文章编号：1001-8891(2021)04-0378-07
Fast Restoration Algorithm for Space-variant Defocus Blurred Infrared Images
WANG Chenyue ，LEI Xufeng ，LI Zemin ，YANG Shaoming ，HE Yan
(Kunming Institute of Physics , Kunming  650223, China )
Abstract ：A fast restoration algorithm based on image quality assessment is proposed to improve the quality of space-variant defocus blurred infrared images. First, the defocus image is restored by the truncated constrained least-squares algorithm with different point spread functions to obtain and perform deringing on multiple restored images. Then, the area centered on each pixel in the restored image is evaluated through an image quality assessment, and the images restored with different parameters are combined according to the image quality assessment to obtain the final restored image. Because there is no need to estimate the point spread function of the blurred image, the truncated constrained least-squares algorithm of spatial calculation is used for restoration. The experimental results show that the algorithm proposed in this paper can quickly restore the space-variant defocused blurred infrared image and is much faster than the method based on point spread function estimation.
Key words ：defocus, space-variant blur, image restoration, image quality assessment
0  引言
空间变化离焦模糊是红外系统普遍存在的一个问题，产生这一问题的根本原因是受红外光学原理限制，视场中物距差别大的物体无法同时清晰成像。空间离焦模糊红外图像复原算法的目的就是通过图像处理来减弱离焦导致的图像模糊，提升图像质量。
理论研究认为模糊图像是由清晰图像与一个点扩散函数（point spread function ，PSF ）卷积并叠加上噪声的结果。对于实际模糊图像复原问题，模糊图像
已知，但模糊图像的点扩散函数是未知的，且点扩散
函数在空间分布上是不一致的，这种模糊称为空间变化离焦模糊。为了复原模糊图像，需估计图像的点扩散函数，为了简化估计点扩散函数问题，可采用理论模型来近似实际点扩散函数，离焦模糊的点扩散函数的数学模型一般可以采用圆盘模型或高斯模型[1]，使用近似模型能够将点扩散函数估计简化为估计一个参数（圆盘半径或高斯方差），高斯模型更接近实际图像中的点扩散函数，所以本文研究中选用高斯模型。
379
空间变化离焦模糊的点扩散函数在空间域上不一致，无法直接使用某一个点扩散函数来复原图像，因而目前空间变化离焦模糊图像复原算法主要有两种方法，第一种是将图像按模糊程度进行分割，对分割后每个区域的点扩散函数进行精确估计，然后使用估计的点扩散函数对对应区域的图像进行复原处理，最后将复原后的区域图像组合为完整的复原图像[2-4]；第二种是对图像的每一个像素的点扩散函数进行估计，并根据估计的点扩散函数对每个像素进行复原并组合为最终的复原图像[5]。
由于点扩散函数估计要达到较高的精度需要的计算量大，难以实现快速算法。为了实现空间变化离焦模糊快速算法且满足实时性要求，本文提出使用固定的点扩散函数组对图像进行复原，然后对复原后的图像组进行像素级图像质量评价，利用评价参数将多幅复原图像中的最佳像素组合为最终复原图像。模糊图像复原算法选用截断约束最小二乘法（truncated constrained least-squares ，TCLS ）复原算法，复原图像的图像质量评价采用基于复原图像空间二阶导（拉普拉斯算子）的特点提出新的评价方法。
1 离焦模糊图像快速复原算法
1.1  离焦模糊图像理论模型
模糊图像的数学模型可用g ＝f ⊗k ＋n 表示。式中：g 是模糊图像；f 是清晰图像；k 是点扩散函数；n 是噪声；⊗是卷积符号。离焦模糊点扩散函数的数学模型一般采用圆盘分布或高斯分布[1]。
圆盘分布来源于几何光学中的模型，根据高斯成像公式和几何相似性，可以推导出点光源成像为一个圆盘，其圆盘直径由焦距、物距等共同决定[1]。
圆盘离焦模型的点扩散函数可以表示为[1]：
()()
222
2
,10      其他      ⎧+≤⎪π=⎨⎪
⎩x y R R h x y
(1)
式中：R 是模糊半径。
高斯模型来源于算法的实际实践，暂未有明确的光学理论原理解释，它的点扩散函数数学表达如下[1]：
()2222
1
,exp 2π2x y h x y σσ⎛⎫+=- ⎪⎝⎭
(2) 式中：σ是模糊参数，即高斯模糊标准差。
高斯模型更接近实际图像中的点扩散函数，所以
truncated模型用什么软件研究中使用高斯模型。 1.2  TCLS 复原算法
本文提出的算法需使用多个不同的点扩散函数分别复原红外图像，因此需选择能够快速实现的复原算法以减少计算量，由于一般的复原算法都需转换到变换域进行复原（如维纳滤波复原算法）或需要通过多次迭代（如Lucy-Richardson 图像复原算法）来实现，不利于算法的硬件实现，本文选择TCLS 算法作为复原算法，TCLS 算法的复原过程为空间域卷积计算，便于硬件实现快速处理。
TCLS 算法由Kim 提出，TCLS 算法将约束最小二乘法（constrained least-squares ，CLS ）在变换域的操作转化到空间域，该算法执行速度快[6]。
CLS 的复原公式为[6]：
()()()()
*2
2
,,,,H u v R u v H u v P u v λ=
+
(3)
式中：H (u ,v )是点扩散函数h (x ,y )的傅里叶变换；R (u ,v )是空间域复原滤波器r (x ,y )的傅里叶变换；P (u ,v )是()1,141010p x y ⎡⎤
-⎢⎥
=--⎢⎥⎢⎥-⎣⎦
00的傅里叶变换；λ是与图像
噪声相关的系数，简称噪声系数，取值范围(0,1)，图像噪声越小，噪声系数取值越小。
CLS 复原滤波器是频域操作，使用傅里叶逆变换可以将它转换到空间域，如下式[6]：
r (x ,y )＝F －
1[R (u ,v )]              (4)
式中：F
－1
是傅里叶逆变换；r (x ,y )是空间域复原滤波
器。由于一个超大尺寸的滤波器计算是不现实的，我们需要对它进行截断，Kim 提出使用升余弦函数进行截断，相比高斯函数，它能更好地保留高频细节。最终的复原操作可以表达为[6]：
f T (x ,y )＝
g (x ,y )⊗r T (x ,y )            (5)
式中：r T (x ,y )是截断后的CLS 复原滤波器；g (x ,y )是输入的模糊图像；f T (x ,y )是初步复原的图像。
TCLS 将复原操作转化为卷积计算，减少了傅里叶变换过程，在实时成像系统中可以实现快速处理。
针对TCLS 算法复原图像存在的振铃和噪声问题，Kim 采用了空间自适应噪声平滑（spatially
adaptive noise smoothing, SANS ）算法进行处理，它利用输入模糊图像的局部方差将输入模糊图像和复原后的图像进行融合，融合方程和依据局部方差计算的
380
比例参数见下式[6]：
()()()()()()ˆ,,,,,T 1f
x y x y g x y x y x y αα=+-f  (6) ()()
,1,1
x y v x y αβ=
+
(7)
式(6)和式(7)中：()ˆ,f
x y 是最终复原图像；α(x ,y )是融合的权重系数，β是保证α在0～1之间的均匀分布的一个系数，β值越小去振铃的效果越显著，v (x ,y )是输入图像g (x ,y )的局部方差。
TCLS 算法的优点是复原过程为空间域的卷积计算，不需要对输入图像进行傅里叶变换或小波变换，硬件上可以采用有限脉冲响应滤波器实现，所以
TCLS 复原算法的硬件实现难度较小。TCLS 算法的缺点是随着需要复原的模糊的标准差增大，空间域复原滤波器的尺寸也增大，滤波器尺寸过大会导致计算量少的优势消失，所以TCLS 算法适合于模糊程度较小时，有一定的局限性。
图1是TCLS 处理的效果，其中(a)是调焦清晰图，
(b)是同场景调焦模糊图，(c)是(b)经过TCLS 复原后的图像（复原滤波器对应标准差为  1.8，噪声系数
0.0001），复原图像细节得到增强，但噪声和振铃明显，
(d)是(c)经SANS 处理后的图像，SANS 实现了降噪和
去振铃，去振铃后的图像能够使用简单的图像质量评价方法进行评价。
2  空间变化离焦模糊图像复原算法
2.1  提出的空间变化离焦模糊图像复原方法
Cheong 利用模糊图像的局部梯度对每个像素的点扩散函数进行估计，然后根据估计的点扩散函数参数从预设的多个TCLS 滤波器中选择并计算最终使用的TCLS 滤波器，实现了不需迭代的快速复原[5]。
Cheong 的算法的局限性是该算法的点扩散函数估计推导是基于孤立边的，当图像复杂时，点扩散函数的估计精度下降明显[5]。为了去掉点扩散函数估计的流程，本文提出针对不同参数TCLS 复原的图像进行区域图像质量评价的方法，将不同参数复原图像中的最佳像素组合为最终的输出图像。
本文提出的方法的流程图见图2。首先使用m 个不同标准差σi 的点扩散函数对应的TCLS 复原算法复原模糊图像并使用SANS 算法去振铃，
其中标准差σi (i ＝1～m )为递增序列，而输入图像可以认为是标准差
(a) Clear image
(b) Blur image
(c) Image restored by TCLS (d) Image restored by TCLS+SANS
图1  TCLS 算法复原效果对比
Fig.1
Comparison of image of blurred and restored by TCLS
381
为0的TCLS ＋SANS 复原算法复原的图像，将这m ＋1个图像按标准差递增的关系编号，编号分别为1到m ＋1，然后对每幅复原图像按像素进行区域图像质量评价获得m ＋1幅图像质量图，将每个像素位置的图像质量评价指标最大的图像编号输出，生成最佳像素的复原图像编号图，由于图像质量评价仅使用了区域信息，会存在错误，使用中值滤波处理图像编号图，去除错误值，最后使用处理后的图像编号图将复原图像组合为复原图像。本文提出的方法无需对点扩散函数进行估计，而且利用了TCLS 算法可以并行实现的特点，可以实现空间变化离焦模糊图像的快速复原。
2.2  空间变化离焦模糊复原算法实现
模糊图像与清晰图像的区别主要集中在边附近，模糊图像中边的宽度大，边不够清晰，而复原图像中边较为清晰。为了分析图像边的情况，使用拉普拉斯算子与图像卷积获得拉普拉斯处理的图像，拉普拉斯算子强调的是图像中灰度的突变，而灰度突变一般对应于图像中清晰边。拉普拉斯滤波图像中的“零交叉”位置是图像的边，一个像素为“零交叉”像素时，在其四邻域内同时存在正负像素。随着复原滤波器的标准差不断增大，复原图像中的边逐渐变清晰，边的边缘出现明显的“零交叉”，如果继续增大，图像中出现超出表达范围的结果（压减到能表达的最大值），图像反而质量下降。式(8)为拉普拉斯算子与图像卷积
计算：
()010,(,)141010i i L x y f x y ⎡⎤
⎢⎥=⊗-⎢⎥⎢⎥⎣⎦
(8)
式中：f i (x ,y )是按照复原滤波器的标准差由小到大对复原后图像按1～m ＋1进行编号得到复原图像组；L i (x ,y )为对应的拉普拉斯滤波后的图像。
检测图像中的“零交叉”可以使用统计的方法，计算一个像素的四邻域的像素灰度值的绝对值之和与四邻域的像素灰度值和的绝对值的差值，当该像素为“零交叉”时，差值大于0。
()010010,(,)101(,)101010010d i i i L x y L x y L x y ⎡⎤⎡⎤⎢⎥⎢⎥
=⊗-⊗⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦
(9)
L d i (x ,y )为计算的表征边强度的指标，会受图像区域像素分布影响，为了能够比较不同标准差的复原滤波器的复原结果，用L d i (x ,y )除以L i (x ,y )的绝对值来去除像素周边分布的影响，计算过程为式(10)，其中ε是为了避免除零运算而设的大于零的值，ε的取值较小即可。
()()+)
dn d ,,/((,)i i i L x y L x y L x y ε=
(10)
Image restored by TCLS+SANS (=m ,f (=1,Image restored by TCLS+SANS (=2,……
Restored image
图2  提出的算法流程 Fig.2  The proposed algorithm flow
382
L d i (x ,y )最大的像素认为是图像质量最好的像素，
使用对应的图像编号i 作为该像素位置的最优像素所在的图像编号，生成最优像素图像编号图I d (x ,y )。
()d dn dn ,(,)max((,))(1,,1)
i j I x y i
L x y L x y j m ===+ (11)
由于I d (x ,y )的计算仅使用了像素周边区域的图像信息，当周边区域为平滑区域，没有边的信息时，计算结果会出现错误，而相邻像素的离焦程度具有相关性，在很小的区域内，最优像素图像编号不应出现剧烈变化，所以对编号图I d (x ,y )按一定大小的区域（如7×7）取中值作为区域中心像素的编号。对于有边的
区域，计算结果正确的像素占多数，取中值处理能剔除错误值；对于大的平滑区域，由于不同参数的复原图像基本无变化，取中值并不会导致复原图像出现错误像素。
对I d (x ,y )的每个像素按区域取中值获得最终的最优像素图像编号图I df (x ,y )，将I df (x ,y )中每个像素I df (i ,j )对应的复原图像中(i ,j )位置的像素值作为最终复原图
像(i ,j )位置的像素值，生成最终复原图像()ˆ,f
x y 。 ()df ˆ,(,)(,)k
f x y f x y k I x y ==      (12)
图3是使用提出的复原方法复原的图像和过程图
像，使用提出的图像质量评价方法能获得较好的效果。
3  空间变化离焦模糊图像复原算法性能分析
对比
3.1  空间变化离焦模糊图像复原算法对比
为了测试本文提出的算法，使用本文算法、Zhang 的算法[4]和Cheong 的算法[5]分别对两幅空间变化离焦模糊图像进行复原。
Zhang 的算法是根据输入图像估计出点扩散函数分布图，然后根据估计的点扩散函数分割图像，对每个区域分别使用估计的点扩散函数进行复原，然后组合为复原图像，复原图像经降噪和去振铃处理后输出。Cheong 的算法则是根据图像的梯度估计点扩散函数，然后依据每个像素估计的点扩散函数使用TCLS 算法复原像素，然后组合输出最终图像。
图4是对图像1使用不同算法复原的图像，图5是对图像2使用不同算法复原的图像，本文提出的算法复原的图像最好，图像的细节丰富且对比度大，Cheong 的算法复原的图像细节丢失多，而Zhang 的
算法复原的图像效果不显著。Cheong 和Zhang 的算法的复原效果差是因为点扩散函数估计出现了较大误差，高精度的点扩散函数估计是很难实现的。
(a) Input blurred image
(b) I d (x ,y )(Normalized to display)
(c) I d (x ,y )(Normalized to display)
(d) Restored image
图3  复原图像和部分过程图像
Fig.3  Restored image and partial process images

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。