基于直方图的热红外图像增强方法
李  牧，周瑞杰，田哲嘉
（西安理工大学自动化与信息工程学院，陕西西安 710048）
摘要：为了改善热红外图像的增强效果，本文提出了一种基于改进的直方图裁剪方法的热红外图像增强算法。该算法核心是确定热红外原始图像与传统的直方图均衡化图像的直方图bins中像素点的数量差，再根据范围准则，将计算出的不同bins的差值划分为不同的区块。然后重新分配直方图，确定变换函数，得到增强后的热红外图像。该算法是一种改进的全局直方图均衡化方法，在对比度增强、直方图形状和细节信息之间可以做到较好的平衡。本文算法的峰值信噪比、结构相似度和均方误差的平均值分别为27.5、0.923和0.59，均优于其他算法，实验结果表明，该方法能有效增强热红外图像。关键词：热红外图像；图像增强；直方图均衡化；直方图裁剪
中图分类号：TP391      文献标识码：A      文章编号：1001-8891(2020)09-0880-06
A Thermal Infrared Image Enhancement Method Based on Histogram
LI Mu，ZHOU Ruijie，TIAN Zhejia
(School of Automation and Information Engineering, Xi'an University of Technology, Xi'an 710048, China)
Abstract: To improve the enhancement of infrared thermal images, this paper proposes an algorithm based on an improved histogram clipping method. The algorithm determines the difference between the number of pixels in the histogram bins of the original thermal infrared image and the traditional histogram equalization image. Subsequently, based on a specific range criterion, the calculated difference of various histogram bins is divided into different blocks. Next, the histogram is redistributed, and a transform function is determined to obtain the enhanced thermal infrared image. The algorithm is based on an improved global histogram equalization method, which achieves a suitable balance between contrast enhancement, histogram shape, and detail information. The experimental results demonstrate that the average values of the peak signal-to-noise ratio (PSNR), structural similarity index measure (SSIM), and mean-square error (MSE)—27.5, 0.923, and 590 respectively are better than those of other algorithms. Thus, this method effectively enhances the thermal infrared image. Key words：image enhancement，histogram equalization，thermal infrared image，histogram clipping
0 引言
近年来，红外热成像技术是一个发展非常迅速的研究领域[1]。应用范围包括医疗诊断、建筑检查和工业检测维修，自然科学的可视化以及安防和军事探测等[2]。
红外热成像技术可以进行定性可视化和成像，同时也可以对物体表面温度进行定量测量。物体的分子、原子通过热运动会产生人眼不可见的红外波段的热辐射，再经过红外热成像系统将采集的红外辐射转换为热红外图像。在夜间和恶劣环境下热红外的成像能力远远优于可见光成像，但是由于大气中水分子对红外辐射的吸收，将会对热红外成像性能造成不良影响[3]。有时，成像传感器质量低、用户经验不足或者操作失误等原因，也会造成热红外图像的效果不理想，所以需要对图像进行一些处理使其更适合人眼观察或机器识别[4]。
图像增强技术是一种图像预处理方法，在改善图像效果，强调某些细节信息和特征等方面起着重要作用[5-7]。图像增强有多种方式，许多基于频域和空域、
880
基于直方图均衡（histogram equalization，HE）[8]、基于融合[9]和基于Retinex[10]的方法已经被用以增强图像的对比度。其中，基于直方图均衡的对比度增强算法因其易于实现而被广泛应用。
热红外图像因受非均匀性和随机噪声的影响，与可见光图像相比，普遍存在空间相关性强、对比度低、信噪比低、边缘易模糊等问题，因此在处理方法上和可见光的处理存在差异。
本文针对热红外图像的成像特点，提出了一种改进的基于差分直方图bins技术的直方图裁剪方法，在保持原始直方图模式的同时，获得了良好的对比度增强效果。
1  直方图均衡化原理
直方图均衡化的目的是将随机分布的图像直方图修改成均匀分布的直方图[11]，如图1所示。
1
2
图1  直方图均衡化的目的
Fig.1 The purpose of histogram equalization
式中：k1、k2为灰度值；p为不同灰度值对总灰度值的占比。
因此基于直方图均衡化的图像增强技术的基本思想是：对原始图像的像素灰度做某种映射变换，使图像灰度级概率密度函数（probability density function，PDF）进行重新排布，将原始图像直方图中较大概率的灰度级分散到更多的输出灰度级上，对较低概率的灰度级进行合并和压缩，从而在灰度级范围不变的情况下实现图像灰度的动态范围的增加，同时提高了图像的对比度[12]。该技术不仅用于可见光图像增强，同样也适用于热红外图像细节增强[13]。直方图均衡化示意图如图2所示。图中：k、k1和k2为灰度值；h(k)和h eq(k)分别为原图像和直方图均衡化后图像的像素点个数；F(k)为映射函数。
直方图均衡化原理如下：
假设输入红外热图像S为S ＝ {S(i, j)}，其中(i, j)表示像素的空间坐标，S(i, j)表示图像灰度级。图像分辨率大小为M × N，则整个动态范围内的像素总数为n，也就是说，(S0, S L－1)为n，即n ＝ M ×N。L的值等于2b，b为位数，此处b＝8。
第一步，求解输入图像的概率密度函数如下：
p(S k)＝n k/n(1) 式中：k ＝0, 1, …, L－1，n k表示灰度等级为S k时的像素点数。
1
图2  直方图均衡化示意图
Fig.2 The sketch map of histogram equalization
第二步，求解累积分布函数（cumulative distribution function，CDF）如下：
1
()()
k
k j
j
c S p S
=
=∑(2)
直方图均衡是一种利用累积分布函数作为变换函数将输入的原始图像映射到所有动态范围的技术。它的转换函数F(S k)通过下式得到：
010
()()()
k L k
F S S S S c S
-
=+-⋅(3) 第三步，求得直方图均衡化后的图像：
eq
(,)()
()((,))/(,)
k
k
S i j F S
F S F S i j S i j
=
⎧
⎨=
⎩
(4)
式中：S eq(i, j)是HE增强图像。
所有基于直方图均衡化的方法可以通过不同操作，例如子直方图、直方图裁剪处理、动态范围均衡化（dynamic histogram equalization，DHE）等，使得图像对比度增强[14-16]。然而，这些方法并没有考虑保存直方图中的峰值（直方图形状）。实际上，对于所有基于直方图均衡化的方法，通过改变直方图的峰值，都可以改善图像的对比度，而前文这些方法去除掉了图像中包含的关键细节或信息。本文提出的直方图裁剪方法主要是通过自适应地提高对比度来保持直方图中的峰值，这样才获得了比直方图均衡化方法更好的增强效果。
2 改进的热红外图像增强算法
本文提出的一种基于直方图bins差分的改进直方图裁剪方法的框架如图3所示。
881
图3  算法流程图
Fig.3  Algorithm flow chart
该方法具有一个自适应的特征，可以剪裁输入直方图的峰值。此外，利用输入图像直方图和均衡化后的直方图，得到裁剪后的直方图。该方法包括以下3个主要内容：
1）图像直方图；
2）改进的直方图裁剪过程；
3）直方图bins的差分。
2.1  改进的直方图裁剪方法
对输入图像S(i, j)使用传统的直方图均衡化方法，得到增强图像S eq(i, j)。再计算增强图像S eq(i, j)的灰度直方图，用h eq(k)表示。所有基于HE的方法都是以传统的HE方法作为比较方法，本文的方法利用了传统HE方法出现的过增强和欠增强的特性来提高图像质量，从而获得更好的对比度。
改进的直方图裁剪方法的核心思想就是控制增强率。参考文献[17]，提出了改进的自适应平台直方图均衡化方法，以确定直方图非空bins的中值作为裁剪阈值M e：
e median[()]
M h k
=(5) 通过式(6)计算修改后的剪裁直方图：
c e e eq e
c c
()(0.18)    ()
()'()'
h k M M h k M
h k h k
=+≥
⎧
⎨=
⎩其它
(6)
式中：h(k)是输入图像的直方图；h c(k)是裁剪直方图，范围准则'h c(k)'参考式(7)：
c e
c eq
e
c eq
e e
c eq
()()0.18
()0
()0.8(()())
()0&()0.2
()0.7(()())
()0.2&()0.4
()0.6(()())
h k h k M
D k
h k h k h k
D k D k M
h k h k h k
D k M D k M
h k h k h k
=+
≤
直方图均衡化方法=+
>≤
=+
>≤
=+
e e
c eq
e e
c e
e e
()0.4&()0.6
()0.5(()())
()0.6&()0.8
()()0.2
()0.8&()
D k M D k M
h k h k h k
D k M D k M
h k h k M
D k M D k M
⎧
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪⎪
⎨
⎪
⎪>≤
⎪
=+
⎪
⎪
>≤
⎪
⎪=+
⎪
>≤
⎪⎩
(7)
式中：D(k)表示直方图bins的差值。
2.2 直方图bins的差分
在基于HE的方法中，我们需要到各子直方图的灰度值，并用相应的变换函数分别对每个子直方图做处理，这样得到的图像不仅在视觉效果上较差，而且图像的信息量也会减少[18]。为了克服这些缺点，本文提出使用直方图bins的差分方法。
通过式(8)计算直方图bins的差值：
D(k)＝h eq(k)－h(k) (8) 式中：h(k)是输入图像的直方图；h eq(k)是HE直方图；D(k)表示每个灰度值处的像素数量差。
在范围准则中，D(k)的取值范围分为6个部分，目的是利用原始直方图和HE直方图建立新的直方图。
在得到修改后的直方图h c(k)后，使用式(1)～(4)得到直方图均衡化增强图像。
范围准则中几个常数的选择参考了文献[19]，并对多组热红外图像进行多次试验后进行了调整。这些阈
值可以产生一个新的累积分布函数，用于生成更接近原始图像的变换函数，该函数将输入灰度值映射到输出灰度值。由于该方法使用单一的映射，因此属于全局HE方法的范畴。
传统的HE强调了像素数较多的直方图bins的优势，像素数量较少的直方图bins往往被其干扰[20]。一般来说，因为拉伸直方图高频部分并压缩直方图低频部分的对比度，会将灰度集中到直方图的最左边或最右边，造成饱和效应[21]，如图4(b)所示：
882
883
(a) (b) 图4  饱和效应：(a)原图及直方图 (b)HE 增强图像及直方图 Fig.4  Saturation effect:(a) Original image and histogram (b) HE enhanced image and its histogram 本文方法通过计算bins 差值，克服了HE 方法的
缺点，并在高频和低频直方图bins 中采用了原始直方
图和增强直方图之间的自适应平均值，再利用HE 方法的性质来保持输入直方图的形状。该方法通过使用
特定的算法，生成了一个具有保留细节信息和直方图
模式的对比度增强图像。
2.3  算法步骤
该算法的详细步骤如下所述：
Step 1：输入热红外原始图像S ，S 为灰度图像。  Step 2：得到输入图像的直方图和经过直方图均
衡化后的HE 直方图，分别为h (k )和h eq (k )，统计直方
图信息。
Step 3：计算原始图像直方图h (k )的中值M e 。
Step 4：比较M e 和h eq (k ) (k ＝0, 1, …, L －1)。如
果h eq (k )大于M e ，则修改后（剪裁）的直方图h c (k )被指定为1.15M e ，否则进行下一步。
Step 5：使用公式(8)计算直方图的差值D (k )。根据范围准则，D (k )的取值范围分为6部分，由公式(7)为图像重新分配直方图，得到h c (k )。
Step 6：使用直方图均衡化确定变换函数，通过其中的映射关系得到增强图像。
3  实验结果与分析
本文采用红外热像模组采集红外热图像，分辨率为384×288，像元间距17  m ，帧率为25 Hz 。实验环境为MATLAB R2016a ，在具有********** GHz 和8 G 内存的系统中对图像进行处理。
3.1  主观评价 为了验证本文算法的有效性，对多组热红外图像
进行实验。下面图5分别给出了(a)～(c)3组图像的原始图像，HE 、CLAHE （contrast limited adaptive
histogram equalization ）、DSIHE （dualistic sub-image
histogram equalization ）和本文提出算法增强后的图像，并且给出各图像的直方图。通过比较能够发现与HE 和DSIHE 算法相比本文算法能够较好地保存直方
图形状，CLAHE 算法虽然也能够保持直方图的基本形状，但因为使用插值的原因，使得图像背景噪声被放大。从图像效果上来看，本文算法与其余算法相比，在图像峰值较多的情况下，如图(a)，能够较好地平衡对比度和直方图的形状及细节。若图像只有单峰值如图(c)，
本文算法对图像的增强效果在视觉上不能取得理想效果。此外，观察本文算法在直方图中的表现，存在个别bins 的数量“突变”。 3.2  客观评价 本文主要通过熵（entropy ，ENT ）、均方误差（mean square error ，MSE ）、峰值信噪比（peak signal to noise ratio ，
PSNR ）和结构相似度（structural similarity index measure ，SSIM ）这4方面对图像作出客观评价[22]。 Origin HE CLAHE DSIHE
Proposed
(a) 男（室内）          (a) Man(indoor)
884
(b) 道路
(b) Road
(c) 女（室外）  (c) Woman(outdoor)
图5  增强图像及其直方图    Fig.5  Enhanced image and its histogram
熵指图像中灰度特征所包含的信息量，用式(9)
表示：
1
2
ENT()log()
L
i
p i p i
-
=
=-⋅
∑(9)
式中：i为灰度值；p(i)为当前灰度值对灰度总数的占
比。
均方误差可以评价数据的变化程度，通过均方值
的大小来确定图像的失真程度，用式(10)来表示：
2
,,
11
1
MSE()
n m
i j i j
i j
X S
mn==
=-
∑∑(10)
式中：m、n分别为图像的高和宽；X i,j表示增强图像
像素点灰度；S i,j表示原始图像像素点灰度。
峰值信噪比指最大信号量与噪声强度的比值，同
样可以用来评价图像的失真度，用式(11)来表示：
PSNR10lg
MSE
L L⋅
=(11)
式中：L一般取值255，MSE为均方误差。
结构相似度实际上是从亮度、对比度和结构信息
3方面测量增强图像相对于参考图像的相似性，用式
(12)来表示：
12
2222
12
(2)(2)
SSIM(,)
()()
x y xy
x y x y
c c
x y
c c
μμσ
μμσσ
++
=
++++
(12)
式中：x、y分别为原始图像和增强后图像；μx，μy，
σx2，σy2，σxy分别表示图像x、y的均值、方差和协方
差，c1、c2为取值较小的常数。
表1～4给出图5中(a)～(c)三组图像对应的4种评
价函数的值。从表1可以看出，与原图相比，CLAHE
算法得到的图像熵有所增加，HE、DSIHE和本文算
法得到的熵均有减少。分析表2～4，除表4中DSIHE
算法对图(b)的处理得到的结构相似度略大于本文算
法的结果（相差0.01）外，本文算法在均方误差、峰
值信噪比和结构相似度上的表现均优于其他算法。
表1  不同算法的熵
Table 1  Entropy of different algorithms
Origin
HE CLAHE
DSIHE
Proposed
(a) 6.70 6.47 7.44    6.50    6.45
(b) 6.36 6.20 7.22    6.19    6.12
(c) 5.42 5.31 6.81    5.32    5.21
表2  不同算法的均方误差
Table 2 MSE of different algorithms
HE
(103)
CLAHE
(103)
DSIHE
(103)
Proposed
(103)
(a) 2.10 0.496 0.323 0.0661
(b) 3.34 1.96    3.03    1.69
(c) 10.4 0.747 5.62 0.0139

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。