图像增强算法综述①
靳阳阳,  韩现伟,  周书宁,  张世超
(河南大学 物理与电子学院, 开封 475001)
通讯作者: 韩现伟摘　要: 图像增强算法主要是对成像设备采集的图像进行一系列的加工处理, 增强图像的整体效果或是局部细节，从而提高整体与部分的对比度, 抑制不必要的细节信息, 改善图像的质量, 使其符合人眼的视觉特性. 首先, 本文从图像增强算法的基本原理出发, 归纳了直方图均衡图像增强、小波
变换图像增强、偏微分方程图像增强、分数阶微分的图像增强、基于Retinex 理论的图像增强和基于深度学习的图像增强算法, 并讨论了它们的改进算法. 然后，从视觉效果、对比度、信息熵等方面对几种算法进行了定性和定量的对比, 分析了它们的优势和劣势. 最后, 对图像增强算法的未来发展趋势作了简单的展望.
关键词: 图像增强; 直方图均衡; 小波变换; 微分方程; Retinex 理论; 深度学习
引用格式:  靳阳阳，韩现伟，周书宁，张世超.图像增强算法综述.计算机系统应用,2021,30(6):18–27. /1003-3254/7956.html
Review on Image Enhancement Algorithms
JIN Yang-Yang, HAN Xian-Wei, ZHOU Shu-Ning, ZHANG Shi-Chao
(School of Physics and Electronics, Henan University, Kaifeng 475001, China)
Abstract : Image enhancement algorithm mainly process the captured images to enhance the overall effect or local details,increasing the overall and partial contrast while suppressing unwanted details. As a result, the quality of the images is improved, conforming to the visual perception of the human eye. Firstly, according to the basic principles of image enhancement algorithms, this study analyzes those b
ased on histogram equalization, wavelet transform, partial differential equations, fractional-order differential equations, the Retinex theory and deep learning, and their improved algorithms.Then, the qualitative and quantitative comparisons between image enhancement algorithms are carried out with regard to visual effect, contrast, and information entropy to indentify the advantages and disadvantages of them. Finally, the future development trend of image enhancement algorithms is briefly predicted.
Key words : image enhancement; histogram equalization; wavelet transform; differential equation; Retinex theory; deep learning
在全球信息化大幅发展的时代, 对于这个世界的认识越来越依靠于信息的爆炸性传递. 大部分人认识世界的主要途径还是眼睛的可视性, 人眼所看到的一切都可以化作图像的形式. 图像的获取、生成、压缩、存储、变换过程自然会受到各种状况的影响, 例如获取图像时会因为天气原因, 不同光照条件, 图像亮
度也有着细微的变化, 同样由于仪器设备的质量, 参数的设置, 人员的操作都会使图像质量在一定程度上的损伤, 影响图像的质量. 图像增强算法的出现, 无疑是对受损的图像做一个“修补”的工作, 以此来满足各样的需求. 图像增强的目的是为了适应人眼的视觉特性，且易于让机器来进行识别. 近些年来, 图像增强的发展
计算机系统应用 ISSN 1003-3254, CODEN CSAOBN
E-mail: Computer Systems & Applications,2021,30(6):18−27 [doi: 10.15888/jki.csa.007956] ©中国科学院软件研究所版权所有.
Tel: +86-10-62661041
①  收稿时间: 2020-10-12; 修改时间: 2020-11-05; 采用时间: 2020-11-17; csa 在线出版时间: 2021-06-01
涉及了很多领域, 其中包括了遥感卫星成像领域、医学影像领域、影视摄影等各领域[1].
要想真正地实现图像增强的效果, 首先对于整个图像来讲, 要提高图像部分和整体的对比度, 细节也不能忽略; 其次应提高图像的信噪比, 抑制噪声的产生，对“降质”的图像处理; 然后是对于增强过的图像来讲，避免出现局部增强不适, 影响人眼的观看模式.
下面我们将列出几类典型的且应用范围比较广的图像增强算法以及改进的算法. 直方图均衡(HE)技术原理是对原图像的灰度直方图从比较集中的某个灰度区间转换为全部灰度区域内的均匀分布[2]; 由此算法进行转化的局部直方图均衡化[3], 符合图像局部特性; Kim 等提出的保持亮度的双直方图均衡算法(BBHE)[4]，最大亮度双直方图均衡(MMBEBHE)算法有效地保持图像亮度[5]; 迭代阈值的双直方图均衡
算法(IBBHE)[6]用迭代的方法达到增强对比度和亮度保持的效果; 彩图像直方图均衡算法[7], 运算复杂度很低, 合并图像的视觉效果很好. 基于偏微分方程(PDE)的增强方法是把图像作为水平集或高维空间中的曲面, 再根据曲线和曲面演化逐步来增强图像的对比度[8]; 基于全变分模型插值的图像增强方法[9], 保留原图像的细节, 提高了对比度; 基于HE的偏微分方程增强方法, 在梯度域增强对比度基础上[10]提出新梯度变换函数. 小波变换中增强本质是图像信号分解为不同频段图像分量[11]; 小波变换图像多聚集模糊增强方法[12], 增强后的图像较为清晰; 基于离散余弦变换(DCT)和离散小波变换(DWT)的图像增强方法, 提高图像的质量, 同时减少计算复杂度和内存使用量[13]; 基于小波分析和伪彩处理的图像增强方法[14], 在降噪增强的同时进一步提高图像分辨率. 基于量子力学偏微分方程的缺陷图像增强的研究[15]. 基于PDE的红外图像增强, 很好改进了传统对比度增强方法的不足[16]; 基于PDE平滑技术是一种新兴的图像增强滤波技术, 实质性、开创性的研究在图像增强滤波中引入的尺度空间理论[17]. 基于LBPV (Local Binary Pattern Variance)的分数阶微分图像增强算法[18]，在图像纹理和细节方面处理效果比现有分数阶算法效果更好; 自适应分数阶微分理论指纹图像增强算法改进了传统分数阶微分形式, 提高了计算精度[19]. 基于多尺度Retinex的HSV彩快速图像增强算法, 在HSV 颜模型中有与Multi-Scale Retinex (MSR)等同的结果, 处理时间短[20]; 基于多尺度Retinex的数字射线照相增强算法, 改善对比度, 抑制噪声[21]; MSR与颜恢复(MSRCR)算法增强的图像在复杂的情况下进行识别物体[22]; 基于变分Retinex方法的图像增强, 良好结合了MSRCR和变分方法的优点, 保证图像自然度[23].近年来, 基于深度学习的图像处理算法迎来了一个新的时代[24]. Hu等利用超分辨卷积神经网络(SRCNN)方法提高了风云卫星亮温图像
的峰值信噪比, 结果较传统方法更精细[25]; Li等利用深度学习来增强低光图像, 提出利用深度的卷积神经网络进行学习, 提高图像质量[26].
1  图像增强算法的介绍
1.1  直方图均衡算法
直方图均衡化算法, 简言之就是对图像直方图的每个灰度级来进行统计[3]. 实现归一化的处理, 再对每一灰度值求累积分布的结果, 可求得它的灰度映射表，由灰度映射表, 可对原始图像中的对应像素来进行修正, 生成一个修正后的图像.
1.1.1    传统标准直方图均衡算法
f HE
传统直方图均衡算法是通过图像灰度级的映射，在变换函数作用下, 呈现出相对均匀分布的输出图像灰度级, 增强了图像的对比度. 该算法是相对于图1中n=1, 均衡函数为的简化模型[27], 即:
f HE
X k= {X0,X1,···,X L−1}
其中, 函数代表直方图均衡过程, 其大致过程为: 已知输入和输出图像为X和Y, 总灰度级为L, 则存在
, 均衡后输出和输入图之间有如下变换关系:
c(X k)
其中, 展现的累积概率分布表示函数输入图像灰
度级.
图1    全局均衡算法的模型
L=∞如果输入图像看作一个连续随机变量, 即，则输出图像自然是一个随机变量, 输出图像灰度级均
衡后的概率分布将趋于均匀, 则输出图像的亮度均值为:
2021 年 第 30 卷 第 6 期计算机系统应用
得到均衡后图像的均值分布与原图像无关, 由此可知其不能有效保持原始图像的亮度, 由于原图像各灰度级概率密度的差异, 简并现象的产生明显变多.
1.1.2    保持亮度的双直方图均衡算法
BBHE 实质是利用两个独立的子图像的直方图等价性[4]
. 两个子图像的直方图等价性是根据输入图像的均值对其进行分解得到, 其约束条件是得到均衡化后的子图像在输入均值附近彼此有界作为基于图像均值进行的分割, 均衡后图像均值偏离原始图像均值的现象不会出现, 达到了亮度保持的目的, 其算法流程如下:
G mean 1)计算输入图像均值, 根据均值将原始直方图分为左右两个子直方图.
P L (i )P R (i )2)分别计算左右两个子直方图的灰度分布概率直方图和, 即:
N L N R 其中, 和分别表示左右两个子直方图的总像素数,L 表示图像总灰度级数.
cd f L (i )cd f R (i )3)计算左右两子直方图的累积分布直方图和, 即:
tab L (i )tab R (i )4)计算左右两个映射表和, 合并之后得到最终的映射表tab , 其中
round 表示四舍五入取整, 即:
对于一些低照度和高亮的图像, 均值会处于较低和较高的地方, 若此时基于均值进行分割并分别均衡的话, 很大程度上会导致一个有大量数据的子直方图在小范围内进行均衡的情况出现, 另一个只有少量数
据的子直方图却在较宽的范围内均衡.
1.2  小波变换图像增强算法
19世纪80年代Morlet 提出小波变换的概念, 数学家Merey 在十几年后提出小波基构造思想, 随着Mallat 的加入, 两个人共同建立了小波变换算法. 通过小波逆变换将同态滤波处理的低频分量和经自应阈值噪、改进模糊增强的高频分量得到增强处理后的红外图像[28].
1.2.1    标准小波变换图像增强
小波理论具有低熵和多分辨率的性质, 处理小波系数对降噪有一定作用, 噪声主要在高通系数中呈现，对高低通子带均需要增强对比度和去噪处理. 标准小波变换图像增强(WT)将图像分解为1个低通子图像和3个具有方向性的高通子图像, 高通子图像包括水平细节图像、垂直细节图像和对角细节图像[29]. 小波变
换最大的特点是能较好地用频率表示某些特征的局部特征, 而且小波变换的尺度可以不同[30].
1.2.2    改进后的小波变换图像增强算法
针对传统方法对图像多聚焦模糊特征进行增强会出现图像不清晰、细节丢失现象, 小波变换图像多聚焦模糊特征增强方法, 利用背景差分法将目标图像的前景区域提取出来, 背景区域亮度会随时间发生变化，进而完成背景区域特征更新; 根据全局像素点熵值和预设阈值校正加强模糊特征, 突出小波变换图像边界局部纹理细节信息, 完成增强变换. 基于小波变换域的医
学图像增强方法[31], 是基于Shearlet 变换改进的Gamma 校正, 采用改进的伽玛校正对低频进行处理, 利用模糊对比函数增强图像细节, 增强图像的对比度.
二进小波变换简单的对信号尺度参数实现了离散化, 不过仍具备和连续小波变换同样的平移不变特性.利用二进小波变换将指纹图像分解[32], 步骤如下:
1)首先将获取的指纹图像进行尺度的分解, 这样得到的频率分量为一低三高;
2)对低频分量进行直方图均衡;
直方图均衡化方法3)对3个高频分量先进行高斯拉普拉斯掩膜锐化, 得到锐化后的图像;
4)直方图均衡后的低频分量和处理后的3个高频分量进行二进小波逆变换重构, 得到增强后的图像.
1.3  偏微分方程图像增强算法
u (x 1,x 2,···,x n )
关于未知函数的偏微分方程是形如式(11)的等式:
计算机系统应用
2021 年 第 30 卷 第 6 期
x =(x 1,x 2,···,x n )Du =u x 1,u x 2,···,u x n 其中, , , F 是关
于x 和未知函数u 加上u 的有限多个偏导数的基础函数. 偏微分方程(Partial Differential Equation, PDE)是微分方程的一种, 如果一个微分方程出现多元函数的偏导数, 这种方程就是偏微分方程
[33]
.
1.3.1    标准偏微分方程图像增强
V l o (p )V l (p )l o V l o (p )V l (p )l o l o l o 假设和分别为两幅图像和l 的对比度场, 若与在每一点上具有相同的梯度方向，但前者大小均大于后者
, 则图像应该比l 具有更高的对比度, 可以将看作l 的增强图像. 实际上, 从图像l 到图像的过程就是标准PDE 图像增强实现的过程，可以由以下式子来描述它们的关系:
V l o (p )
式中, 为增强后图像的对比度场; k 为增强因子，一般情况下k ＞1, 过大的话会增大噪声. 对于式(12)，图像l 是已知的, 其解为:
φl o (p )式中, 是一个与坐标无关的常数. 可看到两幅图像之间的动态范围存在k 倍的差距. 对于可在计算
机屏幕上显示的数字图像, 其动态范围为0 ~ 255. 我们要做到先要对的对比度场进行约束, 之后开始按照步骤运算, 最后才能得到比较准确的数据.
1.3.2    改进的偏微分方程增强方法
∇u max ∥∇u ∥min
为避免增强图像梯度场同时造成噪声的危害加剧，寻一种比较适合的增强方法. 定义原图像的数值梯度函数为, 梯度模的最大值为, 最小值为
, 增强之后的图像梯度为S [10]:
∥∇u ∥
[min ∥∇u ∥,max ∥∇u ∥][
0,max ∥∇u ∥
]式中, 表示梯度场的方向信息. 经过改进的梯度函数
梯度场从的区域内映射到内. 原本纹理突显出来的同时保留梯度值较大的边缘.
基于量子力学偏微分方程的缺陷图像增强研究方法[15]. 航空材料缺陷的图像增强对缺陷的定性和定量性能起着至关重要的作用, 由于复合材料分布不均匀，将导致缺陷成像对比度不高, 会让识别和量化的难度加大. 算法主要分为两个步骤: 首先是根据量子力学理
论, 计算图像边缘的量子概率; 在此基础上, 建立融合各向异性量子概率的偏微分方程来增强航空材料缺陷图像. 此算法可以在有效抑制噪声和减少成像不均匀
性的同时
, 更好保留缺陷的特征, 增强图像的对比度.
1.4  分数阶微分方程增强算法
近些年, 分数阶微积分在多领域都有了突破性进展[34]. 分数阶微分不仅可以提升图像中的高频分量, 还可以以一种非线性形式保留图像中低频分量所带有的性能. 常用的分数阶微分定义有G-L 、R-L 、Caputo 三种定义, 其中最常用的是采用非整型分数阶微积分的G-L 定义[35].
1.4.1    图像增强的分数阶微分算子构造
m ×n 让图像像素邻域中任一像素与对应系数进行乘法运算, 得到的结果再进行和运算, 得到像素点所在位置的回复, 当邻域的大小为, 要求的系数会很多. 这些系数被排列成一个矩阵, 称为滤波器、模板或者掩模[36].
f (x ,y )在整数阶微分方程的增强算子中, 有一类是拉普拉斯算子, 对任一二元连续函数来讲, 其拉氏变换可表示为:
f (x ,y )f (x ,y )f (x ,y )x ∈
[x 1,x 2]y
∈[y 1,y 2]
n x =[x 2−x 1]
n y =[y 2−y 1]由于在图像中, 两个相邻像素点之间灰度产生差异的距离最小, 因此图像
在它的x 和y 方向上灰度值的变化只能以像素之间的最小距离为单位来进行数值度量和分析, 所以的最小等分间隔只能设为: h =1, 如果图像中x 和y 方向的持续区间分别为和, 则最大等分份数分别为和.
将上式拉普拉斯变换写成离散的表示形式, 对x 方向和y 方向重新定义, 得到它的二阶微分表示:
根据以上定义, 可以得到:
拉氏算子还要对处理前后的图像完成进一步的叠加, 其方式如下:
2021 年 第 30 卷 第 6 期
计算机系统应用
在雾天图像中应用算子增强图像, 边缘轮廓还有纹理部分的效果会很容易看到, 不过若是图像像素中某一范围灰度变化不明显, 细节可能受到损失. 因此，构建图像增强的分数阶微分算子, 将整数阶微分扩展到分数阶微分上并且应用于图像增强中[37].
1.4.2    改进的分数阶微分算子增强图像
相比传统的分数阶微分算法的不足, 提出新的改进算法, 在极端条件处理拍摄的交通图像时, 具有良好效果. 上文提到的指纹图像增强算法, 对传统形式加以改造, 在计算精度上有所提升, 进而构造了更加高精度的分数阶微分掩模. 通过对像素周围的纹理对比从而逐点选择微分阶, 明确的选择了具有二阶精度的分数阶微分形式来构造IRH 算子, 并对算子结构进行相应的改进, 之后利用图像的梯度信息和局部统计信息, 结合中心像素对相邻像素的影响, 建立自适应分数阶微分的自适应函数, 此法保留了指纹纹线和图像纹理细节, 对于降噪起到很好的作用.
1.5  Retinex 图像增强算法
S (x ,y )L (x ,y )R (x ,y )S (x ,y )L (x ,y )Retinex 是retina(视网膜)和cortexv(大脑皮层)组成的, Retinex 算法由美国物理学家提出[38]. Retinex 理论的基础是人类视觉系统的彩恒常性, 人类视觉感知系统的知觉存在“先入为主”的特性, 即光源条件发生改变, 视网膜接收到的彩信息也会被人们的大脑驳回. Retinex 理论的依据就是是原始图像可以分解为照射图像和反射图像, 最重要的就是让摆脱的影响, 以便
得到图像的反射属性.
1.5.1    经典的Retinex 图像增强
对数域进行操作可以把乘法运算变成简单的加法运算, 进而出现了多种Retinex 算法. 经典的有: 单尺度Retinex 算法(SSR)、多尺度Retinex 算法(MSR)和带彩恢复的多尺度Retinex 算法(MSMCR)等
[39]
.
针对运算速度缓慢的问题, 在1986年, Jobson 等
[40]
将高斯低通滤波与Retinex 结合, 改进了Land 提出的中心环绕Retinex 算法(Center/Surround Retinex), 提出了单尺度Retinex(SSR)
算法. 在SSR 算法中, Jobson 等创新的使用高斯函数与图像进行卷积的方式来近似实现了入射分量的表
达. 它的数学表达式如式(20)表示:
I i (x ,y )i ∈(R ,G ,B )G (x ,y ,c )∗L i (x ,y )其中, 表示原始图像的第i 个通道分量的像素值,
颜通道中的一个, 表示中心环绕
函数, 是一种卷积操作表示, 入射分量的表达可以借用Jobson 等的成果, 则可以看做入射图像的第i 个通道分量. SSR 的实现过程如式(21)至式(23)所示
:
由于SSR 算法处理要对图像细节对比度和彩的保留做到很好的发展, 而尺度c 又相对难做到极好的运用, MSR 算法的出现, 在很大程度上解决了这一问题, 起到了平衡图像彩和细节的良好效果.
1.5.2    改进的Retinex 图像增强
Retinex 算法对于图像增强的效果需要经过精确且复杂的计算, 最后的结果精确度越高, 增强效果将会更好. 文献[20]中基于多尺度Retinex 的HSV 彩快速图像增强算法. 在HSV 模型中用多尺度Retinex 进行图像增强, 由于颜转换的非线性, 计算起来非常复杂. 使用亮度校正的MSR 算法基于HSV 颜模型和修正的V 频道输出图像的RGB 分量的线性形式减少30–75%的平均处理时间, MSR 算法在Haar 小波变换低频区域应用亮度校正的处理速度有很明显优势, 平均加速度接近3倍. 文献[22,23]中介绍了MSRCR 算法. 由于传统均值移位算法有不少的不足, 改进后, 对要增强的图像可以在情况复杂下进行识别物体, 增强对比度的同时, 光晕现象的产生被消灭, 噪声得到抑制，保证图像自然度. 基于Retinex 提出一种自适应的图像增强方法, 其中包括如下4个步骤: (1)用引导滤波器估计其照度分量; (2)提取图像的反射分量; (3)对反射分量进行颜恢复校正; (4)后处理. 由于雾霾和照度较低, 自然生成的图像质量比较差, 而此法不管是在定量还是定性上都突出了更好的优势. 此算法最终的结果图像具有清晰的对比度和生动自然的颜[41].
1.6  基于深度学习的图像增强算法
在当今社会经济科技奋进之时, 深度学习的发展可谓是如日中天, 特别是在图像增强方面.
1.6.1    卷积神经网络图像增强算法
神经网络(neural networks)最基本的组成结构是
计算机系统应用
2021 年 第 30 卷 第 6 期

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。