文章编号：0258-2724(2021)01-0160-09          DOI: 10.3969/j.issn.0258-2724.20190985
基于HSV 透射率加权修正的机载视频去雾系统设计
王　健 1,2
，秦春霞 1
，杨　珂 1
，任　萍 1
，郑　洁 1,3
，赵远鹏 2
，陈贵锋
4
（1. 西北工业大学电子与信息学院，陕西 西安 710129；2. 西北工业大学第365所，陕西 西安 71006
5；3. 山西汾西重工有限责任公司，山西 太原 030027；4. 国家电网陕西省电力公司检修公司，陕西 西安 710000）
摘　要：针对无人机机载雾天实时获取图像降质的问题，设计一种基于HSV （hue ，saturation ，value ）透射率加权修正的无人机视频去雾处理系统. 首先，根据机载低功耗实时去雾系统要求，完成去雾系统总体设计；其次，根据去雾系统视频采集需要，设计数字视频BT.656/BT.1120隔行和逐行处理、视频控制、指令接收处理、TS1601视频去雾算法处理、H.264视频压缩处理和组帧等功能；最后，重点介绍系统去雾处理算法和平台设计、去雾参数化处理等功能模块的设计实现，分别使用本系统方法和相关文献方法对典型含雾图像处理，采用方差函数、平均梯度函数、TenenGrad 函数等3种清晰度评价函数并做归一化处理，以进行客观评价. 研究结果表明：根据HSV 分量透射率加权修正的无人机机载图像去雾处理系统设计，具有功耗小、易实现和适应性强等特点；对典型含雾图像3处理后方差函数归一化分别提高46.87%、1.44%、12.83%，平均梯度函数归一化分别提高12.54%、9.26%、11.15%，TenenGrad 函数归一化分别提高53.19%、3.60%、8.82%，测试算法整体运算时间分别提高4.74、5.41倍和5.46倍.关键词：无人机；机载视频；去雾；暗原；HSV 中图分类号：TP368.1        文献标志码：A
Design of Airborne Video Dehazing System for UCAV Based on
HSV Transmission Weighted Correction
WANG Jian 1,2
,    QIN Chunxia 1
,    YANG Ke 1
,    REN Ping 1
,    ZHENG Jie
1,3
ZHAO Yuanpeng 2,    CHEN Guifeng
4
(1. Electronic  and  Information  College, Northwestern  Polytechnical  University, Xi ’an  710129, China; 2. No.365 Institute,Northwestern Polytechnical University, Xi’an 710065, China; 3. Shanxi Fenxi Heavy Industry Company of Limited Liability,Taiyuan 030027,China; 4. Maintence Company of State Grid Shaanxi Electric Power Company, Xi’an 710000, China)
Abstract : As there is image degradation when the UCAV (unmanned combat air vehicle) captures the real-time image in the haze day, a low power-consumption system is designed on the basis of the HSV (hue, saturation,value) transmission weighted correction. First, the overall design of the dehazing system is completed, which can meet the requests of a low power-consumption and real-time image dehazing. Then, according to the needs of the video  acquisition  dehazing  system, functions  are  being  designed, including  digital  video  BT.656/BT.1120interlaced  and  progressive  processing, video  control, instruction  receiving  processing, TS1601 video  dehazing algorithm  processing, H.264 video  compression  processing  and  framing, etc. Lastly, the  design  and implementation  are  focused  in  terms  of  the  system  dehazing  algorithm, platform  design, dehazing  parameter processing and other functional modules. Also this system and several other methods suggested in references are used to process typical hazy images respectively, and then evaluated after employing three definition evaluation
收稿日期：2019-10-12        修回日期：2020-03-16        网络首发日期：2020-04-08
基金项目：国家自然科学基金（61671383）；陕西省重点产业创新链项目（2018ZDCXL-GY-03-05，2019ZDLGY14-02-02，2019ZDLGY14-02-03）第一作者：王健（1972—），男，副教授，博士，研究方向为无人机智能情报处理技术，无人机对地观测信息处理技术，多源信息智能处理技
术，无人机对地观测三维可视化技术，E-mail ：*****************
引文格式：王健，秦春霞，杨珂，等.  基于HSV 透射率加权修正的机载视频去雾系统设计[J]. 西南交通大学学报，2021，56(1)： 160-167,
205．
WANG Jian ， QIN Chunxia ， YANG Ke ， et al.  Design of airborne video dehazing system for UCAV based on HSV transmission weighted correction[J].  Journal of Southwest Jiaotong University ， 2021， 56(1)： 160-167, 205．
第 56 卷　第 1 期西　南　交　通　大　学　学　报
Vol. 56    No. 12021 年 2 月
JOURNAL OF SOUTHWEST JIAOTONG UNIVERSITY
Feb.  2021
functions (variance function, average gradient function and TenenGrad function) and normalization pr
ocess. The results indicate that the design of this dehazing system has such merits as low power consumption, easy implementation, and high adaptability. After processing the typical hazy images, the variance function is increased by 46.87%, 1.44% and 12.83%, the average gradient function is increased by 12.54%, 9.26% and
11.15%, that of normalization of TenenGrad function is increased by 53.19%, 3.60% and 8.82%, respectively.
The overall operation time of the test algorithm is respectively increased by 4.74 times, 5.41 times and 5.46 times.
Key words: UCAV (unmanned combat air vehicle); airborne video; dehaze; dark channel prior; HSV (hue, saturation, value)
在无人机对地侦察中，需要实时获取地面感兴趣目标较为清晰的图像数据，但空中雾霾等因素会影响获取的图像质量. 针对雾天获取机载图像降质的问题，需要设计无人机机载视频去雾实时处理系统，最大限度地实时、有效获取侦察影像信息，优化影像视觉效果. 因此，系统既要可靠去雾又要满足机载低延迟、低功耗处理要求. 目前，相关学者已经提出多种去雾算法和实现方法. 在去雾处理算法方面，He等[1]提出基于暗通道先验的图像去雾算法，利用软抠图细化透射率. 随后He等[2]采用导向滤波来提高
效果，但该算法对空中区域的处理效果尚需改善. Berman等[3]利用不同的透射系数恢复了距离图和无雾图像. Meng等[4]提出一种有效的正则化去雾算法，通过探索固有的边界约束来恢复无雾图像. 范新南等[5]利用亮通道先验和模糊聚类对雾图进行场景分类. Chen等和Hu等[6-7]提出一种基于联合局部全局光照调整的自适应单图像去雾算法，以代替大气散射模型中的全局大气光照常数. Zhao等[8]利用增加输入数据量来解决输入卷积层特征维问题，为深度图的恢复提供了更多的信息. Liu等[9]提出一种亮度重建方案，使用能量项来实现亮度和对比度之间的良好折衷. 最近，基于深度学习的方法被应用于图像中的云雾去除. Qin等[10]提出将薄雾模拟为各波段的模糊，并应用多尺度去雾卷积神经网络（convolu-tional neural network，CNN）去除薄雾. Singh等[11]首次将生成性对抗网络（generative adversarial network，GAN）用于云雾去除，提出云雾生成对抗模型方法，进一步提高去雾性能. Ding等[12]利用残差学习将给定的模糊图像直接投影到残差图像模糊图像和相应的模糊图像上，通过将估计的残差相加得到无雾图像. 在去雾算法工程实现方面，周晓波等[13]在FPGA （field programmable gate array）中采用乒乓操作缓存和流水线处理方式，解决对比度自适应直方图均衡化方法. 张海滨[14]采用FPGA的并行处理等系统平台实现相关去雾算法软件设计. 匡娇娇等[15]基于暗原去雾模型，在DSP （digital signal processing）中估算雾浓度并恢复出高质量的图像. Zhang等[16]采用易于VLSI （very large scale integration）设计的自适应滤波技术，对传输图进行细化，提高了去雾效果. 上述去雾算法在FPGA、DSP和VLSI硬件实现，需要解决诸如算法复杂度、时序、逻辑功能和外围接口电路等复杂问题. 为了满足对地侦察机载去雾低功耗、实时、可靠去雾指标要求，本文选择去雾处理芯片T
S1601特性，并结合i.MX6嵌入式系统，提出一种满足无人机战技指标的机载图像HSV （hue，saturation，value）透射率加权修正的去雾方法，并由此完成相关去雾系统设计、去雾参数分析控制、实时去雾处理、去雾视频压缩处理、接口电路和指令响应等设计，最后通过实验测试验证本系统的有效性.
1    系统总体方案
机载视频去雾系统总体方案处理流程如下：首先，采用Techwell公司TW9912[17]对模拟摄像头数据进行隔行/逐行视频数据采集，采用Semtech公司GS2971[18]对高清摄像头数据进行采集，完成BT.656/ BT.1120数字视频输出；其次，采用TSSI公司专用去雾处理TS1601[19]，解决基于HSV透射率加权修正的BT.656/BT.1120机载数字视频的去雾处理算法实现；接着，采用Freescale公司i.MX6[20]嵌入式平台完成对TS1601去雾透射滤加权修正控制参数评估、去雾控制和遥控遥测指令处理；最后，针对信道受限情况，设计i.MX6的H.264压缩和数据组帧[21]等工作. 系统总体框图如图1所示. 此外，设计TS1601和TW9912采集芯片I2C （inter-integrated circuit）接口控制功能、GS2971芯片GSPI （general serial peripheral interface）接口配置和控制、遥控/遥测指令处理电路完成机载遥控接收和遥测指令回报等[22].
第 1 期王    健，等：基于HSV透射率加权修正的机载视频去雾系统设计161
图 1  机载视频去雾系统总体框图
Fig. 1  Overall block diagram of airborne video dehazing system
2    系统设计与实现
根据机载嵌入式去雾系统功能需要，需要完成系统去雾处理初始化、系统去雾控制、去雾算法设计、系统视频去雾处理设计等工作.2.1    系统去雾处理初始化设计
系统去雾处理初始化设计完成视频接口芯片TW9912和GS2971，i.MX6嵌入式系统串口、定时器和GPIO （general-purpose input/output ）口等系统相关处理事件初始化，其他功能设计如下：
1） 机载去雾系统初始化：系统通过初始化完成相关TS1601去雾接口和状态配置，需要关闭系统中断响应，去雾配置完成后再根据需要开启中断.
2） TS1601芯片的去雾功能初始化：根据机载视频去雾处理要求，完成TS1601芯片的去雾处理算法设置，去雾算法透射率参数修正等采用配置脚本方式，可快速、准确实现机载去雾处理模式设置. 设计的TS1601去雾模块初始化流程如图2所示.
图 2  TS1601模块初始化流程
Fig. 2  TS1601 module initialization process
2.2    系统去雾控制设计
为实现机载去雾处理系统设计，需要根据系统硬件设置和控制参数情况，调用去雾参数分析设计的配置文件，完成相关硬件功能控制设计，包括：I 2
C 总线的控制、串行外设接口FLASH 中XDATA 设置、视频信号检测和模式配置、视频编码设置、视频OS
D （on-screen display ）设置、去雾窗口状态等，相关实现流程如图3所示.
1） I 2局部直方图均衡化
C 总线设计：计算I 2
C 的实际频率为53 kHz ，将占空比的值写入到占空比寄存器_rcI 2
C_SCLC 中，将_rcI 2
C_ADDRESS 地址寄存器配置为0x00，_rcI 2
C_DATA 数据寄存器配置为0x00，_rcI 2
C_ STATUS 状态寄存器配置为0x00.
2） TW9912控制设计：i.MX6芯片通过I 2
C 总线自动检测前端视频A/
D 芯片，i.MX6发送芯片地址0x8A 到I 2
C 总线上，并读取设备芯片的I
D 号0x60，按照机载视频采集需要设计TW9912寄存器，完成隔行/逐行、BT.656/BT.1120输出等模式[16]
.
3） GS2971控制设计：采用I/O 电平控制与SPI 接口相结合的方法，通过i.MX6配置为20位和10位BT.656/BT.1120数据输出，配置为多分辨率
高清数字视频，系统可根据机载高清视频需要输出[12]
.
总之，系统可根据机载视频采集模式需要设计去雾控制，完成NTSC720、PAL720、1080P25和1080P30等模拟和数字视频采集. 因此，采用这种多模式多分辨率的视频采集模块设计的系统通用性和适应性更好.
系统去雾平台设计包括前端采集设备的检测，去雾功能的脚本初始化以及输入信道等设计. 系统去雾平台实现流程如图4所示.
162西  南  交  通  大  学  学  报
第 56 卷
图 3  系统去雾控制实现流程Fig. 3  System control initialization process
图 4  去雾平台实现流程
Fig. 4  Software design process for platform initialization
1） 去雾功能脚本初始化：根据机载去雾处理功能需要，按照HSV 透射率加权修正的去雾处理算法进行脚本参数设置，读取脚本文件各个参数并进行相应配置，系统初始化时，可以根据系统硬件设置和控制参数情况，直接调用对应脚本文件，能够快速直接准确配置模块参数，最终完成TS1601芯片去雾功能、工作模式和参数的配置[12]
.
2） 输入信道的设计：将输入信道设置为前端对
应模拟和数字视频采集芯片的输入.
3） 视频编码器更新：根据机载视频编码器TW9912和GS2971采集分辨率等参数需要，完成诸如NTSC720、PAL720、1080P25和1080P30等模拟视频编码或者数字视频编码器设计.
4） 系统平台参数和OSD 参数设计：根据机载处理需要，设计机载平台各项控制参数、OSD 等相关功能参数设计.
5） 设计无人机视频H.264压缩码率受控内核循环处理，解决压缩编码的运动估计搜索范围、最大关键帧间距、SPI 接口缓冲区码率控制机制问题，完成系统SPI 输出码率受限软件设计[21]
.2.3    算法设计
无人机对地侦察时需要进行高空远距离垂直拍摄，无人机侦察图像相对于一般文献算法所研究的雾天图像具有独特的特点：
1） 无人机机载视频场景大多是高空远距离拍摄，变化缓慢、低亮度和低对比度的场景，场景中各景物透射率受雾等因素的影响大体相同.
2） 机载侦察图像涉及范围广，获取侦察图像涉及场景繁杂，有湖泊河流、荒地丘陵和浅建筑等区域，部分侦察获取图像含有大比例不符合暗原先
第 1 期
王    健，等：基于HSV 透射率加权修正的机载视频去雾系统设计163
验的区域.
在解决上述问题基础上，机载去雾系统应具有快速有效、实用以满足对地实时观测需要，应针对机载图像特点和实际工程情况设计去雾算法. 因此，机载视频去雾算法采用基于HSV 透射率修正的改进暗原先验单幅图像去雾方法. 系统采用大气散射
[1]
I (x )J (x )t (x )t (x )J (x )A (1−t (x ))式中：x 为图像中像素点的坐标；  为机载含雾图像；  为恢复的去雾图像；A 为大气光值；  为透射率.  指直接衰减项，  为大气光强度.
I (x )t (x )
图像去雾处理是从  、A 和  中恢复出图  Ω(x )式中：  为一块方形区域；I c 为含雾图像的一个
颜通道；t 0为保护因子，用于防止t (x )太小而导致图像去雾后图像失真，根据文献[1]设定t 0=0.1；R 、G 、B 分别为机载图像的RGB 各分量值.
机载实时图像去雾处理需要解决图像对比度和亮度退化情况，通过对机载图像分析以建立雾天图像透射率算法模型. 在求取透射率图时使用最小值滤波算法建立透射率并不符合高空远距离图像场景变化较小、缓慢，亮度和对比度较低的场景[1-3,5]
. 对于机载
去雾处理低延迟、高对比度等处理要求，改进的去雾
算法复杂度又较高[3-5]
. 对于远距离超低能见度的地面
雾霾图像，通常采用的去雾算法还会出现机载图像处
理后的噪声较大
[2,4]
，因此需要进行针对性的改进. 本
文针对机载图像视场变化缓慢以及低对比度和亮度等的快速去雾处理要求，根据机载含雾图像HSV 信息的差异，分别对HSV 各分量进行特征提取，提出一种基于透射率加权修正的机载图像去雾算法.
i ∈(0,M )j ∈(0,N )机载图像中分辨率为M  × N 的每个像素点(  ，  )，其相分量H (i,j )、饱和度分
机载图像的H (
i,j )、S (i,j )和V (i,j )各特征分量的平均值分别为
N 1N 2N 3式中：  、  、  为RGB 各分量值不为0的像素点
数量.
由于雾天环境下场景亮度通常不及大气光值，复原后的图像亮度会出现一定程度的降低，所以需要调
整图像的整体亮度以提高图像质量. 根据文献[22-23]对于雾天图像类型及其HSV 各分量分布特征图和参数分析，结合所研制型号无人机机载含雾图像数据测试，按照无人机总体设计对机载图像去雾处理系统技术指标要求，进一步将机载含雾图像按照如下含雾等级设定.
含雾图像等级1：
含雾图像等级2：
式中：&&表示“与”.
在雾天条件下，大气光线发生散射和被吸收会导致光线衰减，机载图像对比度和亮度信息一般比较低，并且距离无人机越远的地方越模糊不清. 针对上述分析，基于透射率具有局部区域内恒定不变的特性，为了提高透射率估计算法的运行效率，采用含雾图像HSV 分量加权修正等级确定透射率方式，使天空区域的透射率比较准确，在含雾图像等级1的区域利用透射率对含雾区域进行加权修正，使天空含
雾区域的对比度和亮度增大；而在含雾图像等级2的区域需要对透射率保持基本不变. 该方法得到的修正的透射率既满足了透射率的局部区域一致性，对图像含雾区域具有自适应性，又大大提高透射率的效率. 定义透射率为
164西  南  交  通  大  学  学  报第 56 卷

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。