总762期第二十八期2021年10月
正则匹配一张图片河南科技
Journal of Henan Science and Technology 信息技术
无人机航拍路面图像处理的拼接算法研究
周方圆　杨鹏举
（延安大学物理与电子信息学院，陕西　延安　716000）
摘　要：道路交通领域的不断发展需要足够清晰和大量的路面图像作支持。以往在路面图像获取和拼接过程中，由于相似图片数量较大，配准正确率始终无法有效提升，同时存在操作时间较长、工作效率和质量低下的问题。在此背景下，针对航拍路面图像的拼接算法应运而生，使得图像处理变得更加准确迅速，对促进道路交通领域的发展具有积极作用。因此，全面分析尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）算法，并阐述其在航拍路面图像处理中的应用效果，以便为相关从业者提供一定的参考。
关键词：无人机（UAV）；航拍图像；路面；图像拼接；尺度不变特征变换（SIFT）算法
中图分类号：TP391.41      文献标识码：A    　文章编号：1003-5168（2021）28-0006-03 Research on Splicing Algorithm of UAV Aerial Pavement Photography Processing
ZHOU Fangyuan　YANG Pengju
（School of Physics and Electronic Information, Yan’an University, Yan’an Shaanxi 716000）Abstract: The continuous development of the field of road traffic needs enough clear and a large number of road images as support. In the past, in the process of road image acquisition and splicing, due to the increase in the number of similar images, the registration accuracy can not be effectively improved. At the same time, the operation time is long, and the work efficiency and quality are low. In this context, the mosaic algorithm for aerial pavement images came into being, which makes the image processing more accurate and rapid, and plays a positive role in promoting the development of road traffic field. This paper makes a comprehensive analysis of SIFT algorithm and expounds its effect in aerial pavement image processing, so as to provide some reference for relevant practitioners.
Keywords: Unmanned Aerial Vehicle(UAV)；aerial images；pavement；image mosaic；Scale-Invariant Feature Transform(SIFT) algorithm
我国经济的快速发展与道路交通建设的完善密不可分。伴随我国道路交通网络的基本完善，现阶段道路养护已经成为主要工作内容。通过全面检测道路病害情况，及时对病害进行处理，可达到降低损害的目的。路面检测主要应用机器视觉
方式，效果显著。现阶段的检测手段仍然以检测车为主，检测过程容易受到路面状况的影响，使得检测速度和效果无法达到预期。在此背景下，无人机以其便捷、高速的优点在路面检测中被广泛应用，但是漏检、错检的情况也时有发生。为了有效提升检测效率，笔者将尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）算法与稀疏匹配进行有机结合，以达到最终目的。
1　SIFT算法
1.1　SIFT算法简介
SIFT算法在进行特征检测时，先从尺度空间着手，确定关键点位置和尺度，将关键点领域梯度作为其方向特征，实现算子对尺度和方向的无关性［1］。利用SIFT算法进行图像特征的提取，其可靠匹配适用于同一目标物体的不同视角。在特征提取的过程中，图像尺寸和旋转角度是静止不变的，对光线变化、噪声以及仿射变化都具有鲁棒性。同时，利用SIFT算法提取的特征点，其独特性十分显著。因此，使用该特征点进行图像匹配的正确率十分可观。SIFT算法在特征点提取时的初步工作是进行计
收稿日期：2021-09-05
作者简介：周方圆（1997—），女，硕士生，研究方向：电磁散射及雷达信号处理。
通信作者：杨鹏举（1984—），男，博士，副教授，研究方向：复杂环境电磁散射与逆散射、计算电磁学、复杂环境下
目标雷达成像等。
图1　DOG 相邻空间相邻尺度
.3　尺度空间极值求取
在进行尺度空间极值求取时，需要构建图像尺寸空间函数。首先，将图像尺度空间函数定义为核为高斯函数，由此可以得出高斯函数：
)22221
,,exp 2π2x y x y G
ααα  +=−
表示输入图像，对其进行卷积，(x ,y ,α)×I (x ,y ) 为了在检测过程中能够更好地检查尺度空间中的稳图像的卷积操作主要利用高斯函数之差进行计最终获得高斯差分函数DOG：
()()()()
,,,,  ,,,,G x y G x y L x y L x y καακαα−×    −通过上述高斯差分函数，获得的图像特征点最稳定.4　特征点位置确定
在进行特征点位置确定的过程中，先要过滤掉低对比度的特征点和边缘处的特征点，最终得到的特征点才再进行特征方向的确定，提升图像匹配率。进行低对比度和边缘处特征点的过滤，主要原因是如果将其作为特征点进行匹配，会使得匹配结果出现一定的因此需要将其取出，使用相对稳定的特征点进行匹有效提升结果的正确率。在特征方向确认时，行梯度直方图的求取，并将其作为重要依据。
.5　稀疏匹配
算法匹配描述向量时，主要是对描述向量中的欧氏距离进行比较，但是以此进行向量匹配产生误差的
中能够有效提升其便捷性。在图像融合过程中，要对航拍图像的特点进行全面考虑。在拼接过程中，图像的亮度会对实际拼接结果产生影响。为了保障在图像融合后其对比度不会明显下降，降低图像的可分辨率，在融合的过程中要采用小波变换。在低频处进行图像融合，其中细节部分融合时使用距离比作为权值，所得拼接图像的视觉效果更加显著。在高频处进行图像融合，融合后选择保留较大的系数值。
3　试验与结果分析
本次研究中，使用大疆无人机Mavic2专业版相机进行图像采集。该设备的最大飞行速度是72 km/h，照片尺寸为5 472 px×3 648 px。本次采集的路面环境为双向两车道，单向车道宽度为4 m，无人机的飞行高度为 6 m，检测精度可达到2 mm。每张图像大约能够覆盖的道路面积为50 m2，每张图片能够覆盖的道路裂痕长度在 6 m左右。为了保障拼接后图像
的完整性和清晰性，每次拼接图像的数量控制为2张。增加拼接试验，将图像数量增加至4张，证明随着图像数量的增加，算法的准确性并不会降低。
在对公路路面图像进行拼接的过程中，受多方因素的影响，拼接结果可能会产生误差，因此需要进行多次试验，以保证结果的准确性。本次研究主要对以下几种因素进行具体说明。
①光线因素。在对路面图像进行采集的过程中，无人机进行连续拍摄，但是每次拍摄光线都在不断变化，造成相邻的图片光亮程度不一致。所以，同一物体会呈现出不同的表现形式，进而使得拼接变得相对困难。
②物体因素。在对路面图像进行采集的过程中，路面会有车辆等显著物体的存在，与背景之间的对比程度较为明显。如果采用传统方式进行拼接，会使拼接后的图片出现鬼影、错位等情况。
③环境因素。在对路面图像进行采集的过程中，设备参数或者采集路面等因素会使图像的视角变大，这样在拼接过程中难以进行精细化展现。
此外，在对路面图像进行拼接的过程中，如果选用4张连续的图片进行拼接，得到的拼接图像中路面范围相对较大，不能够有效体现其精准性。
如果单纯采用SIFT算法对其进行拼接，拼接工作能够顺利完成。但是，当拼接图像中光照程度相差较大时，拼接图片中会存在明显的拼接带。同时，随着拼接频率的不断提升，拼接后的图像质量会下降。当图像视角变化较大时，其错位现
象较为显著。而使用本文中的算法对图像进行拼接，在图像的各个重叠区域都分布了配准特征，拼接后的图像中没有出现拼接带、鬼影以及错位等情况。即便拼接次数不断增加，拼接后的图片质量仍然保持在最初水准。
本文拼接算法采用图像配准正确率和拼接总时长作为评价指标。配准正确率的计算公式为：
acc
100%
c
c e
N
R
N N
=×
+
（5）
式中：N c表示正确匹配点数对；N e表示错误匹配点数对。两张或多张图像的拼接运行时间为总体耗时计算区间。为了更好地表述配准正确率和拼接时间的关系，对以上4种情况进行拼接试验，具体数值如表1所示。
表1　配准正确率和拼接时间数据
试验
SIFT算法本文算法
配准正确率/%拼接时间/ms配准正确率/%拼接时间/ms 试验179.1212.01596.879.401
试验291.2015.39896.6212.098
试验363.0513.39587.549.312
试验488.5841.42594.3934.152通过表1可知，本文算法与SIFT算法相比，配准正确率有显著提升。除去试验3中图片的视角具有较大变化的情况，其配准正确率都在94%以上。即便视角变化较大，它的配准正确率也在87%以上，远远高于SIFT算法的63%。拼接时间的结果显示，改良后的算法拼接效率明显提高。4　结语
本文以路面图像的特点为依据，与无人机航拍进行有机结合，对传统SIFT算法进行了全面概述，并在其基础上结合稀疏匹配和小波变换融合，使得路面图像拼接算法得到了一定改进，并将此种拼接算法应用于实际操作。试验结果表明，稀疏匹配能够有效降低匹配失误的概率，同时明显提高了其配准正确率和拼接效率。对在路面图像采集中可能遇见的情况进行全方位试验，试验结果表明，该种算法的稳定程度相对优良，不易受到外界因素的影响，能够高质量地完成路面图像拼接工作，因此在路面图像拼接中值得推广。
参考文献：
［1］石祥滨，贾贺林.基于控制点网格优化的航拍图像拼接算法［J］.计算机应用与软件，2020（5）：302-308.
［2］邱燕玲.GPU架构的航拍舰船图像拼接算法［J］.舰船科学技术，2020（6）：82-84.
［3］李振宇，田源，陈方杰，等.基于改进ORB和PROSAC的无人机航拍图像拼接算法［J］.激光与光电子学进展，2019（23）：91-99.
［4］韩敏，闫阔，秦国帅.基于改进KAZE的无人机航拍图像拼接算法［J］.自动化学报，2019（2）：305-314.
［5］孙世宇，张岩，胡永江，等.改进模型估计的无人机侦察视频快速拼接方法［J］.红外与激光工程，2018（9）：382-390.

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。