第54卷 第2期2021年2月
通信技术
Communications Technology
Vol.54 No.2
Feb. 2021
文献引用格式：阴俊恺，张正强，吴震，等.一种基于图像块描述子学习的异源遥感图像匹配方法[J].通信技 术，2021，54（2）：344-351.
YIN Junkai, ZHANG Zhengqiang, WU Zhen, et al. A Heterogeneous Remote Sensing Image Matching
Method based on Image Block Descriptor Learning [J].Communications Technology,2021,54(2):
344-351.
doi:10.3969/j.issn.1002-0802.2021.02.013
一种基于图像块描述子学习的异源遥感图像匹配方法*
阴俊恺，张正强，吴 震，曾 兵，李 斌
（成都三零凯天通信实业有限公司 研发中心，四川 成都 610041）
摘 要：针对光学-合成孔径雷达（Synthetic Aperture Radar，SAR）异源遥感图像的匹配问题，提出了一种基于图像块描述子的深度学习算法。该方法首先使用图像直方图均衡化算法提升图像质量，在此基础上使用Harris与SIFT算法提取待匹配图像块，再使用提出的深度学习方法计算图像块描述特征向量，最终使用改进的RANSAC算法求解光学-SAR图像变换矩阵。通过80组真实的光学-SAR异源遥感图像进行实验，结果表明该方法相较于无预处理与L2Net算法可以获得更高的匹配数量，并随机选取SEN-12数据集中的四幅图像直观展示了匹配结果。
关键词：异源遥感匹配；图像块描述子；深度学习；卷积神经网络
中图分类号：TP75 文献标识码：A 文章编号：1002-0802(2021)-02-0344-08
A Heterogeneous Remote Sensing Image Matching Method
based on Image Block Descriptor Learning
YIN Junkai, ZHANG Zhengqiang, WU Zhen, ZENG Bing, LI Bin
(Chengdu 30kaitian Communication Industry Co., Ltd., Chengdu Sichuan 610041, China) Abstract: Aiming at the matching problem of optical-SAR heterogeneous remote sensing images, this paper proposes a deep learning algorithm based on image block descriptors. This method first adopts the image histogram equalization algorithm to improve the image quality, then uses Harris and SIFT algorithms to extract the image block to be matched, and then uses the deep learning method proposed in this paper to calculate the image block description feature vector, and finally uses the improved RANSAC algorithm to solve the optical-SAR image transformation matrix. Experiments with 80 sets of real optical-SAR heterogeneous remote sensing images show that this method can obtain a higher number of matches compared with no preprocessing and L2Net algorithm. And by randomly selecting four images in the SEN-12 data set, the matching result is visually displayed.
Keywords: heterogeneous remote sensing matching; image block descriptor; deep learning; onvolutional neural network
* 收稿日期：2020-10-21；修回日期：2021-01-10 Received date:2020-10-21;Revised date:2021-01-10
图1 异源遥感匹配方法总体流程
原始异源遥感图像质量较差，经常出现过曝图像或过暗图像，图像直方图均衡化方法可以将图像进行像素非线性重映射，使其均衡分布、实现对比度的增强，从而提高关键点检测效果和图像块描述能力。直方图均衡化存在多种方法，本文采用的是
图2 图像预处理效果
关键点检测与局部邻域图像块提取
SAR图像来说，物体边缘一般会导致图像灰度值发生突变。Harris算法[6]可以很好地检测这类关键点，但Harris算法要求画面各个方向的灰度值均存在明显变化，会导致特征点检测数量过少，甚至导致在光学-SAR图像对上检测1.4 异源图像块匹配
根据深度学习描述模型的设计要点可知，图像块匹配本质上是NNS问题，在本文中使用
衡量特征向量相似性。由于原始图像干扰过大，常使用lowe’s算法[6]对特征向量进行初次筛选，如式（1）所示。
图3 改进的L2-Net模型
训练采样策略
指定区块半径b（本文取b=32），使用Harris
算法提取1.1节预处理SAR图像中的关键点，并以此中心分别采集预处理SAR图像块和预处理光学同名特征点所对应的图像块。将此图像对作为训练数据，如图4所示，SAR遥感图像中点算法提取的特征点，光学遥感图像中点为特征点的同名特征点，两图中的框则为同名局部邻域图像块对。
光学图像
图4 采样演示
精细标签损失函数
方帅在其设计的SoftRegNet实验中表明[4]，匹配过程中的困难样本除了光照、几何变化引起的干扰，还存在着重叠内容的干扰，并提出了解决方法。本文沿用了此思想，在采样时除了获取图像块，还记录了特征点坐标，训练时针对此类问题适当提高损失。
部分损失计算流程如图5所示，记任意图像块有唯一表示(τi,M i j,c i j)i∈1,2，τi为图像块对所在图像的原始索引，i=1代表光学图像，
图像，M i j表示原始图像τi上索引为
c i j为图像块M i j的中心点坐标。假设参与训练的图像块对(M1j,M2k)来自同一对异源图像对
像块对中心点（即图像块所对应的关键点坐标）之间的距离为x ij。对于训练样本(M1
改进的L2-Net后得到描述特征向量
其中n表示训练时一个批次中的同名图像块对数量（Batch Size），p表示L2-Net输出的特征向量。经采样后得到空间距离矩阵X=[x ij]n×n与特征距离矩阵 D=[d ij]n×n，其中：
2
2
1
2
2
1
−
局部直方图均衡化=
−
=
j
i
ij
j
i
ij
p
p
d
c
c
x
越小，代表重叠区域越多，它们越相似。当b 时，则代表无重叠区域。同理，当训练样本不属于同一对异源图像对时，它们不存在重叠区域，据此得到空间距离矩阵L =[l ij ]n ×n ，如,,b
i j x b i j x b i j θ−≠>==≤
（4）
为放大倍数，本文设置θ=1，θ越大则关键点距离变化越敏感。根据图像同名信息还可Y =[y ij ]n ×n ：
≠=j
j  （5）
则结合了特征距离和空间距离的精细标签损失2)2)(1)(1(ij ij ij d l y −+−+
（6）
式中前半部分用于计算正样本间的损失，后半部分用于计算负样本间的损失，通过标签矩阵y ij 加作为权重适当放大相同图像对且关键点距离较近的负样本损失。困难样本挖掘
对于图像块匹配算法来说，除了同名图像块对，任意两个异源图像块对都可以组成负样本，如图6对于一个批次成百上千的同名图像对来说，遍历整个样本空间所有负样本将会使得计算量大大增加，而且有很多损失较小的正负样本实际上并不会
产生有效的梯度更新。为此，DeepDesc 困难样本挖掘策略[2]，本文在进行反向传播时按照递进采样策略的方式，一个批次挖掘数据样本，其中n 表示训练时一个批次中的同名图像块对数量（Batch Size），且正负样本比例为这样训练出的模型可以保证从含有大量负样本的光学遥感图像中准确匹配到与SAR 配的目标图像块，且不会因为负样本过多导致模型无法收敛。
图6 正负样本训练数据构成
3 实验结果
本文通过构建光学-SAR 图像数据集（光学图像尺寸800×800，SAR 图像尺寸学-SAR 图像一一对应，共计850对数据作为训练数据，其余80对作为测试数据，按照前文中提到的改进方法在同等条件下分
别测试无预处理模型、原始L2-Net 模型和改进的Net 模型。由于异源数据集数据量较小，因此本文采用迁移学习策略微调模型，模型预训练工作均在Brown 数据集[9]中进行，如图7、表图5 部分损失计算流程

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。