2021年2月Journal on Communications February 2021 第42卷第2期通信学报V ol.42No.2基于多尺度近端特征拼接网络的高光谱图像分类方法
高红民，曹雪莹，陈忠昊，花再军，李臣明，陈月
（河海大学计算机与信息学院，江苏南京 211100）
摘  要：针对基于传统卷积神经网络模型的高光谱图像分类算法细节表现力不强及网络结构过于复杂的问题，设计了一种基于多尺度近端特征拼接网络的高光谱图像分类方法。通过引入多尺度滤波器和空洞卷积，在保持模型轻量化的同时可以获取更丰富的空间−光谱判别特征，并提出利用卷积神经网络近端特征间的相互联系进一步增强细节表现力。在3个基准高光谱图像数据集上的实验结果表明，所提方法优于其他分类模型。
关键词：卷积神经网络；高光谱图像分类；特征拼接；多尺度滤波器；空洞卷积
中图分类号：TP302
文献标识码：A
DOI: 10.11959/j.issn.1000−436x.2021024
Hyperspectral image classification method based on
multi-scale proximal feature concatenate network
GAO Hongmin, CAO Xueying, CHEN Zhonghao, HUA Zaijun, LI Chenming, CHEN Yue
College of Computer and Information Engineering, Hohai University, Nanjing 211100, China
Abstract: Aiming at the phenomenon that the hyperspectral classification algorithm based on traditional CNN model was not expressive enough in detail and the network structure was too complex, a hyperspectral image classification method based on multi-scale proximal feature concatenate network (MPFCN) was designed. By introducing multi-scale filter and cavity convolution, the model could be kept light and the discriminative features of the space spectrum could be obtained, and the correlation between the proximal features of the CNN was proposed to further enhance the detail expression. Ex-perimental results on three benchmark hyperspectral image data sets show that the proposed method is superior to other classification models.
Keywords: convolutional neural network, hyperspectral image classification, feature concatenate, multi-scale filter, di-lated convolution
1引言
高光谱图像（HSI, hyperspectral image）可以从上百条连续的光谱波段中提取地物信息，这使其拥有强大的对地目标区分能力。在过去的几十年里，高光谱图像在目标探测[1]、土地监测[2]、农业监测[3]以及海洋遥感[4]等方面均发挥了重要作用。
迄今为止，研究者已经提出各种方法将高光谱图像的像元划分为特定的土地覆盖类。在早期的分类方法中，K近邻分类器[5]和支持向量机（SVM, support vector machine）[6]等光谱分类器被广泛使用，但以上方法往往会面临高光谱图像极高的光谱波段维数带来的“小样本问题”和特征冗余带来的分类效率下降的问题。为了缓和其高维性，特征选
收稿日期：2020−07−20；修回日期：2020−10−20
基金项目：国家自然科学基金资助项目（No.62071168）；国家重点研发计划基金资助项目（No.2018YFC1508106）；中央高校基本科研业务费资金资助项目（No.B200202183）；江苏省研究生科研与实践创新计划基金资助项目（No.SJCX20_0181）Foundation Items: The National Natural Science Foundation of China (No.62071168), The National Key Research and Develop-ment Program of China (No.2018YFC1508106), Fundamental Research Funds for the Central Universities (No.B200202183), Post-graduate Research & Practice Innovation Program of Jiangsu Province (No.S
JCX20_0181)
第2期高红民等：基于多尺度近端特征拼接网络的高光谱图像分类方法·93·
择[7]和特征提取[8]的方法常被选用，这2种方法的目标均是从原始高光谱数据集中提取更具代表性的信息，区别在于后者并非简单地选择波段，而是从中抽象出更具代表性的特征波段。
为了更好地应对高光谱图像复杂的空间分布和光谱分布，将空间和光谱特征纳入分类方法的多核分类器[9]与基于稀疏表示的分类器[10]也得到了广泛关注。但是这些方法大多属于浅层模型，这种模型中的非线性变换层数不足以表示高光谱图像复杂的空间和光谱特征，泛化能力较弱。同时，其往往基于手工特征，高度依赖个人经验。为了克服这些缺点，深度学习[11]被引入高光谱图像分类中，它可以自动地从原始输入数据中由低到高地学习层次特征，进而充分挖掘高光谱图像中更具代表性的显著特征。Chen等[12]提出一种堆叠自动编码器方法对高光谱图像进行分类，Liu等[13]提出一种结合深度置信网络与主动学习的高光谱图像分类方法。这2种方法都是将原始三维图像压缩成一个扁平的向量以满足框架输入的要求，但会打破原始图像中固有的空间−光谱特征结构，破坏高光谱空间信息，最终导致分类精度下降。
为了进一步利用高光谱图像的空间特征信息，基于卷积神经网络（CNN, convolutional neural network）的高光谱图像分类算法被提出。作为深度学习的代表算法之一，卷积神经网络拥有出的表征学习能力，
这使其在空间特征信息提取方面拥有巨大的优势。为了提取更有效的空间−光谱判别特征信息，Chen等[14]提出了正则化特征提取方法，Li等[15]提出了一种不依赖任何预处理或后处理的三维CNN高光谱图像分类方法。但这些方法都面临CNN模型向深度进发时所产生的梯度弥散及网络退化现象的困扰。为此，借助残差网络[16]，Zhong 等[17]完成了一个可以从光谱特征和空间背景中连续学习判别特征的深网络模型，Song等[18]在残差网络的基础上加入深浅特征融合来进一步提升性能。为了进一步提升各层卷积利用率，获取更多有效判别特征，Wang等[19]设计了一种快速密集频谱空间卷积框架，不需要像深浅层特征信息融合方法那样手动寻最优特征融合层，但其往往需要大量的跳跃结构参与，这会导致训练参数大幅增加，进而使计算代价增大。上述方法的分类模型均拥有非常深的网络结构，但过深的网络结构在提取更加抽象的特征信息的同时也会带来“精度饱和”和“网
络退化”的现象，这同样会影响高光谱图像的最终分类精度。为此，王莹[20]提出了一种改进的基于CNN的高光谱图像分类网络来进一步提升分类结果，但其在小样本情况下的分类结果仍有进一步提升的空间。另一部分研究者选择增广网络宽度[21]来获取更丰富的特征信息，如Lee等[22]设计了一种多尺度滤波器对输入图像进行特征提取，Zhang 等[23]提出了一种多尺度密集网络用于高光谱图像分类。与仅针对单一特征图进行提取的多尺度滤波器相比，多尺度密集网络利用不同卷积核获取更丰富的空间邻域信息，并提取了更加有效的判别特征，从而使其在分类精度上有了进一步提升，但将整个网络的各级特征信息进行组合同样会造成训练参数过大、计算成本过高，且其从本质上说，仍是完成了一种对较浅层空
间−光谱特征的弥补，与深浅层特征信息融合所达成的目标差异不大，因此其在最终的分类精度和运行时间上并没有获得显著提升。
为了解决以上问题，本文提出了一种基于多尺度近端特征拼接网络（MPFCN, multi-scale proximal feature concatenate network）的高光谱图像分类方法，它注重利用近端卷积层之间的相互联系进行特征提取，并结合多尺度融合手段搭建一个动态特征图来获取更丰富细致的空间−光谱判别特征，同时，它还具有轻量化的特点，具体创新总结如下。
1) 为充分利用各相邻卷积层间的特征相关性，本文引入近端特征上下文信息，相比于远端特征或密集特征融合，近端特征拼接可以获得更细致的空间−光谱判别特征，且不会因为过多的超链接结构增加网络负担，这有助于提升整体网络的性能，并获得更高的分类精度。
2) 为了进一步利用高光谱图像的空间域信息，本文设计了一种近端多尺度滤波器模块。该模块利用不同感受野的滤波器提取各相邻特征图上的特征信息，并利用超链接将所提取的信息相拼接，从而得到一个包含相邻近端特征上下文信息与不同尺寸空间相邻特征信息的动态特征图，使HSI的特征表达更加丰富全面。
3) 为了保持整体模型结构的轻量化，本文在多尺度滤波器中引入空洞卷积，在扩大卷积感受野的同时维持一个较低的训练参数，使整体模型可以进行高效轻量的特征提取，更好地应对高光谱图像“小样本”问
题。
·94· 通  信  学  报 第42卷
2  基本原理
2.1  空洞卷积
空洞卷积是指在普通卷积中添加零填充，以扩
展卷积核感受野的卷积方法。其优势是在不改变特
征图分辨率的前提下，使感受野比普通卷积更大，
感知信息的范围更大，进而改善下采样带来的特征信
息丢失问题。假设k' 表示等效卷积核大小，k 表示真
实卷积核尺寸，d 表示扩张率，则等效卷积尺寸为
(1)(1)k'd k k =−×−+ (1)
为了更直接地展示空洞卷积的工作原理，图1中展示了在相同尺寸卷积核下，通过调整扩张率来获得不同的感受野。
(a) d =1              (b) d =2                (c) 级联
图1  空洞卷积原理示意
如图1(a)所示，当d =1时，感受野与卷积核的
尺寸均为3×3。如图1(b)所示，当d =2时，感受野
增加至5×5。如图1(c)所示，当图1(a)和图1(b)级
联时，感受野增加至7×7。图1(b)中每个圆点像素
都是图1(a)的卷积输出。具体计算式为
()11i i G G k S +′=+− (2) 其中，G i 表示当前图层的感受野，G i+1表示下一图
层的感受野，S 表示从第1层到第i −1层步长的乘
积。可以看出，空洞卷积级联时，其感受野的面积
呈指数级增长。此外，相较于普通卷积，空洞卷积
不会因增大感受野而造成训练参数的增加，这使整
体网络结构在获取更大范围内特征信息的同时，更
加高效和轻量。
2.2  传统的多尺度滤波器模块
传统的多尺度滤波器以优化利用输入图像的
不同局部结构为目标，深入挖掘特征图的空间局部
相关性。因此，在高光谱图像中应用多尺度滤波器，
可以很好地利用高光谱图像局部空间结构和局部
谱相关。为展示所提方法相较于传统多尺度滤波器
模块的优越性，本文选用尺寸为3×3、5×5、7×7的
常用卷积核，搭建传统的多尺度滤波器模块，如
图2所示。拼接层中的3×3、5×5、7×7表示感受野
范围。
2.3  特征拼接 为了提高各级卷积层的利用率，特征拼接常被用于基于CNN 的高光谱图像分类算法中，本文利用卷积神经网络在响应输入特征平移不变性时往往具有一定规律的特点，将近端特征图进行拼接，得到一幅包含三层卷积结果的动态特征图。该动态特征图中包含了相邻卷积层所提取特征间的上下文联系，再一次提高了各级卷积层利用率，并使所提取的空间−光谱判别特征更加细致。
图2  传统多尺度滤波器模块示意
2.4  本文算法描述
本文所提基于多尺度近端特征拼接网络的高光谱图像分类算法主体结构由一种改进的多尺度
滤波器模块组合而成。
2.4.1  改进的多尺度滤波器模块
改进的多尺度滤波器模块如图3所示，它包含
3个卷积核尺寸为3×3的卷积层，且每个卷积层都
配置了批量归一化（BN, batch normalization ）层和
激活函数ReLU 进行加速训练和非线性化处理。从
图3中可以看出，该模块共有3条支路，分别为第一卷积层支路、第二卷积层支路、第三卷积层与第一卷积层级联支路。其中，第一卷积层扩张率为1，感受野为3×3；第二卷积层扩张率为2，感受野为5×5；第三卷积层与第一卷积层级联，所得特征图感受野为7×7。最后，将3条支路所得特征图进行拼接，并利用BN 层与ReLU 函数加速训练，增强模型泛化能力。 综上所述，改进的多尺度卷积块在充分利用各级卷积层提取的特征图的同时，利用空洞卷积降低了训练参数，使整体模型更加轻量化。此外，相邻特征的拼接引入近端特征上下文关联信息，也使光谱空间特征信息表达更细致。 2.4.2  多尺度近端特征拼接网络模型 图4展示了多尺度近端特征拼接网络模型的整
第2期高红民等：基于多尺度近端特征拼接网络的高光谱图像分类方法·95·
体结构，其流程如下。首先，用主成分分析（PCA, principal component analysis）法对原始高光谱图像进行降维，提取主成分信息含量最大的波段；然后，以待分类像元为中心，提取相应尺寸的待分类图像块（patch）。这些patch将会被输入多尺度近端特征拼接网络中进行特征提取并分类，以此得到最终的
地物分类图。具体来说，多尺度近端特征拼接网络包括改进的多尺度滤波器模块、平均池化层、全局平均池化层和Softmax分类器。其中，每个改进的多尺度滤波器模块后都配备了一个平均池化层。
为了防止前级滤波器图层数量对内存造成影响，本文以改进的多尺度滤波器模块为单位，逐步增加各多尺度滤波器图层数量，如第一个模块的滤波器图层数量为32，第二个模块的滤波器图层的数量以2的倍数递增，依次类推。平均池化层的作用在于抑制过拟合，维持较低的训练参数，降低特征图尺寸，其尺寸为2×2。全局平均池化层起到将特征图降维重组并映射到样本空间的作用，相比全连接层，它占用更少的训练参数，抑制过拟合的效果更好。Softmax分类器负责对每个像素点进行分类。以上部分共同协作，使多尺度近端特征拼接网络在小样本状态下获得了的高精度分类结果和分类效率。
3实验结果与分析
3.1实验数据集
1) IP（Indian pines）数据集。IP数据集是由A VIRIS成像光谱仪在美国印第安纳州西北部获取的图像。它的空间尺寸为145像素×145像素，单个像素分辨率为20 m；光谱波段共220条，其波长范围为0.4～2.45 μm。本文将水汽吸收波段去除，则IP数据集的最终输入尺寸为145像素×145像素× 200像素，其包含的真实地物类别为16种。
2) PU（University of Pavia）数据集。PU数据集是ROSIS成像光谱仪在帕维亚大学上空获取的图像。它的空间尺寸为610像素×340像素，去除水汽吸收波段后，光谱维波段共103条。PU数据集的最终输入尺寸为610像素×340像素×103像素，其包含的真实地物类别为9种。
3) SA（Salinas）数据集。SA数据集同样由AVIRIS成像光谱仪获取，其图像呈现了萨利纳斯山谷地貌。它具有高空间分辨率的特点。去除水汽吸收波段后，SA数据集的最终输入尺寸为512像素×217像素×204像素，其包含的真实地物类别为16种。
IP数据集、PU数据集和SA数据集灰度图和真实地物信息类别分别如图5和表1所示。
3.2实验设置
为了验证本文所提多尺度近端特征拼接网络的合理性和有效性，本文分别在3幅高光谱图像数据集上进行验证实验。所有实验均在一台CPU为Intel E5-2667、GPU为1080Ti的笔记本电脑上进行，使用的编程语言为Python，深度学习模型框架为
图3  改进的多尺度滤波器模块
图4  多尺度近端特征拼接网络模型的整体结构
·96·通信学报第42卷表1  IP数据集、PU数据集和SA数据集真实地物信息类别
数据集类别名称样本数/个
样本总数/个
IP C1 Alfalfa 46
10 249 C2 Corn-notill 1
428 C3 Corn-mintill 830
C4 Corn 237 C5 Grass-pasture 483
C6 Grass-trees 730
C7 Grass-pasture-mowed 28
C8 Hay-windrowed 478
C9 Oats 20 C10 Soybean-notill 972
C11 Soybean-mintill 2
455
C12 Soybean-clean 593
C13 Wheat 205 C14 Woods 1
265 C15 Buildings-Grass-Trees_Drives 386
C16 Stone-Steel-Towers 93
PU C1 Asphalt 6
631
42 776 C2 Meadows 18
649 C3 Gravel 2
099 C4 Trees 3
064 C5 Painted metal sheets    1 345
C6 Bare Soil    5 029
C7 Bitumen 1
330 C8 Self-Blocking Bricks    3 682
C9 Shadows 947
SA C1 Brocoli_green_weeds_1 2
009
54 129
C2 Brocoli_green_weeds_2 3
726
C3 Fallow 1
976
C4 Fallow_rough_plow 1
394
C5 Fallow_smooth 2
678
C6 Stubble 3
959
C7 Celery 3
579
C8 Grapes_untrained 11
271
C9 Soil_vinyard_develop 6
203
C10 Corn_senesced_green_weeds 3
278
C11 Lettuce_romaine_4wk 1
068
C12 Lettuce_romaine_5wk 1
927
C13 Lettuce_romaine_6wk 916
C14 Lettuce_romaine_7wk 1
070
C15 Vinyard_untrained 7
268
C16 Vinyard_vertical_trellis 1
807
Keras。在评价指标方面，本文选取总体精度（OA,
overall accuracy）、平均精度（AA, average accuracy）
和Kappa系数（KA, Kappa coefficient）3个指标。
为了避免随机因素的影响，所有展示数据均为相同
条件下10次实验结果的平均值。在训练集的划分
中，本文分别在IP数据集、PU数据集、SA数据
集上随机选取10%、4%、2%的样本作为训练样本，
并将剩余90%、96%和98%的样本作为测试样本。
在利用PCA法对3个数据集的光谱维进行降维时，
IP数据集和SA数据集选择前3个波段，而PU数
据集选择前5个波段。3个数据集实验中，批尺寸
均设置为32，反向传播均选用随机梯度下降（SGD,
stochastic gradient descent）法，初始学习率为0.01，
衰减率为0.01与迭代次数之比。迭代次数设置为
150次。本文将从内部参数选取和与其他典型方法
比较两方面对MPFCN的性能进行分析。
3.3 内部参数选取
本节将从patch尺寸和网络模型深度（改进的
多尺度滤波器模块数）两方面进行参数选取实验，
这是因为patch尺寸中包含高光谱图像的光谱信息
与空间邻域信息，它决定了输入信息的多少；网络
模型的深度决定了能否提取到关键光谱判别特征。
具体实验方法如下。
本文分别选取7×7、13×13、27×27 这3个patch
尺寸进行实验。在多尺度滤波器模块数选取方面，由特征正则化的作用
于平均池化层的作用，每增加一个多尺度滤波器模
块，特征图尺寸就会缩小一半，因此本文根据patch
尺寸，遵循尽可能深地增加网络模型的原则，分别选
取多尺度滤波器模块数为2、3、4、5进行测试。在3
幅高光谱数据集上的测试结果分别如表2～表4所示。
图5  IP数据集、PU数据集和SA数据集灰度图

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。