第42卷 第3期
正则化项是如何缓解过拟合的
2023年
5月华中农业大学学报
Journal of Huazhong Agricultural University
Vol.42    No.3May 2023，152~160
基于改进Inception 网络的复杂环境下
小样本黄瓜叶片病害识别
满超1，2
，饶元1，张敬尧3，乔焰3，王胜和2
1.安徽农业大学信息与计算机学院，合肥 230036；
2.安徽省公安教育研究院，合肥 230031；
3.合肥工业大学计算机与信息学院，合肥 230601
摘要 为解决田间复杂环境下小样本黄瓜叶片病害识别中模型泛化能力差、识别准确率不高的问题，将自注意力机制模块引入激活重建生成对抗网络（activation reconstruction GAN ，AR -GAN ），采用Smooth L 1正则化作为损失函数，设计改进激活重建生成对抗网络IAR -GAN （improved AR -GAN ）增广黄瓜叶片病害图像。通过在Inception 网络基础上加入空洞卷积和形变卷积，设计空洞和形变卷积神经网络（dilated and deformable convo⁃lutional neural network ，DDCNN ）用于黄瓜叶片病害识别。试验结果显示，提出的IAR -GAN 有效缓解了过拟合现象，丰富了生成样本的多样性；所提出的DDCNN 对黄瓜病、斑靶病和霜霉病的平均识别准确率均达到96%以上，比Inception -V3模型提高了9个百分点。以上结果表明，本研究提出的数据增广方法和病害识别模型可为复杂环境下小样本的作物叶部病害的准确识别提供新思路。
关键词 病害识别； 小样本； 生成对抗网络； 深度卷积神经网络
中图分类号 TP391.4 ； S435  文献标识码    A  文章编号 1000-2421（2023）03-0152-09
黄瓜在其生长周期中会受到多种病害的影响，其中病、斑靶病和霜霉病较为常见。我国的黄瓜种植趋于密集型和集约化［1］，一旦出现病害，极易影响或感染其他黄瓜植株，给农民带来巨大的经济损失。因此，快速准确地识别黄瓜病害种类并及时采取科学的防治措施，对提高黄瓜种植的产量和品质至
关重要。近年来，结合计算机视觉的机器学习方法在黄瓜病害识别领域得到了广泛应用［2-5］。
深度神经网络在作物病害识别方面取得了良好的效果，但也存在以下问题：神经网络对病害识别需要成千上万张样本图像，小样本会导致模型泛化能力下降。对病害图像进行翻转、放缩等传统的几何变换类扩充方法，仅增加样本图像数量，并没有实质性丰富样本多样性，网络容易发生过拟合现象。生
成对抗网络（generative adversarial networks ，GAN ） ［6］
的出现给样本数据增广提出了新的方法。Hu 等［7］利用SVM 对茶叶病害图像进行叶片病斑分割，将分割后的病斑图像利用一种改进的条件深度卷积生成对抗网络（C -DCGAN ）进行数据增广，试验结果表明，使用VGG16网络对扩充后的茶叶病害数据集识别平均准确率达到90%。Cap 等［8］ 提出了对多种叶片图像背景区域进行转换的LeafGAN ，丰富了训练集图像样本多样性。为了提高在小样本数据集下植物病害识别准确率，Madsen 等［9］ 通过监督调节方案设计了WacGAN 获得大量的植物幼苗图像，扩充了数据集样本数量。Purbaya 等［10］改进了GAN 网络模型并增加L 1和L 2正则化的组合来增加植物叶片图像生成的多样性。Zhang 等［11］利用deep convo⁃lutional GAN （DCGAN ），将CNN 与GAN 相结合生成柑橘溃疡病图像，提高分类网络的准确性。虽然GAN 在数据扩充方面得到了一定程度的应用，但模
型在实际训练中不稳定，容易出现模式崩溃［12］现象，
使生成图像样本多样性降低。
收稿日期： 2022 ⁃ 12 ⁃ 02基金项目：安徽省自然科学基金项目（2008085MF203）；安徽省重点研究和开发计划面上攻关项目（201904A06020056）；安徽省高校自然
科学研究重点项目（2022AH053088）
满超， E -mail ：****************通信作者： 饶元， E -mail ：****************
满超，饶元，张敬尧，等.基于改进Inception 网络的复杂环境下小样本黄瓜叶片病害识别［J ］.华中农业大学学报，2023，42（3）：152⁃160.DOI ：10.13300/jki.hnlkxb.2023.03.018
第3期满超 等：基于改进Inception 网络的复杂环境下小样本黄瓜叶片病害识别
现有许多研究学者使用实验室环境下采集或者用背景单一的作物病害图像作为数据集训练识别模型。黄瓜种植生长环境复杂，受到不同光照强度等因素的影响，如何针对复杂背景图像有效地进行黄瓜叶片病害识别始终面临着挑战。现有研究表明采用分割后的叶片病斑图像训练深度卷积神经网络以及进行病害识别时仍可有效提高叶片病害识别的准确率［13-14］。
针对黄瓜叶片病害识别问题，本研究先进行病斑区域分割获得黄瓜叶片病害图像，再通过改进激活重建
生成对抗网络（activation reconstruction GAN ，AR -GAN ）的损失函数，引入自注意力机制模块，设计了改进的激活重建生成对抗网络对小样本的黄瓜叶片病害图像进行数据增广，并提出了空洞
和形变卷积神经网络（dilated and deformable convo⁃lutional neural network ，DDCNN ），旨在提高田间复杂环境下黄瓜叶片病害识别效果。
1　材料与方法
1.1　数据来源
本试验数据集采集于2019年6-9月份安徽农业大学农萃园，对田间黄瓜叶片进行多角度拍摄，黄瓜叶片图像背景为田间复杂环境，能真实反映黄瓜在自然环境下生长的情况。采集到的数据包含斑靶病、霜霉病和病黄瓜叶片病害，采集图像如图1所示，每种病害选取200个图像样本，构成600张原始叶片病害图像数据集，将图像大小调整为1 024像素×682像素，提高处理效率。
1.2　数据预处理
本研究采用基于GrabCut 和SVM 的两阶段分割方法［15］进行病斑区域分割。与许多现有的作物病害图像分割方法相比，该两阶段分割方法根据病害图像的纹理和颜特征对田间复杂环境下拍摄的黄瓜病害叶片图像病斑分割能取得较好的效果。具体病斑分割过程如图2所示。在第一阶段，GrabCut 算法可以将图像分为前景像素集和背景像素集，综合黄瓜叶片图像的纹理和边缘特征，利用GrabCut 算法从获取到的复杂背景图像中分割出黄瓜叶片。第二阶段，根据黄瓜叶片的纹理特征和颜特征，利用支持向量机分割出叶片中的病斑。其中，以黄瓜叶片的病斑、健康黄瓜叶片的颜和纹理特征向量作为SVM 的训练样本。从RGB 空间的颜直方图中提取颜特征得到颜特征向量，用Gabor 滤波器代替灰度共生矩阵提取纹理特征。
1.3　激活重建生成对抗网络（AR-GAN ）
深度卷积神经网络在黄瓜叶片病害识别时面临样本数量有限，模型在训练过程中易出现过拟合问题。而缩放、翻转等传统扩充方法并不改变图像的特征，仍然存在数据样本多样性不足的问题。使用生成对抗网络GAN 进行数据增广，可有效提高样本
多样性。与许多现有GAN 及其变体网络相比，Nazki 等［16］提出的AR -GAN 模型在GAN
的基础上对原始
图1 黄瓜叶片病害类型
Fig.1
Types of cucumber leaf diseases
图2 两阶段病斑图像分割过程
Fig.2 Two -stage image segmentation method
153
第42卷华中农业大学学报
目标函数进行循环一致性改进，并引入激活重建损失函数，对自然图像的特征激活进行优化，能够使生成图像在视觉上更真实自然，AR-GAN中的对抗损失函数定义为：
f GAN(G AB，D B)=E b[lo
g D B(b)]+
E a[log(1-D B(G AB(a))]（1）
网络中生成器G AB和G BA被定义在域A和域B 2个不同的域中，当用A中的样本“a”进行初始化时，重构的a’= G BA（G AB（a））仍然接近于原始的“a”，当网络使用L1正则化时，循环一致性的公式定义为：
f cyc(G AB，G BA)=||E a G BA(G AB(a))-a||+
||E b G AB(G BA(b))-b||（2）激活重建损失函数f ARL的引入，目的是使生成图像与真实图像更加相似，加强模型的稳定性。激活重建损失函数f ARL公式为：
f ARL=1m||A n a-A n b||2F（3）
式（3）中，A F表示矩阵范数，m为特征图的形状，a、b表示样本A来源的域，n表示样本从卷积神经网络中的第n层输出。根据式（1）、式（2）和式（3）可以总结得出AR-GAN的目标函数为：
f total=f GAN(G AB，D B)+f GAN(G BA，D A)+
θf cyc(G AB，G BA)+λf ARL（4）其中，θ和λ为分别调节f cyc（G AB，G BA）和f ARL项的超参数。
1.4　IAR-GAN数据增广网络
与其他生成对抗网络相比，使用AR-GAN生成的图像与真实图像更相似，但通过试验发现，当训练样本
数量有限时，AR-GAN生成的图像病斑边缘模糊且生成图像不够真实。为提高生成图像的质量，有效提升病害识别模型训练效果，本研究在AR-GAN的基础上引入了自注意力机制模块，并将AR-GAN的目标检测回归损失函数L1Loss替换为Smooth L1 Loss，设计了改进的激活重建生成对抗网络IAR-GAN（improved activation reconstruction GAN）。
1）自注意力机制。IAR-GAN中的自注意力机制（self-attention）能够引导模型中的重建损失函数对病害图像中的关键特征进行提取，生成的病斑图像更加真实。自注意力机制由Google提出并用于自然语言处理任务［17］。自注意力机制通过设置权重参数使卷积神经网络对特征图像进行下采样时，重点提取图像关键区域特征，减少干扰因素影响。自注意力机制的引入使IAR-GAN生成对抗模型能准确提
取黄瓜叶片病害图像中的病斑特征，提升了生成病斑图像的真实度。自注意力机制特征提取公式：
h self-attention=∑t′=1Tα(x t，x t′)f ARL(x t，x t′)（5）
其中，x=［x1，x2，…，x t］表示网络中输入的特征信息，自注意力机制会对t个输入特征进行加权计算，并且通过引入权重向量α突出关键特征的提取。
2） Smooth L1正则化。IAR-GAN将AR-GAN 结构中的L1正则化替换为Smooth L1正则化，缓解梯度消失或梯度爆炸等问题。AR-GAN中采用的L1正则化的导数为常量，在0点处不可导，导致神经网络模型
在损失值较小时梯度也很大，往往造成AR-GAN收敛困难。而Smooth L1正则化提高了神经网络的稳定性的同时也加快了模型训练的收敛速度。Smooth L1正则化采用分段表示的方法，能够解决L1正则化的不足。Smooth L1正则化及其导数如式（6）、（7）所示：
Smooth L1(x)=ìí
î
0.5x2， |x|<1
|x|-0.5 ， |x|≥1（6）
d Smooth L1
d x=
ì
í
î
x， |x|<1
±1 ， |x|≥1（7）3）IAR-GAN网络结构。IAR-GAN网络结构如图3所示，域A和域B是2个不重合的域，生成器将图像从一个域转换到另一个域，每个域的鉴别器负责判断图像是否属于该域。如图中箭头所示，IAR-GAN通过在图像数据a与G A→B（a）和b与G B→A（b）间引入自注意力机制，使得卷积采样过程中病害图像的重点位置和关键特征得到关注，减少图像中田间复杂信息的干扰，提高了网络对病斑特征的提取能力。IAR-GAN采用Smooth L1正则化，缓解了生成对抗网络训练过程中的梯度消失与梯度爆炸现象，增加了网络的收敛能力。IAR-GAN通过包含特征提取网络的激活重构模块来计算网络中的激活重构损失、周期性损失和对抗损失。根据式（5）、式（6）和式（7）可以总结得出IAR-GAN的总目标函数为：
f IAR⁃GAN=f GAN(G A→B，D A)+f GAN(G B→A，D A)+
λ[f cyc(G A→B，G B→A)+h self-attention(f ARL)]（8）其中，λ为调节f cyc（G A→B，G B→A）和h self-attention （f ARL）项的超参数。
1.5　空洞和形变卷积神经网络DDCNN
深度卷积神经网络在作物病害的识别中发挥着重要作用，设计一种有效的卷积神经网络是实现准确识别的关键。为实现在田间复杂环境下黄瓜叶片病害的识别，许多研究人员通过增加卷积神经网络
154
第3期满超 等：基于改进Inception 网络的复杂环境下小样本黄瓜叶片病害识别
的深度来提取病害图像特征，但增加网络的深度会导致模型出现过拟合或梯度消失等问题，影响病害识别的准确率［18-20］。DICNN （dilated and inception convolutional neural network ）深度卷积神经网络［15］通过在Inception 网络中加入空洞卷积克服网络的过拟合现象，加快网络的训练速度。
尽管DICNN 在黄瓜病害识别方面取得了优于VGG16等方法的效果，但在田间复杂环境下获取的黄瓜叶片病害图像病斑呈现的位置、尺度各异，导致黄瓜病害的识别精度下降。本研究在DICNN 基础上设计引入形变卷积，提出空洞和形变卷积神经网络DDCNN （dilated and deformable convolutional neu⁃ral network ），通过将卷积核的采样位置引导到叶片
上的病斑位置，充分提取病斑区域的特征，从而提高模型对黄瓜叶片病害的识别精度。
1）空洞卷积。采用小尺寸卷积核替换大尺寸卷积核能够减少网络中的参数数量，且增加了网络空间特征提取能力［21］。但卷积层频繁地下采样操作必然会导致图像内部数据结构丢失和空间层级化信息丢失等问题。空洞卷积［22］即在标准的卷积核中加入空洞，从而增加特征图的感受野，在减少网络参数数量的同时也能够提高模型的精度。如图4A 表示3×3卷积核， 图4B 、4C 分别表示空洞为2、空洞为3的3×3卷积核可以等效替代7×7和11×11的卷积核，能够在保留内部数据结构的同时避免频繁地使用下采样操作［23］。
2）形变卷积。受环境地形和黄瓜植株生长位置的影响，相机对黄瓜叶片进行拍摄时因位置角度不同，叶片病斑在图像中呈现出的位置、尺度各异。2017年微软亚洲研究院提出了形变卷积（deformable
CNN ），形变卷积在对输入的特征图进行下采样时，可以按照X 轴方向和Y 轴方向的偏移量变换卷积位置进行采样［24］。偏移量的引入使输入特征图上
不同卷积采样点的位置能随着图像上的内容发生
图3 IAR -GAN 网络架构Fig.3 The framework IAR -
GAN
图4 标准卷积（A ）与空洞卷积（B 、C ）采样位置
Fig.4 Sampling position of standard convolution （A ）and dilated convolution （B ，C ）
155
第42卷
华中农业大学学报自适应的变化，形变卷积核根据图像的内容自适应地调整位置，适应图像中物体的不同尺度、形变等问题。图5是标准卷积和形变卷积的采样位置，图
5A 所示为标准卷积操作的采样位置，图5B~D 所示为可形变卷积操作中具有偏移量的形变采样位置。
3）DDCNN 网络结构。DDCNN 结构如图6所示，网络中有3个卷积模块（卷积1~3），3个池化模块（池化1~3），1个Inception 结构，1个空洞卷积，2个形变卷积和1个Softmax 分类器层。DDCNN 网络中第1层为空洞卷积，减少了卷积核下采样过程中的图像空间层次信息和内部数据结构的损失。DDCNN 网络在第4层和第5层增加了形变卷积模块 （deformable CNN ），使卷积核对特征图进行采样时可以根据图像上的内容进行自适应调整，可以准确地对黄瓜叶片病害特征进行提取。DDCNN 中的Inception 结构通过1×1小型卷积核缩减网络的深度，从而减少了网络的计算量并提高了训练速度，且多尺度卷积核的使用可有效提取图像中的多尺度特征，提高了模型的识别精度。此外，DDCNN
网络中，通过在网络结构中的卷积层后增加非线性激活函数ReLU 和Batch Normalization ，缓解了网络的过拟合问题，且提高了DDCNN 网络的训练效率。
1.6　试验环境及参数设置
本试验所使用的硬件配置为16 GB RAM 、Intel （R ） Core （TM ） i5-8400 2.81 GHz 和NVIDIA
GeForce GTX 2080 Ti GPU 的台式计算机，采用基于CUDA 9.0和CUDNN 7.1的TensorFlow 框架。采用分批梯度下降算法对网络权值进行优化。IAR -GAN 和DDCNN 的批处理大小分别设置为8和16，初始学习率设为0.001，IAR -GAN 和DDCNN 在训
练中每20轮Epoch 均以0.1的概率执行1次Dropout
操作。
图5 标准卷积（A ）和形变卷积（B~D ）采样位置
Fig.5 Sampling position of standard convolution （A ） and deformable convolution （B -D
）
空洞卷积为32个3×3的卷积核，卷积1为32个3×3的卷积核，卷积2为64个3×3的卷积核，形变卷积1为80
个1×1的卷积核，形变卷积2为192个3×3的卷积核，Inception 结构中的卷积核大小为1×1，卷积3是1 000个1×1的卷积核，池化模块1~3均为最大池化。Dilat⁃ed convolution has 32 kernels with 3×3 pixels ； the convolution 1 has 32 kernels with 3×3 pixels ； the convolution 2 has 64 kernels with 3×3 pixels ； the deformable convolution 1 has 80 kernels with 1×1 pixels ； the deformable convolution 2 has 192 kernels with 3×3 pixels ； the Incep⁃tion structure kernels with 1×1 pixels ； the convolution 3 has 1 000 kernels with 1×1 pixels ； the pooling 1-3 are max pooling.
图6 DDCNN 结构Fig.6 The structure of DDCNN
156

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。