林业工程学报,2023,8(6):145-153JournalofForestryEngineering
DOI:10.13360/j.issn.2096-1359.202304028
收稿日期:2023-04-24㊀㊀㊀㊀修回日期:2023-08-02基金项目:国家自然科学基金(62072246)㊂
作者简介:高源,男,研究方向为深度学习㊁林火识别等㊂通信作者:业巧林,男,教授㊂E⁃mail:yqlcom@njfu.edu.cn
基于改进YOLOv5的特征抑制多尺度林火检测算法
高源,杨堃,曹磊,业巧林∗
(南京林业大学信息科学与技术学院,南京210037)
摘㊀要:森林火灾检测是保护森林生态系统的关键所在,可以为森林早期火灾判断与预防提供重要依据㊂如果能够尽可能地对森林火灾识别和检测,可以在很大程度上减少灾害发生频率及其造成的损失㊂基于无人机遥感图像的发展,林火的快速检测得到进一步提升,可以准确识别火灾,解决林火出现的复杂性问题
㊂本研究针对航拍森林火灾识别遇到的背景环境复杂㊁林火检测识别精度偏低㊁局部检测效果不佳等问题,提出了一种加强视觉注意力的林火识别方法,此方法是基于YOLOv5模型改进的㊂该算法使用NAMattention对像素进行归一化,降低不太显著的特征权重,使目标不重要的信息得到抑制㊂另外本研究采用了ObjectBox,这是一种新颖的单阶Anchor⁃free,不仅可以平等地对待不同级别尺寸的目标,还能提升模型识别正确样本的能力,具有高度的泛化性
能㊂采用Mosaic数据增强方式增强模型的泛化能力,提高模型识别小目标的准确率㊂同时引入新的定位损失函数CIOU,它可以有效地改善模型在面对复杂背景时的定位精度,提升网络识别的准确性㊂实验结果表明,在无人机遥感图像数据上,检测性能均优于YOLOv5算法,该算法使得林火的数据集平均精度提升了3个百分点,识别速率从原始的85.6帧/s提升到了172.4帧/s,具有更强的特征提取能力和更高的检测精确度㊂该算法模型可以在应对森林火灾这种复杂的场景中做到有效且快速地识别,为森林的保护和发展提供重要的保障㊂关键词:深度学习;YOLOv5;注意力机制;NAM注意力机制;ObjectBox;林火检测
中图分类号:TP391.4㊀㊀㊀㊀㊀文献标志码:A㊀㊀㊀㊀㊀文章编号:2096-1359(2023)06-0145-09
Featuresuppressionmulti⁃scaleforestfiredetection
algorithmbasedonimprovedYOLOv5
GAOYuan,YANGKun,CAOLei,YEQiaolin∗
(CollegeofInformationScienceandTechnology,NanjingForestryUniversity,Nanjing210037,China)
Abstract:Forestfiredetectionisthekeytoprotectforestecosystem,whichcanprovideimportantbasisforearlyforestfirejudgmentandprevention.Ifforestfirescanbeidentifiedanddetectedasmuchaspossible,thefrequencyofdisas⁃tersandthelossescausedbythemcanbereducedtoagreatextent.Basedonthedevelopmentofunmannedaerialve⁃hicle(UAV)remotesensingimages,therapiddetectionofforestfireshasbeenfurtherimproved,whichcanaccu⁃ratelyidentifyfiresandsolvethecomplexproblemsofforestfires.Becausethecomplexbackgroundenvironmenten⁃co
unteredinaerialforestfireidentification,thelowaccuracyandpoorlocaldetectionexistintheforestfiredetectionatpresent.Thisstudyproposesamethodtoenhancevisualattentionandaforestfireidentificationmethod,whichisimprovedbasedonYOLOv5model.ThealgorithmusesNAMattentiontonormalizepixelsandreducetheweightoflesssignificantfeaturestosuppresstheunimportantinformationofthetarget.Inaddition,asanovelsingle⁃orderAn⁃chor⁃freemethod,ObjectBoxisadoptedinthisstudy,whichnotonlytreatsobjectsofdifferentsizesequally,butalsoimprovesthemodel sabilitytoidentifycorrectsampleswithhighgeneralizationability.TheMosaicdataenhancementmethodwasusedtoimprovethegeneralizationabilityofthemodelandincreasetheaccuracyofthemodeltoidentifysmalltargets.Atthesametime,anewlocalizationlossfunctionCIOUisintr
oduced,whichcaneffectivelyimprovethelocalizationaccuracyofthemodelinthefaceofcomplexbackgroundandenhancetheaccuracyofnetworkrecog⁃nition.TheexperimentalresultsshowthatthedetectionperformanceofUAVremotesensingimagedataissuperiortothatofYOLOv5algorithm.Thisalgorithmimprovestheaverageaccuracyofforestfiredatasetbythreepoints,andtherecognitionrateisincreasedfromtheoriginal85.6frames/sto172.4frames/s,whichhasstrongerfeatureextrac⁃tioncapabilityandhigherdetectionaccuracy.Thealgorithmmodelcanidentifyeffectivelyandquicklyinthecomplexsceneofforestfire,whichprovidesanimportantguaranteeforforestprotectionanddevelopment.
Keywords:deeplearning;YOLOv5;attentionmechanism;NAMattentionmechanism;ObjectBox;forestfiredetec⁃tion
林业工程学报第8卷
㊀㊀近年来,随着温室气体的加剧排放,森林火灾频发,已成为一种世界性的自然灾害,越来越受到人们的关注㊂目前已有的林火检测技术有遥感㊁地理信息系统(GIS)㊁网络等现代高新技术,给人类研究林火检测提供了保障㊂随着图像处理技术和计算机算力的发展,基于图像处理的林火识别方法得到了空前的发展㊂针对林火检测问题,业界把机器学习中的模式识别和深度学习中的图像处理相结合,捕捉实时的数字图像,然后把图像传入计算机中分析和处理,进行特征的提取[1],为林火检测领域提出了许多解决方案㊂传统机器视觉在稍微复杂的场景下具有相对较差的鲁棒性,对于工作中的实际需求往往起不到很好的效果㊂目前,卷积神经网络已经被广泛应用于森林火灾的预防和农业检测中㊂经典的算法如RCNN㊁Faster⁃RCNN㊁SSD㊁YOLO等㊂但这些方法模型较大,检测速度较慢㊂除了检测算法的不足,无人机作为一种在高危地区进行探测任务的常用方式,由于飞行高度较高,导致拍出的图片小目标多,特征提取难度大;另外无人机飞行速度快,拍摄时抖动大,使得照片模糊;最后,在高空拍摄的场景较为复杂,小目标可能被其他物体所遮挡掩盖[2]
图1㊀基于自制的数据样本
Fig.1㊀Datasamplesbasedonhomemade
在森林火灾监测中,传统的识别方法都是基于
火焰的显著特征进行识别㊂以卷积神经网络为代表的深度学习由于其对图像优异的表征性能和目标特征的精确刻画,被广泛应用于以处理图像为核心的计算机视觉任务中,如图像分类㊁语义分割㊁目标检测㊂陈柯[3]提出采用模型实验和仿真模拟相结合的方法,基于图像处理技术对森林火灾探测方法及火灾信息的实时获取进行了分析研究㊂李英杰等[4]提出了一种基于自学习特征的林业业务图像自动分
类方法,当被识别图像与同类图像存在局部信息相似时其会被正确识别,但对于林火的分类工作只能用作分类,无法精确定位到火点位置㊂张德雄[5]提出了一种实用的区域性划分方法,该方法能准确分割与森林场景无关的区域,并在后续的烟火检测中将其屏蔽,提高林火监控系统的鲁棒性,但是对林火的分割问题,实时性就很难保证㊂
宋宁等[6]提出一种基于运动检测和像素颜特征相结合的新的火焰检测方法,通过对火焰像素亮度区域和饱和度区域进行相关性分析来确定火焰㊂对林火检测直接使用目标检测的方法也存在一些缺陷,并未考虑林火的一些特性㊂这些特性包括火的尺寸差异性大㊁受背景干扰大等㊂卫星观测能够实时地对陆表的信息进行记录和监测[7],尤其适用于林火这种地表变化剧烈的场景,可以精确确定火灾发生的位置,获取火场活动的情况,较高的时空分辨率使数据更新具有一定的及时性,为其在林火风险预测㊁林火实时监测㊁林火灾后评估等方面的研究提供了重要参考㊂但遥感只适用于过火面积较大的森林火灾,过火面积较小的火灾并不能及时准确地监测[7]㊂
为了解决以上问题,笔者提出一种基于无人机
遥感图像的林火快速检测方法,适用于密集小目标场景下的无人机航拍实时目标检测模型,以满足实际应用场景需求[8]㊂YOLO系列算法因为没有很复杂的结构,且计算处理能力很强,在计算机视觉中得到了很好的应用㊂YOLOv5是一种具有高性能的㊁通用的目标检测模型,可以一次性完成目标
定位和分类的任务,提升泛化的能力,因此选择YOLOv5模型[9]作为骨干网络框架㊂为了证明本研究所采用网络的有效性,实验数据均来自自制的林火数据集,并在该数据集上进行与其他目标检测算法的对比实验㊂实验结果表明,改进后的YOLOv5模型应对这种环境下的对象具有最佳的检测效果,能够有效地为森林火灾预防工作提供重要依据㊂
1㊀材料与方法
1.1㊀数据样本
为了保证实验数据的准确性,实验所需的
5825张数据样本均来自自制林火数据集,其中包
括来自无人机采集的崇礼地区的真实火灾的图片,同时含有大量的森林和火灾以及其他背景的场景,有效提升了林火检测的鲁棒性㊂部分火焰的数据样本见图1㊂
41
㊀第6期高源,等:基于改进YOLOv5的特征抑制多尺度林火检测算法
1.2㊀改进后的YOLOv5模型
本研究所提出的改进的YOLOv5算法模型的网络结构能更好适用不同场景下对林火的检测,同
时可一定程度上提高林火检测的精度和局部细节检测的能力,其模型的鲁棒性也得到进一步提高㊂改进后的算法模型网络结构如图2所示
图2㊀改进后的YOLOv5网络结构
正则化可理解为一种罚函数法
Fig.2㊀ImprovedYOLOv5networkstructurediagrams
1.2.1㊀数据增强处理
首先将图像数据进行缩放处理,统一调整为
640ˑ640像素,然后使用LabelImg工具对图像进行标注处理[10]㊂标注的标签分为fire,按照7ʒ2ʒ1的比例划分训练集㊁验证集和测试集,通过对数据集及检测目标的特定分析,丰富样本的多样性㊂本研究进行了HSV通道颜变换,图像水平翻转㊁垂直翻转,对比度调整等㊂针对实验中出现的不明显㊁小尺寸的图像,采用Mosaic对数据进行增强[11],将4张图片进行随机裁剪㊁缩放㊁拼接,让小目标更容易被模型检测到,从而增加其样本数量[12],漏检的风险大大降低㊂数据增强后的图像见图3㊂
1.2.2㊀NAM注意力机制
在神经网络训练的过程中,注意力机制能够起
到抑制通道和空间中不太明显的特征㊂以前很多研究是通过注意力算子来进行特征提取的,这些方法可以发现不同纬度之间的特征信息㊂权值的贡献因子可以抑制那些不显著的特征,让显著的特征更加明显,但是之前的方法并没有把它考虑进去㊂所以,瞄准利用权值的贡献因子是能够很好地提高注意力效
果的,使用BatchNormalization的缩放因子来表示权值的重要程度[13]㊂这样可以避免如SE㊁BAM和CBAM[14]等增加全连接层和卷积层㊂因此,需要一个新的注意力方式:基于归一化的注
41
林业工程学报第8
图3㊀Mosaic数据增强图像
Fig.3㊀Mosaicdataenhancedimages
意力(NAM)[15]㊂
NAM是一种轻量级的注意力机制,集成采用的方式为CBAM,把空间注意力和通道注意力的模块重新进行了调整,NAM可以嵌入每个网络block的最后㊂对于残差网络,可以嵌入残差结构的最后㊂对于通道注意力子模块,使用BatchNormaliza⁃tion中的缩放因子,如式(1)所示,其中Bout㊁Bin分别为模块输入和输出,μB和σB分别为小批量B的均值和标准差,γ和β为可训练的仿射变换参数(尺度和位移)㊂缩放因子能够显示出各个通道信息变化的程度,它也表示了每个通道的意义[16]㊂而缩放因子就是BN中的方差,方差越大表示一个通道信息变化的程度越高,从而在这个通道中所包含的信息就更多,所以意义也更大;而对一些变化程度不大的通道,信息更少,所以意义更小㊂通道注意力机制如图4和式(2)所示,其中Mc为输出特征,Wγ为权重㊂对空间维度应用一种BN缩放因子来衡量像素的重要性,称这个过程为像素归一化㊂空间注意力机制如图5和式(3)所示,其中,输出记为Ms,λ为比例因子,Wλ为权重㊂式(4)表示在损失函数中加入正则化项,目的是抑制那些不太显著的权重,其中,x为输入的值,y
为输
图4㊀通道注意力机制
Fig.4㊀Channelattention
mechanism
图5㊀空间注意力机制
Fig.5㊀Spatialattentionmechanism
841
㊀第6期高源,等:基于改进YOLOv5的特征抑制多尺度林火检测算法
出的值,W为网络权值,l(㊃)为一个损失函数,g(㊃)为l1的范数罚函数,p为平衡g(γ)和g(λ)的惩罚㊂
Bout
=BN(Bin)=γ
Bin-μBσ2
+β(1)Mc=sigmoid{Wγ[BN(F1)]}(2)Ms=sigmoid{Wλ[BNs(F2)]}
(3)Loss=
ð(x,y)
l[f(x,W),y]+pðg(γ)+pðg(λ)
(4)
1.2.3㊀ObjectBox检测器
YOLOv5模型采用的目标检测头主体是3个
Detect检测器,即利用基于网格的anchor在不同尺度的特征图上进行目标检测的过程㊂当实验输入尺寸是640ˑ640时,得到3个尺度的输出(80ˑ80,40ˑ40,20ˑ20)㊂其中,80ˑ80层代表浅层图,包含较多的浅层目标信息,适用于检测目标信息,所以这部分特征图采用小尺度anchor;20ˑ20层代表深层的特征图,
包含更多高层级信
息,如轮廓㊁结构等,适用于检测大目标,所以采用大尺度anchor;40ˑ40层则介于二者之间,适用于检测中等目标㊂但本研究采用了一种新颖的单阶段Anchor⁃free且高度通用的目标检测方法ObjectBox[17]㊂与现有的Anchor⁃free检测器相比,原有方法在标签分配中更偏向于特定的目标尺度,ObjectBox仅使用目标中心位置作为正样本,并在不同的特征级别平等对待所有目标,而不管物体的大小或形状㊂Anchor⁃free方法采用空间和尺度的约束,先在一定空间中出候选的正样本,再根据尺度选择正样本㊂这是通过一定约束去划分正负样本,但忽视了面对不同大小㊁形状的目标可能目标框不同㊂本研究采取一种更公平的方法,只从对象的中心位置进行回归㊂为了支持这一点,将新的回归目标定义为从包含对象中心网格单元的两个角到边界框边界的距离㊂原模型采用的Anchor⁃free检测器工作原理和本研究采用的ObjectBox检测器工作原理见图6,只从中心位置进行回归,扩展了正样本㊂
图6㊀Anchor⁃free检测器Fig.6㊀Anchor⁃freedetector
1.2.4㊀损失函数
本研究以YOLOv5模型为基础,框架模型如图3所示㊂第一步要用Mosaic对原始图像进行数据增强,然后把这些具有良好泛化性的图像输入模型中㊂YOLOv5作为目标检测算法中最常用的单阶段模型之一,在此基础上进行一些算法改进,设计林火的识别模型㊂损失函数是用来衡量模型预测值与真实值之间偏离程度的㊂YOLOv5的损失函数由3个部分组成,分别是边界框损失Lbox㊁置信度损失Lobj和分类损失Lcls[18]
,总的损失函数如式
(5)所示:Loss=Lbox+Lobj+Lcls
(5)
YOLOv5原始模型使用的边界框损失函数用GIoU
定义,如式(6)和式(7)所示:
GIoU=IoU-IoU-
C-(AɣB)
(6)IoU=
AɘBAɣB
(7)
式中:IoU为交并比,IoU越接近1,说明检测效果越好;预测框和真实框用A和B表示;A和B最小的外接矩形用C表示㊂
使用GIoU作为边界框的损失函数有效解决了
交并比为0时损失函数不可导的问题,但GIoU无法考虑边界框中心点的距离和重叠面积㊂针对这些问题,本研究GLYOLO算法模型采用CIoU作为林火检测的边界框损失函数(公式中记为LCIoU),如式(8)㊁式(9)和式(10)所示:
41

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。