0引言
水面无人艇(Unmanned Surface Vehicles ,USV )作为一种无人操作的水面舰艇,具有体积小、航速快、机动性强、模块化等特点,可用于执行危险以及不适于有人船执行的任务[1]。其中,水面无人清理船(Unmanned Surface Cleaning Vessels ,USCV )是水面无人艇的其中一个任务分支。相较于传统清理水面垃圾需要耗费大量的人力,水面无人清理船的应运而生不仅可以节省人工成本,同时提高清理效率。目前国内USCV 尚未进行大规模应用,一个重要的原因就是水面目标检测算法性能不足,而精准检测目标是USCV 自主导航、智能避障、高效作业等需求的基础。如何在保障目标检测速度的前提下提高目标检测的精度以适应复杂的水面场景,以及扩充检测目标的类别,都是水面目标识别中需要解决的问题。
USCV 用于目标检的设备主要有激光雷达和可见光相机,相较于激光雷达造价高、缺少纹理及彩信息、能耗高等缺陷,可见光相机在目标检测领域的研究更为广泛。——————————————————————
—作者简介:沈靖夫(1999-),男,辽宁鞍山人,硕士研究生,研究方
向为水面图像处理技术。
基于深度学习的水面无人清理船目标检测综述
A Review of Target Detection for Unmanned Surface Cleaning Ships Based on Deep Learning
沈靖夫①SHEN Jing-fu ;张元良②ZHANG Yuan-liang ;刘飞跃①LIU Fei-yue ;柳淳①LIU Chun
(①江苏海洋大学海洋工程学院,连云港222005;②江苏海洋大学机械工程学院,连云港222005)
(①School of Ocean Engineering ,Jiangsu Ocean University ,Lianyungang 222005,China ;
②School of Mechanical Engineering ,Jiangsu Ocean University ,Lianyungang 222005,China )摘要:水面目标识别对水资源环境具有重要意义。综合当前基于深度学习的目标检测方法的发展历程以及在水面中的应用情况,对水面目标检测数据集及检测方法进行了研究。首先介绍了目标检测网络的发展历程。接着,对当前常用目标检测方法进行总结,阐述水面常用的公开数据集及水面目标检测算法的实际应用。最后,对基于深度学习的水面目标检测提出今后的研究方向。Abstract:Water surface target recognition is of great significance to water resource environment.Based on the development history of
deep learning-based target detection and its application in water surface,the data set and detection method of water surface target detection are studied.Firstly,the development of target detection network is introduced.Then,the current common target detection methods are
summarized,and the common open data sets and the practical application of surface target detection algorithms are expounded.Finally,the
future research direction of surface target detection based on deep learning is proposed.
关键词:深度学习;水面目标检测;水面数据集
Key words:deep learning ;surface target detection ;water surface data set 中图分类号:TP391.4
文献标识码:A
文章编号:1006-4311(2024)13-157-04
doi:10.3969/j.issn.1006-4311.2024.13.044
在导墙周边放置或者停留。
3.4准确把握地连墙钢筋吊装方案制定要点
地连墙钢筋笼尺寸的确定应该以单元槽段为依据,保证吊装方案制定以及实施的合理性、科学性的基础之上,使钢筋笼整体刚度满足要求。同时还要结合钢筋笼重量、起吊方式、吊点部位等诸多层面,将2榀-4榀纵向钢筋桁架、主筋平面斜向拉条设置在钢筋笼内部,主要是为了避免起吊操作过程中钢筋笼出现横向变形问题,或者在吊放于槽中的时候出现变形情况。
3.5地连墙混凝土必须符合配合比设计要求浇筑混凝土是地连墙施工中的重要环节,可考虑使用导管浇筑水下混凝土的方式,此方法和水上浇筑对比,前者调整了各项指标,保证了指标数值的合理性,与设计要求更加匹配。在施工环节,要以具体规范与要求为依据进行导管浇筑操作,以此来确保混凝土配合比的合理性。同时还要考虑到浇筑效果塌落度具备一定的流动性,以免发生离析问题,保证槽内基本均衡水平大幅度提升。也可将适量木质素磺酸钙添加至混凝土内,借助外剂作用,使混凝土和易性得到较好的改善,促进塌落度增加的同时,强度提升。
4结束语
在建筑施工领域,地下连续墙施工是目前交通建设中极其常见的手段,随着连续墙深度的逐渐扩大,也使得施工面临着较大的挑战。为此,施工单位要特别重视超深地下连续墙施工技术的掌握与应用,把握每一个环节的要点,进而才能保证施工质量。
参考文献:
[1]张淑朝,牛磊.复杂富水地质条件下超深地下连续墙施工
技术[J].建筑技术,2023,54(03):274-277.[2]贾丁丁.地铁工程中地下连续墙施工技术分析[J].建筑技术开发,2019,46(08):52-53.[3]谭华灵.超深地下连续墙施工技术及质量控制[J].四川建
材,2019,45(11):119,132.
[4]林相春.软土块石地质超深地下连续墙施工技术[J].建筑机械化,2020,41(11):21-24,35.
[5]张晓鹏.复杂地质环境下超深地下连续墙成槽施工技术简述[J].北方建筑,2020,5(01):55-58.[6]李阳.特殊环境超深地下连续墙成槽关键施工技术研究[J].
建筑安全,2023,38(03):13-17.
基于图像的目标检测研究可追溯至20世纪90年代,通过人工设计特征对目标的纹理及轮廓进行提取,其泛化能力较差,仅适用于特定的检测场景,对于水面较为复杂的环境,传统目标检测就变得力不从心[2]。而深度学习算法通过训练大量的数据,学习数据中存在的特征规律有效克服了传统特征的诸多缺点,已成为当下各种应用领域中目标检测任务的主流算法。
1目标检测神经网络
基于深度学习的目标检测主要分为基于CNN 和Transformer 的两种框架。基于CNN 的目标检测器分为预生成候选框,接着进行分类和回归预测的Two-stage [3-5]和无需生成候选框,直接完成预测的One-stage [6-13]。Two-stage 检测精度高,而One-stage 检测速度快。One-stage 主要基于人为预先定义锚框的Anchor -based 。基于
Transformer 的检测器框架(DETR )[14-18]
是通过Transformer 提取图像特征,代替传统的卷积神经网络,并消除非极大值抑制(NMS ),实现真正意义上的端到端的神经网络。基于深度学习的目标检测具有较强的泛化能力,更加适应于较为复杂的检测场景,其网络发展历程如图1所示。
1.1Two-stage 目标检测算法
Two-stage 目标检测算法首先通过CNN 提取输入图像的特征,接着生成预选框,对预选框进行非极大值移植(NMS )去掉重叠度较高的框,最后对剩余的框进行分类和回归并输出最终目标检测结果。
经典的Two-stage 目标检测算法是RCNN 系列。Ross
Girshick 提出的RCNN [3]
,通过生成候选区域,并提取图像的特征,接着通过分类器对特征进行分类得到分类结果。Fast RCNN [4]优化了RCNN 训练及测试速度慢的问题,直接将整张图像输入卷积中,避免大量重复卷积操作。同时利用特征池化操作进行尺度变换,使得输入可以是任意大
小的图片。为了解决候选区域生成占据大量时间开销的问题,Faster RCNN [5]提出了RPN (Region Proposal Network )网络,利用Anchor 机制将区域生成与卷积网络联系到一起,提高了检测速度和检测精度。
1.2One-stage 目标检测算法相较于Two-stage 系列的网络,在对目标进行预测分类之前需要先生成候选区域,从候选区域内寻与特征图匹配的目标框,这个过程虽然可以提高一定的检测精度,但是也削减了检测速度。而One-stage 系列的网络直接对目标进行分类和定位,去除了候选框生成这一过程,在保持检测精度的前提下,极大地提高了检测速度。
目前主流并应用于实际的One-stage 系列的神经网络当属YOLO 系列的算法。YOLO 系列的开山之作YOLOv1[6]是由Joseph Redmon 提出的,通过卷积神经网络提取特征,把提取到的特征送入两层全连接层输出检测类别和检测框。后续的YOLOv2[7]在此基础上加入了正则化,加速了收敛速度,同时提高了检测精度。YOLOv3[8]引入了残差网络模块,解决了小目标检测精度问题。YOLOv4[9]采用了很多优化策略,在数据处理中引入Mosaic 数据增强、主干网络引入CSP 结构、网络层(Neck )采用SPP 模块、激活函数替换成Mish ,在检测精度上有效的提高。YOLOv5[10]加入了Focus 模块,并用SPPF 结构代替SPP 结构,使得检测精度有一定的提高。后续的YOLOv6-8[11-13]均在YOLO 结构上进行不同的改进。
1.3Transformer 目标检测算法
相较于Two-stage 和One-stage 系列的网络,其本质是通过CNN 进行特征提取,而CNN 往往会忽略掉较远特征的相似性,对全局特征的关注较低。注意力机制(Transformer )通过捕捉图像中全局位置中的相关性,有效提高了对图像全局特征的关注,但同时Transformer 对局
图1经典目标检测算法发展历程
CNN
Anchor Free
CornerNet CenterNet CPNDet 2018
2019
2020
2021
SSD
YOLOVS
YOLOV7YOLOV8
YOLOV6YOLOV4YOLOV3YOLOV2YOLOV1Anchor Based
One-stage
Two-stage
2016
2017
2018201920202021
2022
2023
Faster RCNN
RCNN Fast RCNN Mask RCNN Cascade RCNN 2014
正则匹配一张图片
2015
2016
2017
2018
2019
CNN+Transformer
Transformer
Full Transformer
20202021
VIT Transformer Swim Transformer
2020
2021
2022
2023
DAB DETR RT-DETR Dino-DETR
Anchor DETR Du-DETR Conditional DETR
Deformable DETR DETR Sparse R-cnn
部特征的处理不如CNN。为此,可以将Transformer与CNN 进行融合使用,在关注图像全局特征同时兼顾图像的局部特征。
DETR[14]是Facebook团队于2020年提出的基于Transformer的端到端目标检器,通过Transformer的Encoder和Decoder框架进行特征提取,使用二分图匹配方式替换传统卷积中的非极大值抑制(NMS),极大简化了目标检测的流程。Deformable DETR[15]利用可变形卷积,只关注目标周围的一小部分关键采样点,解决了DETR难以收敛及检测小目标精度低的问题。Anchor DETR[16]分析了DETR的目标查询没有明确意义,无法关注特定区域。在此基础上,设计了基于锚框(anchor)的对象查询,提高DETR的训练收敛速度及检测精度。DINO DETR[17]通过设计了一款带有改进的去噪器box的DETR,通过使用对比方式进行去噪训练,结合混合查询选择方法进行锚点初始化,加速DETR的训练速度及训练精度。第一个实时端到端的目标检测器RT-DETR[18],通过高效的混合编码器及解耦尺度内交互和跨尺度融合高效处理多尺度特征(对深层特征图进行注意力特征提取,对浅层特征图做特征融合),并提出IoU感知的查询选择,提高目标查询的初始化,解决了DETR难以实际应用的问题。
2无人清理船水面目标检测技术
由于水面环境复杂多变,可见光图像的图像质量会受到水面光照反射、运动模糊及水面倒影等影,这就增加了水面目标检测的难度,同时深度学习网络需要大量的数据进行训练,尤其针对水面这种较为复杂的环境,一种全面的水面目标检测数据集是水面目标检测算法的关键。
2.1水面目标检测数据集
在水面目标检测领域,大多数研究都是根据研究任务构建的小型数据集,缺乏大规模、高质量标注的开源数据集,一定程度上制约了相关技术的发展。学者们在构建开源数据集方面进行了一系列的尝试,如表1所示。FloW-Image数据集[19]是全球第一个无人清理船视角下的水面漂浮垃圾检测的数据集。Water Surface Object Detection Dataset(WSODD)[20]包含了多种水面目标类型,覆盖了多种天气环境和时间段,有效解决了水面环境单一的问题。Marine Image Dataset(MID)[21]涵盖了多种现实中海面常出现的障碍物,为海域目标障碍物检测提供有效信息。Singapore Maritime Dataset(SMD)[22]在不同时间段和环境下采集的新加坡海洋常出现的一些障碍物目标数据。
2.2水面目标检测算法应用
相较于路基及空域的目标检测技术,USCV基于深度学习的水面目标检测技术起步较晚,众多学者主要在水面目标检测精度及检测速度上进行深入研究。
Huang[23]等人提出一种改进的YOLO v5算法,通过将YOLO网络中的C3结构替换成transformer编码层,同时结合卷积注
意力模块(CBAM)提高对水面小目标的检测精度。Zhang[24]等人通过引入ASFF模块对基本的YOLO v5s模型进行改进,提高了水面目标检测的精度。Tong[25]等人在网络的深层使用空洞卷积金字塔池化模块融合目标的全局先验信息,接着通过注意力模块自适应增强目标浅层空间位置和深层语义信息特征。最后,通过多尺度特征融合提高水面小目标的检测精度。Wang[26]等人在YOLOv3中引入综合特征增加模块,并改进损失函数,提高了对船舰小目标的检测能力。Lin[27]等人在YOLOv5s的骨干网络末端引入特征图注意力层,并通过马赛克数据增强策略,提高水面漂浮小目标的检测效果。SPMYOLOv3目标检测算法[28]首先对改进的K-means算法进行重新聚类,并在YOLOv3的主干网络添加SE-PPM模块以加强目标的特征信息,使用多向金字塔网络对不同尺度的特征图进行融合,提高水面垃圾的检测精度。
3总结与展望
本文综合分析了当前基于深度学习的目标检测方法的发展历程以及在水面中的应用情况,对水面目标检测数据集及检测方法进行了综述。希望能够为研究人员提供资料性的参考依据以及研究思路和方法,促进相关检测方法的推广和应用。结合现有的研究现状,可以在以下三个方面开展更深入的研究工作。
①构建大规模、高质量标注的开源数据集。在水下生物目标检测领域,大多数研究都是根据研究任务构建的小型数据集,缺乏大规模、高质量标注的开源数据集,一定程度上制约了相关技术的发展。
②基于Transformer的目标检测算法研究甚少。由于需要实际应用于水面目标检测任务中,需要算法具有实时性,而目前大部分Transformer的目标检测算法不符合实时性要求。而RT-DETR算法的出现解决了基于Transformer的目标检测算法
的实时性要求,未来可以在此基础上进行深入研究。
③相比较于空中的无人机与路基的无人车平台的视觉方法,水面环境光线变化较大,图像信息容易受到反射
表员水面目标检测公开数据集
数据集标签类别数据集数量/张数据集类别数量应用场景
Flow-Image瓶子20005271内河Water Surface Object Detection Dataset(WSODD)桥、船、垃圾等746721911海洋/湖泊/内河Singapore Maritime Dataset(SMD)船、人、浮漂等240842海洋
Marine Image Dataset(MID)浮漂、船2655-海洋
在水面上的光线影响,可以利用图像增强和去噪算法减少图像的噪声,使训练出来的效果更好。
参考文献院
[1]王石,张建强,杨舒卉,等.国内外无人艇发展现状及典型作战应用研究[J].火力与指挥控制,2019,44(02):11-15. [2]罗逸豪,孙创,邵成,等.基于深度学习的水面无人艇目标检测算法综述[J].数字海洋与水下攻防,2022,5(06):524-538. [3]Girshick,Ross,et al."Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation."2
014IEEE Conference on Computer Vision and Pattern Recognition,2014, /10.1109/cvpr.2014.81.
[4]Ross Girshick.Fast r-cnn.In Proceedings of the IEEE international conference on computer vision,pages1440-1448, 2015.1.
[5]Shaoqing Ren,Kaiming He,Ross Girshick,and Jian Sun. Faster r-cnn:Towards real-time object detection with region proposal networks.Advances in neural information processing systems,28,2015.1.
[6]Redmon,Joseph,et al."You Only Look Once:Unified, Real-Time Object Detection."2016IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2016,/ 10.1109/cvpr.2016.91.
[7]Redmon,Joseph,and Ali Farhadi."YOLO9000:Better, Faster,Stronger."2017IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2017,/10.1109/cvpr. 2017.690.
[8]Redmon,Joseph,and Ali Farhadi."YOLOv3:An Incremental Improvement."arXiv:Computer Vision and Pattern Recognition,arXiv:Computer Vision and Pattern Recognition,Apr. 2018.
[9]Alexey Bochkovskiy,Chien-Yao Wang,and HongYuan Mark Liao.Yolov4:Optimal speed and accuracy of object detection. arXiv preprint arXiv:2004.10934,2020.1,2.
[10]Jocher Glenn.Yolov5release v7.0.github/ ultralytics/yolov5/tree/v7.0,2022.1,2,3,4,7,8. [11]Chuyi Li,Lulu Li,Yifei Geng,Hongliang Jiang,Meng Cheng,Bo Zhang,Zaidan Ke,Xiaoming Xu,and Xiangxiang Chu. Yolov6v3.0:A full-scale reloading.arXiv preprint arXiv: 2301.05586,2023.1,2,3,4,7,8.
[12]Chien-Yao Wang,Alexey Bochkovskiy,and HongYuan Mark Liao.Yolov7:Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors.arXiv preprint arXiv: 2207.02696,2022.1,2,3,4,7,8.
[13]Jocher Glenn.Yolov8.github/ultralytics/ ultralytics/tree/main,2023.1,2,3,4,7,8.
[14]Nicolas Carion,Francisco Massa,Gabriel Synnaeve, Nicolas Usunier,Alexander Kirillov,and Sergey Zagoruyko.End-to end object detection with transformers.In Computer Vision-ECCV 2020:16th European Conference,Glasgow,UK,August23-28, 2020,Proceedings,Part I16,pages213-229.Springer,2020.1,2, 7,8.
[15]Xizhou Zhu,Weijie Su,Lewei Lu,Bin Li,Xiaogang Wang, and Jifeng Dai.Deformable detr:Deformable transformers for end-to-end object detection.arXiv preprint arXiv:2010.04159,2020.1, 2,3,5,6,7.
[16]Yingming Wang,Xiangyu Zhang,Tong Yang,and Jian Sun. Anchor detr:Query design for transformer-based detector.In Proceedings of the AAAI conference on artificial intelligence, volume36,pages2567-2575,2022.1,2,3,6,7.
[17]Hao Zhang,Feng Li,Shilong Liu,Lei Zhang,Hang Su,Jun Zhu,Lionel Ni,and Heung-Yeung Shum.Dino:Detr with impro
ved denoising anchor boxes for end-to-end object detection.In The Eleventh International Conference on Learning Representations, 2022.1,2,3,5,6,7,8.
[18]Lv,Wenyu,Shangliang Xu,Yian Zhao,Guanzhong Wang, Jinman Wei,Cheng Cui,Yuning Du,Qingqing Dang,and
d.“DETRs Beat YOLOs on Real-Time Object Detection.”Computer Science-Computer Vision and Pattern Recognition:2023.8.
[19]Cheng,Yuwei,et al."FloW:A Dataset and Benchmark for Floating Waste Detection in Inland Waters."?2021IEEE/CVF International Conference on Computer Vision(ICCV),2021, /10.1109/iccv48922.2021.01077.
[20]ZHOU Z,SUN J,YU J,et al.An Image-Based Benchmark Dataset and a Novel Object Detector for Water Surface Object Detection.[J/OL].Frontiers in Neurorobotics,2021./ 10.3389/fnbot.2021.723336.
[21]Moosbauer,Sebastian,et al."A Benchmark for Deep Learning Based Object Detection in Maritime Environments."2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops(CVPRW),2019,/10.1109/cvprw. 2019.00121.
[22]Liu,Jingyi,et al."Efficient Obstacle Detection Based on Prior Estimation Network and Spatially Constrained Mixture
Model for Unmanned Surface Vehicles."Journal of Field Robotics,Mar. 2021,pp.212-28,/10.1002/rob.21983. [23]C.Huang,Y.Zhu,J.Wang and X.He,"Water Surface Target Detection Algorithm for Unmanned Cleaning Ship Based on Improved YOLO V5,"?2022International Conference on Cyber-Physical Social Intelligence(ICCSI),Nanjing,China,2022,pp. 386-391.
[24]C.Zhang,J.Liu,J.Xiao and J.Xiong,"Water surface target detection and recognition of USV based on YOLOv5,"?2022 37th Youth Academic Annual Conference of Chinese Association of Automation(YAC),Beijing,China,2022,pp.1227-1231,doi: 10.1109/YAC57282.2022.10023887.
[25]Tong Xiaozhong,Wei Junyu,Su Shaojing,Sun Bei,Zuo Zhen.Typical small target detection on water surfaces fusing attention and multi-scale features[J].Chinese Journal of Scientific Instrument.2023,44(01):212-222.
[26]Wang Y,Ning X,Leng B,et al.Ship detection based on deep learning[C]//IEEE International Conference on Mechatronics and Automation(ICMA),2019:275-279.
[27]Lin F,Hou T,Jin Q,et al.Improved YOLO based detection algorithm for floating debris in waterway[J].Entropy, 2021,23(9):1111./10.3390/e23091111. [28]Wang Yizao,Ma Jiying,Luo Xing,Wang Shuzhe.Target Detection of water Surface Garbage Based on SPMYOLOv3[J]. Computer System&Applications,2023,32(03):163-170.

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。