基于Transformer目标检测研究综述
作者：尹航 范文婷
来源：《现代信息科技》2021年第07期
        摘要：目标检测是计算机视觉领域三大任务之一，同时也是计算机视觉领域内一个最基本和具有挑战性的热点课题，近一年来基于Transformer的目标检测算法研究引发热潮。简述Transformer框架在目标检测领域的研究状况，介绍了其基本原理、常用数据集和常用评价方法，并用多种公共数据集对不同算法进行对比以分析其优缺点，在综述研究基础上，结合行业应用对基于Transformer的目标检测进行总结与展望。
        关键词：目标检测;Transformer;计算机视觉;深度学习
        中图分类号：TP391 文献标识码：A 文章编号：2096-4706（2021）07-0014-04
        A Summary of Research on Target Detection Based on Transformer
        YIN Hang，FAN Wenting
        （College of Information Science and Technology，Zhongkai University of Agriculture and Engineering，Guangzhou 510225，China）
        Abstract：Target detection is one of the three major tasks in the field of computer vision. At the same time，it is also a basic and challenging hot topic in the field of computer vision. In almost a year，the research of object detection algorithms based on Transformer has caused a boom. This paper sketches the research status of Transformer framework in the field of target detection，introduces it’s basic principle，common data sets and common evaluation methods，and compares different algorithms with several public data sets，so as to analyze their advantages and disadvantages. On the basis of summarizing the research，also combined the industry application，this paper summarizes and prospects of the object detection based on Transformer.
        Keywords：target detection;Transformer;computer vision;deep learning
decoder        收稿日期：2021-02-26
        基金项目：广东省自然科学基金面上项目（2021A1515011605）
        0 引 言
        目标检测是计算机视觉领域的核心任务，是实现目标跟踪、行为识别的基础，目前主流基于卷积神经网络的目标检测算法分为一阶段和两阶段类型。由于Transformer[1]框架在自然语言处理（NLP）领域取得巨大成功，研究者尝试将其迁移到计算机视觉领域。
        2018年，Parmar首次将Transformer应用于图像生成，提出Image Transformer模型[2]。2020年，Carion等人将CNN与Transformer结合，提出一个完备的端到端的DETR目标检测框架[3]，首次将Transformer应用到目标检测。随后的一年内，类似算法不断涌现：Zhu[4]等人提出借鉴可变卷积神经网络的Deformable DETR模型;Zheng[5]等人提出降低自我注意模块计算复杂度的ACT算法;谷歌提出ViT模型[6]并应用于图像分类。图1为近年来基于Transformer目标检测模型。
        1 Transformer 模型
        Transformer模型也称为基于注意力机制模型，多应用于自然语言处理领域，模型包括Encoder和Decoder两部分，结构如图2所示。
        其中Encoder編码器由6个具有相同结构的层组成，每层包含2个子层：多头注意力和前馈网络，每组子层进行残差连接，后做归一化处理。每层Encoder输出如式（1）所示：
        （1）
        其中，x为输入序列。
        Decoder解码器与Encoder结构类似，但多一个掩码层，该层用于掩盖未预测的信息，保证每次预测结果都只基于已知信息。Decoder层的输入为Encoder的输出和上一层Decoder的输出，把Encoder层的输出作为K和V，上一层Decoder层输出作为Q，将Q、K、V输入到注意力模块进行attention操作。Transformer通过Encoder编码器对输入序列进行编码，将编码结果输入到Decoder，最后将Decoder的输出通过线性变换和一个Softmax层来预测下一个输出，此框架具有较强的语义特征提取和长距离特征捕获能力，其并行计算能力与CNN相当。如果考虑图像与文本的维度差异，将图像转换为序列，便可输入到模型进行处理，因此将Transformer迁移到计算机视觉领域是有理论依据、切实可行的。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。