有位大佬逐模块解析了基于transformer的目标检测网络

文章预览

Transformer在计算机视觉领域大方异彩，Detection Transformer（DETR）是Transformer在目标检测领域的成功应用。利用Transformer中attention机制能够有效建模图像中的长程关系（long range dependency），简化目标检测的pipeline，构建端到端的目标检测器。 objection detection可以理解为一个集合预测任务（预测一个边界框和分类标签的集合），现有的目标检测算法的流程需要在大量proposals/anchors上定义回归和分类任务，DETR则通过预测集合实现目标检测。 优点： 不需要预定义的先验anchor 不需要NMS的后处理策略 增加transformer的编码结构 通过前馈神经网络直接预测框的位置和类别 缺点： DETR在大目标检测上性能是最好的，而小目标上稍差 基于match的loss导致学习很难收敛，难以学到最优的情况 本文结合论文和代码，逐一分析DETR的模块，DETR的模块主要有： backbone模块 位置编码 ………………………………