TSP-Detection：CMU 提出抛弃交叉注意力的 DETR 变体 | ICCV 2021

文章预览

DETR 基于 Transformer 将目标检测视为集合预测问题，实现了最先进的性能，但需要超长的训练时间才能收敛。论文研究了 DETR 优化困难的原因，揭示了收敛缓慢因素主要是匈牙利损失和 Transformer 交叉注意机制。为了克服这些问题，论文提出了两种解决方案，即 TSP-FCOS （基于 Transformer 的 FCOS 集合预测）和 TSP-RCNN （基于 Transformer 的 RCNN 集合预测），不仅收敛速度比原始 DETR 快得多，检测精度方面也显着优于 DETR 和其它基线模型 来源：晓飞的算法工程笔记 公众号 论文: Rethinking Transformer-based Set Prediction for Object Detection 论文地址：https://arxiv.org/abs/2011.10881 论文代码：https://github.com/Edward-Sun/TSP-Detection. Introduction   DEtection TRansformer ( DETR ) 作为第一个完全端到端的目标检测器，可以直接输出最终的预测集。虽然无需进一步的后处理，但需要超长的训练时间才 ………………………………