SMCA：港中文提出注意力图校准的DETR加速方案 | ICCV 2021

文章预览

为了加速 DETR 收敛，论文提出了简单而有效的 Spatially Modulated Co-Attention （ SMCA ）机制，通过在初始边界框位置给予较高的协同注意力响应值的约束来构建 DETR 的回归感知协同注意力。此外，将 SMCA 扩展为多头注意力和尺度选择注意力后，对比 DETR 可以实现更好的性能（ 108 周期 45.6 mAP vs 500 周期 43.3 mAP ） 来源：晓飞的算法工程笔记 公众号 论文: Fast Convergence of DETR with Spatially Modulated Co-Attention 论文地址：https://arxiv.org/abs/2108.02404 论文代码：https://github.com/gaopengcuhk/SMCA-DETR Introduction   最近提出的 DETR 通过消除手工设置的锚框和非极大值抑制（ NMS ），显著简化了目标检测流程。但与两阶段或一阶段检测器相比， DETR 的收敛速度较慢（500 vs 40 周期），导致算法设计周期变长。研究人员难以进一步扩展该算法，从而阻碍了其广泛使用。   在 DETR 中，对 ………………………………