视觉面经之一问：为什么DETR不需要NMS后处理？

文章预览

面经总结 本篇介绍为什么DETR不需要NMS后处理。 简单来说： DETR通过将目标检测重新定义为set prediction问题，引入了稀疏的object queries进行预测。该方法利用二分图匹配进行标签分配，确保每个目标仅由一个query负责预测，有效减少了传统目标检测中常见的重复检测（duplicates）问题。 DETR无需依赖非极大值抑制（NMS）等后处理手段。从原始论文的实验中可以观察到，随着解码器层数的增加，NMS对模型性能的正面影响逐渐减弱，进一步证明了DETR在简化目标检测流程方面的有效性。 具体的我们来看看DETR的结构。 模型结构 上图为DETR结构图，主要分为encoder-decoder，具体来说： Encoder： 在计算机视觉任务中，如目标检测，我们通常从一张尺寸为(C, H, W)的原始图片开始。首先，使用一个强大的特征提取器，比如resnet50，来处理这张图片并输出特征图。为了增强 ………………………………