Ref-NMS：打破两阶段指称表达定位中的提案瓶颈

文章预览

摘要 解决指称表达定位的常用框架基于两阶段过程：1）使用目标检测器检测提案；2）将指称对象定位到其中一个提案。 现有的两阶段解决方案主要关注定位步骤，该步骤旨在将表达与提案对齐。 在本文中，我们认为这些方法忽略了两个阶段中提案作用的一个明显的 不匹配 ：它们仅基于检测置信度生成提案（ 即 。 例如 ，与表达无关），希望这些提案包含表达中所有正确的实例（ 即 。 例如 ，与表达相关）。 由于这种不匹配，当前的两阶段方法在检测到的提案和真实提案之间存在严重的性能下降。 为此，我们提出了 Ref-NMS，这是第一个在第一阶段产生与表达相关的提案的方法。 Ref-NMS 将表达中的所有名词视为关键对象，并引入一个轻量级模块来预测每个框与关键对象对齐的分数。 这些分数可以指导 NMS 操作过滤掉与表达无关的框，提高关 ………………………………