ECCV 2024 | 视觉定位新SOTA！将视觉定位的目标边界框转化为分割信号

文章预览

论文标题： SegVG: Transferring Object Bounding Box to Segmentation for Visual Grounding 论文地址： https://arxiv.org/abs/2407.03200 代码地址： https://github.com/WeitaiKang/SegVG/tree/main 动机 视觉定位（Visual Grounding）旨在基于自由形式的自然语言文本表达定位图像中的目标物体。随着多模态推理系统的普及，如视觉问答和图像描述，视觉定位的重要性愈加凸显。 已有的研究大致可以分为三类：两阶段方法、单阶段方法和基于变换器（Transformer）的方法。尽管这些方法取得了良好的效果，但在注释的利用上仍显得不足，尤其是仅将框注释作为回归的真值样本，限制了模型的性能表现。 具体而言，视觉定位面临的挑战在于其稀疏的监督信号，每对文本和图像仅提供一个边界框标签。这与目标检测任务（Object Detection）存在显著不同，因此充分利用框注释至关重要，将其视为分割掩膜 ………………………………