(ECCV2024) 视觉定位新SOTA！SegVG：将视觉定位的目标边界框转化为分割信号（已开源）

文章预览

关注公众号，发现CV技术之美 论文：https://arxiv.org/abs/2407.03200 代码：https://github.com/WeitaiKang/SegVG 动机 视觉定位(Visual Grounding)旨在基于自由形式的自然语言文本表达定位图像中的目标物体。随着多模态推理系统的普及，如视觉问答和图像描述，视觉定位的重要性愈加凸显。已有的研究大致可以分为三类:两阶段方法、单 阶段方法和基于变换器(Transformer)的方法。尽管这些方法取得了良好的效果，但在注释的利用上仍显得不足，尤其是仅将框注释作为回归的真值样本，限制了模型的性能表现。 具体而言，视觉定位面临的挑战在于其稀疏的监督信号，每对文本和图像仅提供一个边界框标签。这与目标检测任务(Object Detection)存在显著不同，因此充分利用框注释至关重要，将其视为分割掩膜(即边界框内的像素赋值为1，外部像素赋值为0)，可以为视觉定位提供 ………………………………