Pascal VOC mIoU大涨29%，PnP-OVSS即插即用的开放词汇语义分割的VLMs

文章预览

Abstract 从图像-文本对中，大规模视觉-语言模型（VLMs）学习将图像区域与词语隐式关联，这在视觉问答等任务中表现出色。然而，利用这种学习关联进行开放词汇语义分割仍然是一个挑战。本文提出了一种简单但极其有效的无需训练的技术，即即插即用的开放词汇语义分割（PnP-OVSS）。PnP-OVSS利用VLM进行直接的文本到图像交叉注意和图像-文本匹配损失。为了在过度分割和欠分割之间取得平衡，我们引入了显著性丢弃，通过迭代地丢弃模型最关注的图像块，我们能够更好地解决分割掩码的整体范围。PnP-OVSS不需要任何神经网络训练，也无需任何分割注释进行超参数调整，包括验证集。PnP-OVSS在多个基准测试中表现出了显著的改进（在Pascal VOC上+29.4%的mIoU，Pascal Context上+13.2%的mIoU，MS COCO上+14.0%的mIoU，COCO Stuff上+2.4%的mIoU），甚至超过了大多数在预训练VLM ………………………………