探讨CLIP在免训练开放词汇语义分割中的潜力

文章预览

摘要 CLIP作为一种视觉语言模型，凭借其零样本能力，极大地推动了开放词汇语义分割（OVSS）的发展。 尽管取得了成功，但由于其最初的图像级对齐训练，CLIP在OVSS中的应用仍然面临挑战，这影响了其在需要详细局部上下文的任务中的性能。 我们的研究深入探讨了CLIP的[CLS]符元对图像块特征相关性的影响，揭示了“全局”图像块的主导地位阻碍了局部特征的区分。 为了克服这个问题，我们提出了一种新的免训练语义分割策略CLIPtrase，该策略通过重新校准图像块之间的自相关性来增强局部特征感知。 该方法在分割精度和保持对象之间语义一致性方面均显示出显著改进。 实验表明，我们在9个分割基准测试中平均领先于CLIP 22.3%，优于现有的最先进的免训练方法。 代码已公开发布在https://github.com/leaves162/CLIPtrase 关键词：  CLIP 免训练 语义分割 1 引 ………………………………