【FrozenSeg：开放词汇分割】

文章预览

《FrozenSeg: Harmonizing Frozen Foundation Models for Open-Vocabulary Segmentation》(2024) GitHub: github.com/chenxi52/FrozenSeg FrozenSeg 是一种新颖的方法，旨在通过结合来自本地化基础模型（例如 SAM）的空间知识和从视觉语言（ViL）模型（例如 CLIP）提取的语义知识，来解决开放词汇分割的挑战。这种方法通过将空间感知特征注入到 Transformer 解码器内的可学习查询和 CLIP 特征中，以及设计掩模提案集成策略，来提高召回率和掩模质量。FrozenSeg 在各种分割基准上取得了最先进的结果，并且是在 COCO 全景数据上训练并以零样本方式进行测试的。 在 GitHub 上，您可以找到 FrozenSeg 的官方实现。代码库提供了模型的详细实现，包括训练和推理的脚本，以及预训练模型的权重。此外，还有关于如何准备数据集和开始使用的说明。 关于您提到的 \x26amp;quot;fig5\x26amp;quot;，这通常指的是 ………………………………