LLM2CLIP：强大的语言模型解锁更丰富的视觉表示

文章预览

摘要 CLIP 是当今最重要的多模态基础模型之一，它使用大规模图像文本对上的简单对比学习损失，将视觉和文本信号对齐到共享特征空间。 什么赋予了 CLIP 的能力？ 自然语言提供的丰富的监督信号——人类知识的载体——塑造了强大的跨模态表示空间。 因此，CLIP 支持各种任务，包括零样本分类、检测、分割和跨模态检索，对整个多模态领域产生了重大影响。 然而，随着 GPT-4 和 LLaMA 等大型语言模型 (LLM) 的快速发展，语言理解和生成的边界不断被打破。 这提出了一个有趣的问题：  大语言模型的能力是否可以被利用来进一步改进多模态表示学习？  将 LLM 纳入 CLIP 的潜在好处是显而易见的。 LLM 强大的文本理解能力可以从根本上提高 CLIP 处理图像标题的能力，从而大大增强其处理长而复杂文本的能力——这是普通 CLIP 的一个众所周知的局限 ………………………………