【源头活水】预训练框架进化论，从CLIP到区域级语义对齐的跨越，通过输入Prompt优化MLLMs特征适应 ！

文章预览

“ 问 渠 那 得 清 如 许 ， 为 有 源 头 活 水 来 ” ， 通 过 前 沿 领 域 知 识 的 学 习 ， 从 其 他 研 究 领 域 得 到 启 发 ， 对 研 究 问 题 的 本 质 有 更 清 晰 的 认 识 和 理 解 ， 是 自 我 提 高 的 不 竭 源 泉 。 为 此 ， 我 们 特 别 精 选 论 文 阅 读 笔 记 ， 开 辟 “ 源 头 活 水 ” 专 栏 ， 帮 助 你 广 泛 而 深 入 的 阅 读 科 研 文 献 ， 敬 请 关 注！ 对比语言图像预训练（CLIP）已经被广泛应用于训练视觉编码器以生成图像/文本表示，从而实现各种应用。 最近，CLIP 已被广泛采用作为多模态大型语言模型（MLLMs）的视觉基础，用于将图像输入与语言互动连接起来。CLIP 作为视觉语言基础模型的成功依赖于在 图像 Level  对网络爬取的噪声文本标注进行对齐。 然而，这样的标准可能对于需要细粒度视觉表示的下游任务来说是不够的，尤其是 ………………………………