ICML 2024 | 直面CLIP内在缺陷，Meta提出全新latent对比预训练框架Llip

文章预览

基于 对比视觉-语言预训练技 术 的大型多模态模型目前已成为人工智能领域研究的热点课题。但这一预训练技术仍然以经典的CLIP模型为基础，缺乏进一步的发展。 此外，鉴于CLIP模型通过将图像及其caption映射到单个向量这样的底层机制 ，可以认为这限制了对比预训练模型描述图像各种其他方面的能力。 本文介绍一篇来自Meta AI和纽约大学等研究机构合作完成的工作 ，目前已发表在国际机器学习顶级会议ICML 2024上。 本文提出了一种名为Llip的架构（Latent Language Image Pretraining），即潜空间图像语言预训练 。Llip以图像字幕生成（Image Caption）任务作为出发点， 用来模拟自然场景中与单张图像进行匹配caption的多样性 。Llip仍然采用双塔特征提取模式，其视觉编码器可以对给定图像输出一组视觉特征， 这些特征可以总结与当前图像匹配的多样式captions中的 ………………………………