【源头活水】论文解读 | ACL2024：MARVEL：通过视觉模块插件解锁密集检索的多模态能力！！！

文章预览

“ 问 渠 那 得 清 如 许 ， 为 有 源 头 活 水 来 ” ， 通 过 前 沿 领 域 知 识 的 学 习 ， 从 其 他 研 究 领 域 得 到 启 发 ， 对 研 究 问 题 的 本 质 有 更 清 晰 的 认 识 和 理 解 ， 是 自 我 提 高 的 不 竭 源 泉 。 为 此 ， 我 们 特 别 精 选 论 文 阅 读 笔 记 ， 开 辟 “ 源 头 活 水 ” 专 栏 ， 帮 助 你 广 泛 而 深 入 的 阅 读 科 研 文 献 ， 敬 请 关 注！ 概述 这篇论文提出了一种名为视觉模块插件多模态检索模型（MARVEL），它学习了一个嵌入空间，用于对查询和多模态文档进行检索。MARVEL使用统一的编码器模型对查询和多模态文档进行编码，这有助于减少图像和文本之间的模态差异。具体来说，我们通过将视觉模块编码的图像特征作为输入，增强了训练有素的密集检索器T5-ANCE的图像理解能力。为了促进多模态检索任务，我们基于ClueWeb22数 ………………………………