ACL 2024 | 剑桥大学团队开源：赋能多模态大模型RAG应用，首个预训练通用多模态后期交互知识检索器

主要观点总结

本文介绍了剑桥大学团队开源的通用预训练多模态知识检索器PreFLMR，用于搭建多模态RAG应用。PreFLMR是基于NeurIPS 2023发表的FLMR模型进行改进，并在M2KR上进行大规模预训练。该模型具有通用性，可以解决多种子任务，并在多个下游检索任务中表现出色。文章还介绍了PreFLMR的预训练阶段、模型结构、以及实验结果和贡献。

关键观点总结

关键观点1: PreFLMR模型特点

PreFLMR是一个通用预训练多模态知识检索器，用于搭建多模态RAG应用。相比DPR系统，PreFLMR在问询和文档表征方面采用了更细粒度的信息编码方式，具有更好的性能。此外，PreFLMR还具有三个不同规模的模型供使用者选择，以适应不同的实际应用需求。

关键观点2: M2KR数据集介绍

M2KR是一个用于大规模预训练和评估通用多模态检索模型的数据集，包含多个广泛研究的检索子任务和超过百万的检索对。PreFLMR模型在M2KR数据集上的表现得到了验证。

关键观点3: PreFLMR的实验结果和贡献

PreFLMR在多个M2KR检索子任务上取得了超越基线模型的表现。实验结果表明，增加视觉编码器的参数对于后期交互多模态检索系统的效果提升更大。此外，PreFLMR还使得RAG更加有效，在知识密集型视觉问答任务上的表现得到了显著提升。

文章预览

关注公众号，发现CV技术之美 本篇分享 ACL 2024 论文 PreFLMR: Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers ，由剑桥大学团队开源，赋能多模态大模型 RAG 应用，首个预训练通用多模态后期交互知识检索器。 论文链接：https://arxiv.org/abs/2402.08327 项目主页：https://preflmr.github.io/ 简介 PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。目前训练数据、预训练权重、微调代码等均已开源。该模型已在企业级RAG应用成功落地。作者团队将在8月10日-17日参加ACL 2024，欢迎学术交流和商业合作。 背景 尽管多模态大模型（例如GPT4-Vision、Gemini等）展现出了强大的通用图文理解能力，它们在回答需要专业知识的问题时表现 ………………………………