NeurIPS 2024 | 上海AI Lab提出实时检索增强框架，无缝整合任意多模态大模型

文章预览

©PaperWeekly 原创 · 作者 | 李川皓 单位 | 上海人工智能实验室、北京理工大学 研究方向 | 多模态大语言模型、互联网检索增强 背景 随着人工智能的快速发展，大模型已逐步融入人们的日常工作和生活中。众所周知，大模型的训练和微调会消耗大量计算资源和时间，这意味着频繁更新大模型的参数是不切实际的。 然而，现实世界中的信息是实时产生的且不断变化的。这使得大模型在完成训练后，对于后续新产生的信息感到陌生，所以无法提供准确可靠的反馈。举例来说，一个在 5 月份完成训练的大模型，无法对黑神话悟空（8 月份发布）游戏内容相关的提问给出准确的回答。 为此，我们提出即插即用的 SearchLVLMs 框架，可以无缝整合任意的多模态大模型。该框架在推理阶段对大模型进行互联网检索增强，使得大模型无需微调即可对实时信息进行准 ………………………………