NeurIPS 2024｜上海AI Lab提出实时检索增强框架，无缝整合任意多模态大模型

文章预览

↑ 点击 蓝字  关注极市平台 作者丨李川皓 上海人工智能实验室、北京理工大学 来源丨PaperWeekly 编辑丨极市平台 极市导读   本文提出即插即用的 SearchLVLMs 框架，可以无缝整合任意的多模态大模型。该框架在推理阶段对大模型进行互联网检索增强，使得大模型无需微调即可对实时信息进行准确的反馈。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 01 背景 随着人工智能的快速发展，大模型已逐步融入人们的日常工作和生活中。众所周知，大模型的训练和微调会消耗大量计算资源和时间，这意味着频繁更新大模型的参数是不切实际的。 然而，现实世界中的信息是实时产生的且不断变化的。这使得大模型在完成训练后，对于后续新产生的信息感到陌生，所以无法提供准确可靠的反馈。举例来说，一个在 5 月份完成训练的大模型，无法对黑神 ………………………………