打破多模态检索的瓶颈，OmniSearch实现智能动态规划！

文章预览

关注公众号，发现CV技术之美 随着多模态大语言模型（MLLM）的广泛应用，模型在理解复杂问题时经常会出现“幻觉”现象，即模型生成的内容与事实不符。多模态检索增强生成（mRAG）技术旨在通过外部知识库的检索来解决这一问题，但现有的mRAG方法多依赖于预定义的检索流程，难以应对现实世界中复杂、多变的知识需求。 为解决这一问题，阿里巴巴通义实验室RAG团队开发了 OmniSearch ，业内首个具备自适应规划能力的多模态检索增强生成框架。OmniSearch能够动态拆解复杂问题，根据当前的检索结果和问题情境调整下一步的检索策略，模拟了人类在解决复杂问题时的行为方式，显著提升了检索效率和模型生成的准确性。 Github链接：https://github.com/Alibaba-NLP/OmniSearch Demo链接：https://modelscope.cn/studios/iic/OmniSearch OmniSearch：多模态检索的新纪元 传统mRAG的局限 ………………………………