MMSearch：大型模型多模态搜索引擎

主要观点总结

大型多模态模型（LMMs）在图像理解和推理方面取得了显著进步，但在多模态搜索任务中的表现仍有待探索。为了评估LMMs作为多模态搜索引擎的潜力，本文设计了一个多模态搜索流程MMSEARCH-ENGINE，并引入了MMSEARCH基准来评估LMMs的搜索性能。实验发现，配备MMSEARCH-ENGINE的GPT-4o在端到端任务中超过了商业产品Perplexity Pro，表明其流程的有效性。错误分析揭示了当前LMMs在多模态搜索任务中的局限性，并进行了消融研究，探索了扩展测试时计算与扩展模型大小的潜力。MMSEARCH为理解多模态人工智能搜索引擎的未来发展方向提供了独特见解。

关键观点总结

关键观点1: 大型多模态模型（LMMs）在图像理解和推理方面的进步

LMMs在各种场景中展示了令人印象深刻的性能，但在多模态搜索任务中的表现仍有待探索。

关键观点2: 多模态搜索流程的设计

MMSEARCH-ENGINE流程赋予LMMs多模态搜索能力，通过多轮交互与互联网进行交互。

关键观点3: MMSEARCH基准的引入

MMSEARCH基准用于全面评估LMMs的搜索性能，包含300个查询，涵盖14个子领域。

关键观点4: 实验和错误分析

通过MMSEARCH-ENGINE评估了多个LMMs，发现GPT-4o在端到端任务中超过了商业产品Perplexity Pro，错误分析揭示了当前LMMs的局限性。

关键观点5: 未来研究方向

MMSEARCH为理解多模态人工智能搜索引擎的未来发展方向提供了独特见解，包括改进LMMs的搜索能力、探索扩展测试时计算与扩展模型大小的潜力。

文章预览

大型语言模型（LLMs）的出现为人工智能搜索引擎铺平了道路，例如 SearchGPT，展示了人类与互联网互动的新范式。然而，当前的大多数人工智能搜索引擎仅限于纯文本设置，忽略了多模态用户查询和网站信息的图文交织特性。最近，大型多模态模型（LMMs）取得了令人印象深刻的进步。然而，它们是否可以作为人工智能搜索引擎还有待探索，留下了LMMs在多模态搜索中潜力的开放问题。为此，我们首先设计了一个精细的流程，MMSEARCHENGINE，赋予任何LMMs多模态搜索能力。在此之上，我们引入了MMSEARCH，一个全面的评估基准，用于评估LMMs的多模态搜索性能。策划的数据集包含300个手动收集的实例，涵盖14个子领域，与当前LMMs的训练数据没有重叠，确保正确答案只能在搜索中获得。通过使用MMSEARCH-ENGINE，通过执行三个单独的任务（重新查询、重新排序和摘要 ………………………………