准确率最高只有48%？现有多模态大模型迎来大考！小红书 & 上海交大发布WorldSense基准

文章预览

↑ 点击 蓝字  关注极市平台 作者丨AI生成未来 来源丨AI生成未来 编辑丨极市平台 极市导读   首个专门用于评估多模态大模型（MLLMs）在真实世界场景中全模态理解能力的基准测试集。研究发现现有的开源多模态模型在真实场景中的理解能力有限，即使是表现最好的专有模型准确率也仅为48%，显示出在精确的全模态理解方面仍有巨大的提升空间。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 论文链接： https://arxiv.org/pdf/2502.04326 项目链接： https://jaaackhongggg.github.io/WorldSense/ 🔥现有的Agents在现实世界的全模态理解方面存在重大局限性： 亮点直击 介绍了 WorldSense ，第一个专门用于评估 MLLM 在真实世界场景中全模态理解能力的基准。WorldSense 的特点是全模态集成、多样化的视频类别以及高质量的问答对； 进行了广泛的实验来评估当前 MLLM 在真 ………………………………