最难多模态Benchmark？目前MLLM的缺陷以及值得注意的点

文章预览

作者： yearn，微软亚洲研究院Research Intern 原文： https://www.zhihu.com/people/zyf-98-4 32个标注者，29,429条标注数据，图像平均分辨率2000 x 1500, 当前最难最大的纯手工标注图像感知benchmark来了！现有模型包括Qwen2-VL排名第一但仍没有取得55%以上的准确率。 Abs：https://arxiv.org/abs/2408.13257 Code：https://github.com/yfzhang114/MME-RealWorld MME-RealWorld在 VLMEvalKit 中也可用, 支持一键评测！give it a try! 主要发现 • 在真实世界任务上，Qwen2-vl和InternVL2在中文感知和推理任务上表现明显好于闭源模型比如Claude 3.5，国内用户可以首选这两个。 • 英文版二者的感知能力Qwen2-vl > InternVL2 > 其他，但是推理还是闭源模型Claude 3.5更胜一筹。 • 闭源模型比如Gpt-4o对于高分图像的能力被高估了，这方面GPT-4o基本上都排不到前三，Gemini-Pro则更差。 • 所有MLLMs在自动驾驶，遥感数据，视频监控等 ………………………………