主要观点总结
本文介绍了机器之心AIxiv专栏与视觉语言模型领域的最新进展，重点介绍了一项由卡内基梅隆大学和华盛顿大学联合推出的视觉问答基准NaturalBench。该基准旨在评估视觉语言模型在自然图像方面的理解能力，通过简单的问题挑战这些模型。研究发现现有模型在自然图像理解方面存在不足，推出NaturalBench数据集用于评估视觉语言模型的表现，并提出了更可靠的视觉为中心评估指标Group Accuracy (G-Acc)。文章还讨论了提升视觉语言模型性能的方向以及NaturalBench在动态评估中的适用性。
关键观点总结
关键观点1: 机器之心AIxiv专栏介绍
机器之心AIxiv专栏是发布学术、技术内容的栏目，过去数年接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室。
关键观点2: NaturalBench的推出与目的
卡内基梅隆大学与华盛顿大学的研究团队推出了NaturalBench，这是一项以视觉为核心的VQA基准，旨在评估视觉语言模型在自然图像方面的理解能力。
关键观点3: 视觉语言模型在自然图像理解方面的挑战
研究发现，视觉语言模型在自然图像理解方面存在不足，即使是最先进的模型也常出错于自然对抗样本。
关键观点4: NaturalBench数据集的特点
NaturalBench数据集通过简单的流程从图文数据集中构建，旨在避免模型凭借语言偏见或盲猜回答问题。该数据集收集了10,000个高质量VQA样本，用于可靠评估视觉语言模型。
关键观点5: NaturalBench的实验结果
实验结果显示，先前的VQA基准存在盲猜问题，大多数开源模型的表现有限。通过调整同一问题下两个不同选项的得分差等简单调整，可以显著提高模型性能。
关键观点6: NaturalBench对动态评估的意义
NaturalBench数据集已开源，并对动态评估具有广泛的适用性。与传统机器学习模型的静态基准相比，NaturalBench通过一次性验证构建动态基准的效率更高。
文章预览
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 团队的共同一作林之秋（Zhiqiu Lin）是卡内基梅隆大学的博士研究生，由Deva Ramanan教授指导，专注于视觉-语言大模型的自动评估与优化。团队的马紫晛（Zixian Ma）是华盛顿大学的博士研究生，由Ranjay Krishna教授指导，专注于视觉-语言大模型的评测以及与人的交互。 在诸如 MME、MMBench、MMMU 和 ScienceQA 等复杂的视觉问答（VQA）基准上，GPT-4o、Qwen2-VL 等视觉语言模型已经取得了显著进展。然而，这些模型真的理解自然图像吗？ 近日，卡内基梅隆大学与华盛顿大学的研究团队推
………………………………
