南加大团队提出MARVEL：基于认知科学的多维抽象视觉推理基准测试

文章预览

研究背景与挑战 近年来，多模态大语言模型（MLLMs）在视觉推理领域取得了显著进展，展现出强大的视觉问答和视觉常识推理能力。 然而，这些模型是否真正具备抽象视觉推理（AVR）能力仍是一个悬而未决的问题。 类似于解决数独谜题，抽象视觉推理需要在特定任务配置中识别和应用控制输入形状的高级模式。 但现有的评估方法存在明显不足： 评估范围过于局限，往往只包含简单的推理模式和基础图形； 同时评估方法过于简单，无法有效区分模型的视觉感知能力和推理能力。 MARVEL数据集的创新设计 为解决这些问题，研究团队提出了 MARVEL 基准测试集。这个包含 770 个高质量测试样例的数据集建立在人类认知科学的基础之上，特别是核心知识系统理论。MARVEL 的设计突破了传统评估的局限，提供了多维度的测试框架，包括六种核心知识模式、多样 ………………………………