ACL 2024杰出论文：GPT-4V暴露致命缺陷？JHU等发布首个多模态ToM测试集

文章预览

©作者 |  金川杨、舒天民 单位 |  Johns Hopkins University 心智能力（Theory of Mind，ToM），即理解人们思维的能力，是开发具有类人社会智能的 AI 模型的重要基础。 近日，来自 JHU, NYU, MIT, Harvard 等机构的研究团队开创了第一个多模态的 ToM 测试基准，发现现有的多模态模型和 LLM 都表现存在系统性缺陷，同时他们提出了一种有效的新方法。在刚结束的 ACL 2024 会议中，这篇论文获得杰出论文奖。 论文标题： MMToM-QA: Multimodal Theory of Mind Question Answering 论文链接： https://arxiv.org/abs/2401.08743 代码链接： https://github.com/chuanyangjin/MMToM-QA 网站链接 https://chuanyangjin.com/mmtom-qa MMToM-QA：第一个多模态的ToM benchmark 先前所有心智能力的测试基准都是单一模态的。MMToM-QA 是第一个多模态的心智能力测试基准。其中每个问题包含三部分：一个人的活动视频，环境和人类动作的文 ………………………………