一骗就中招！多模态大模型面对误导性问题，看懂图片也会答错

文章预览

©作者 |  刘业鑫 单位 |  智源研究院、港科广 研究方向 |  计算机视觉 多模态大语言模型（MLLMs）因其在视觉理解和推理方面的突出表现，例如生成详细的图像描述和回答复杂的问题等，逐渐成为近期 AI 研究的热点。 然而，Bunny 团队的最新研究发现，尽管许多 MLLMs 对视觉内容能够正确理解，但在面对误导性的问题时却容易给出错误答案，如图 1 所示。团队基于此揭示了一个隐藏现象：MLLMs 在视觉问答上的错误回答，不总是因为性能不足，还可能是由于对误导性问题缺乏鲁棒性。 ▲ 图1. 左图展示模型能够正确理解视觉内容，但对于误导性问题回答错误。右图展示现有的 MLLMs 在回答正向的问题和负向的误导性问题还存在一定的鸿沟。 为全面衡量 MLLMs 的理解能力及其在正确理解视觉内容后面对误导性问题时的表现，研究团队提出了多模态鲁棒性基 ………………………………