多模态大模型面对误导性问题：看懂图片也会答错，一骗就中招

文章预览

关注公众号，发现CV技术之美 多模态大语言模型（MLLMs）因其在视觉理解和推理方面的突出表现，例如生成详细的图像描述和回答复杂的问题等，逐渐成为近期AI研究的热点。 然而，Bunny 团队的最新研究发现，尽管许多MLLMs对视觉内容能够正确理解，但在面对误导性的问题时却容易给出错误答案，如图1所示。团队基于此揭示了一个隐藏现象：MLLMs 在视觉问答上的错误回答，不总是因为性能不足，还可能是由于对误导性问题缺乏鲁棒性。 图1 左图展示模型能够正确理解视觉内容，但对于误导性问题回答错误。右图展示现有的MLLMs在回答正向的问题和负向的误导性问题还存在一定的鸿沟。 为全面衡量 MLLMs 的理解能力及其在正确理解视觉内容后面对误导性问题时的表现，研究团队提出了多模态鲁棒性基准(MMR-benchmark)和针对鲁棒性的评价指标。同时为了提 ………………………………