成果 | CODIS：评估多模态大模型结合上下文理解图像的能力

文章预览

下面这张图片中的楼梯是向上还是向下延伸的？面对一张有歧义的图片，你会怎么理解？ 图片中的楼梯是向上还是向下延伸？ 人类在进行视觉理解时有一种神奇的能力：根据上下文信息（可以是所处场景的时间或空间信息，也可以是事先知道的其他背景知识）进行解读。当上下文信息改变时，人类对图像的理解也会发生变化。 当上下文信息改变时，人类对图像的理解也会发生变化，而GPT-4V等多模态模型有时缺乏根据上下文信息理解图像的能力 那么，最近引人关注的多模态大模型是否也具有这种能力呢？我们针对这一问题展开了探究。评测结果表明，尽管人类完成此类任务并不存在太大困难，但多模态模型的分数普遍不高，表现最为亮眼的GPT-4V模型也仅仅正确回答了约30%的问题，远远落后于人类。多模态大模型在此项能力上有较大提升空间。  ➤ ………………………………