ACL 2024 | 多模态大模型能揭示图像背后的深意吗？

文章预览

论文题目： Can Large Multimodel Models Uncover Deep Semantics Behind Images? 论文链接： https://arxiv.org/abs/2402.11281v2 Github链接： https://github.com/AnnaYang2020/DeepEval Blogpost链接： https://sites.google.com/view/DeepEval/%E9%A6%96%E9%A0%81 研究简介 图像的深意（Deep Semantics of Images）是指超越表面意义的深层内涵，传达更丰富和更深刻的信息，探究图像的本质。理解图像的深层语义是人类高水平智能的表现之一，也是人类从感知智能向认知智能探索的重要途径。然而，过去图片视觉理解的研究主要聚焦于图像的表面信息，如计数、物体属性、关系推理等。此前对深度语义的工作范围有限，往往局限于幽默、讽刺等方面，且缺乏全面深入的探索。 为了填补当前研究的空白，我们构建了 DeepEval，一个用于评估大型多模态模型（Large Multi-model Models，LMMs）视觉深意理解能力的综合基准。DeepEval ………………………………