NeurIPS 2024 | E.T. Bench: 迈向细粒度、事件级的视频时序理解

文章预览

引言 多模态大模型的出现引发了视觉-语言理解领域的重大范式转变。多模态大模型通过融合先进的视觉编码器与大语言模型，获得了优越的多模态感知和推理能力。为了全面地评估这些模型的能力，诸多图像/视频理解测试基准被构建出来。其中，视频理解测试基准上的测试结果表明，多模态大模型已经在视频理解任务上展现出了巨大潜力。 然而，现有视频理解测试基准主要依赖视频级问答评测模型表现，缺乏细粒度的事件级问答，这使得它们不足以反映模型在事件级视频时序理解任务上的能力。这使得我们不禁想问：1)现有多模态大模型在细粒度的事件级时序理解上是否能达到与视频级理解相似的表现；2)如果现有模型的时序理解能力不佳，应该如何进行有效地改进。 论文名： E.T. Bench: Towards Open-Ended Event-Level Video-Language Understanding 项目主页： ht ………………………………