NeurIPS 2024 | LLM能理解视频中的时间吗？港理工、腾讯提出细粒度视频理解新基准

文章预览

论文：E.T. Bench: Towards Open-Ended Event-Level Video-Language Understanding 链接：https://arxiv.org/abs/2409.18111 代码：https://github.com/PolyU-ChenLab/ETBench 作者：Zongyang Ma 1.引言 多模态大模型的出现引发了视觉-语言理解领域的重大范式转变。多模态大模型通过融合先进的视觉编码器与大语言模型，获得了优越的多模态感知和推理能力。为了全面地评估这些模型的能力，诸多图像/视频理解测试基准被构建出来。其中，视频理解测试基准上的测试结果表明，多模态大模型已经在视频理解任务上展现出了巨大潜力。 然而，现有视频理解测试基准主要依赖视频级问答评测模型表现，缺乏细粒度的事件级问答，这使得它们不足以反映模型在事件级视频时序理解任务上的能力。这使得我们不禁想问：1)现有多模态大模型在细粒度的事件级时序理解上是否能达到与视频级理解相似的表 ………………………………