港理工、腾讯等发布E.T. Bench，迈向细粒度、事件级的视频时序理解

文章预览

论文标题： E.T. Bench: Towards Open-Ended Event-Level Video-Language Understanding 收录会议： NeurIPS 2024 项目主页： https://polyu-chenlab.github.io/etbench/ 论文链接： https://arxiv.org/abs/2409.18111 代码链接： https://github.com/PolyU-ChenLab/ETBench 引言 多模态大模型的出现引发了视觉-语言理解领域的重大范式转变。多模态大模型通过融合先进的视觉编码器与大语言模型，获得了优越的多模态感知和推理能力。 为了全面地评估这些模型的能力，诸多图像/视频理解测试基准被构建出来。其中，视频理解测试基准上的测试结果表明，多模态大模型已经在视频理解任务上展现出了巨大潜力。 然而，现有视频理解测试基准主要依赖视频级问答评测模型表现，缺乏细粒度的事件级问答，这使得它们不足以反映模型在事件级视频时序理解任务上的能力。 这使得我们不禁想问：1）现有多模态大 ………………………………