NeurIPS D&B 2024 | 突破短视频局限！MMBench-Video全面解读MLLM视频理解能力

文章预览

GPT-4o 四月发布会掀起了视频理解的热潮，而开源领军者Qwen2也对视频毫不手软，在各个视频评测基准上狠狠秀了一把肌肉。 但当前的大部分评测基准仍然具有以下几个缺陷： 1、 多注重于短视频 ，视频长度或视频镜头数不足，难以考察到模型的长时序理解能力。 2、对模型的考察局限在部分较为简单的任务， 更多细粒度的能力未被大部分基准所涉及到。 3、现有的基准仍可以仅凭单帧图像以获取较高的分数，说明 问题和画面的时序性关联不强。 4、 对开放性问题的评估仍旧采用较旧的GPT-3.5 ，打分和人类偏好有较大的偏差且并不准确，容易高估模型性能。 针对这些问题，有没有对应的基准能够较好解决这些问题呢？ 还真有！ 在最新的 NeurIPS D 2024 中，由浙江大学联合上海人工智能实验室，上海交通大学和香港中文大学提出的 MMBench-Video 打造了一 ………………………………