最强GPT-4o也才刚及格？智源联合多所高校推出首个多任务长视频评测基准MLVU(4)

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信：CVer5555，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 当前，研究社区亟需全面可靠的长视频理解评估基准，以解决现有视频理解评测基准在视频长度不足、类型和任务单一等方面的局限性。因此，智源联合北邮、北大和浙大等多所高校提出MLVU：首个多任务长视频理解评测基准。MLVU拥有充足且灵活可变的的视频长度、包含多种长视频来源、涵盖多个不同维度的长视频理解任务。通过对20个最新的流行MLLM评测发现，排名第一的GPT-4o的单选正确率不足65%，揭示了现有MLLM在长视频理解任务上仍然面临重大挑战 ………………………………