考考大模型视频理解能力，中科院人大百川提出新基准合成框架

文章预览

VideoNIAH团队 投稿 量子位 | 公众号 QbitAI 测试Gemini1.5 Pro、GPT-4o等多模态大模型的新基准来了，针对 视频理解 能力的那种。 直接在视频内容中插入多个无关的图像或文本“针”，严格评估模型对时间理解的能力。 来看下面的栗子。 比如插入密码词“Alice”，让模型找到这个密码词；插入苹果图片，让模型解答这个水果是什么；又或者插入多个“针”，询问模型插入针的顺序是什么。 这就是来自中科院、人大、百川的研究团队联合提出的利用 合成视频 构建视频理解测试基准的方法。 该方法名为 VideoNIAH ，可以解耦视频内容与其对应的查询-响应对，通过插入无关的图像或文本“针”来生成测试数据，既保证了视频来源的多样性和查询响应的多样性，还通过插入多个针来严格评估模型对时间理解的能力。 此外，使用与现实视频内容相对应的查询-响应 ………………………………