视频上下文学习！大模型学会“照猫画虎”生成，结合模拟器还能精准控制真实环境交互，来自MSRA

文章预览

Vid-ICL团队 投稿 量子位 | 公众号 QbitAI 视频生成也能参考“上下文”？！ MSRA提出 视频上下文学习 （Video In-Context Learning, Vid-ICL） ，让大模型学会“照猫画虎”式 模仿生成 。 Vid-ICL通过一段示例视频来指导模型在新场景下的生成，使得生成结果可以在新场景下“模仿”示例视频中完成的任务。 比如，示例视频镜头视角向下移动 （左） ，生成视频同样视角向下移动 （右） ： 示例视频物体向上移动 （左） ，生成视频同样向上移动 （右） ： 物体抓取也能模仿： △ 左：示例视频，机械臂抓取物体；右：生成视频 打开抽屉也可以按示例进行： △ 左：示例视频，打开中间的抽屉；右：生成视频 在相同的电风扇场景下，用不同示例视频指导模型生成效果belike： △ 左： 示例视频，镜头左移； 右： 生成视频 △ 左：示例视频，镜头右移；右：生成视频 ………………………………