可控视频合成框架MIMO：可以模拟复杂运动并进行物体交互。

文章预览

阿里提出的MIMO是一种可控视频合成的通用模型，可以模拟任何地方任何人的复杂运动，并进行物体交互。给定参考图像，MIMO 可以通过几分钟的推理合成可动画的头像。 它不仅可以通过简单的用户输入合成具有可控属性（即角色、动作和场景）的角色视频，而且还同时实现对任意角色的高级可扩展性、对新颖 3D 运动的通用性以及在统一框架内对交互式现实世界场景的适用性。 相关链接 项目主页：https://menyifang.github.io/projects/MIMO 论文地址：http://arxiv.org/abs/2409.16160 代码链接：https://github.com/menyifang/MIMO 论文阅读 MIMO:具有空间分解建模的可控角色视频合成 摘要 角色视频合成旨在在逼真的场景中制作可动画角色的真实视频。作为计算机视觉和图形学界的一个基本问题，3D 作品通常需要多视角捕捉进行每次训练，这严重限制了它们在短时间内对任意角色 ………………………………