阿里提出可控视频合成框架MIMO：可以模拟任何地方任何人的复杂运动，并进行物体交互。

主要观点总结

本文介绍了阿里提出的MIMO模型，这是一种可控视频合成的通用模型。MIMO可以模拟任何地方的复杂运动，进行物体交互，并通过简单的用户输入合成具有可控属性的角色视频。文章详细描述了MIMO的方法、实验结果和结论。

关键观点总结

关键观点1: MIMO模型的特点

MIMO是一种可控视频合成的通用模型，可以实现高级可扩展性、对新颖3D运动的通用性以及在统一框架内对交互式现实世界场景的适用性。

关键观点2: MIMO的工作机制

MIMO使用单目深度估计器将二维帧像素提升到三维，并基于三维深度将视频片段分解为三个空间分量。这些组件进一步编码为规范身份代码、结构化运动代码和完整场景代码，用作合成过程的控制信号。

关键观点3: MIMO的应用场景

MIMO可应用于角色视频合成，可以通过简单的用户输入合成具有可控属性（如角色、动作和场景）的角色视频。此外，它还可以实现对任意角色的高级可扩展性、对新颖3D运动的通用性以及在统一框架内对交互式现实世界场景的适用性。

文章预览

阿里提出的MIMO是一种可控视频合成的通用模型，可以模拟任何地方任何人的复杂运动，并进行物体交互。给定参考图像，MIMO 可以通过几分钟的推理合成可动画的头像。 它不仅可以通过简单的用户输入合成具有可控属性（即角色、动作和场景）的角色视频，而且还同时实现对任意角色的高级可扩展性、对新颖 3D 运动的通用性以及在统一框架内对交互式现实世界场景的适用性。 相关链接 项目主页：https://menyifang.github.io/projects/MIMO 论文地址：http://arxiv.org/abs/2409.16160 代码链接：https://github.com/menyifang/MIMO 论文阅读 MIMO:具有空间分解建模的可控角色视频合成 摘要 角色视频合成旨在在逼真的场景中制作可动画角色的真实视频。作为计算机视觉和图形学界的一个基本问题，3D 作品通常需要多视角捕捉进行每次训练，这严重限制了它们在短时间内对任意角色 ………………………………