MIMO：AI换人

文章预览

项目简介 AI换脸是替换视频中的人脸，MIMO直接实现了AI换人，并且保持原视频中人物的动作。看演示视频，人物是有闪烁和动作不准的情况。阿里的项目，依旧是有Github但未开源。 角色视频合成旨在在逼真的场景中生成可动画角色的逼真视频。作为计算机视觉和图形领域的一个基本问题，3D 作品通常需要多视图捕获来进行逐例训练，这严重限制了它们在短时间内建模任意角色的适用性。最近的 2D 方法通过预先训练的扩散模型打破了这一限制，但它们在姿势通用性和场景交互方面存在困难。为此，我们提出了 MIMO  ，一种新颖的可推广模型，它不仅可以合成具有由 简单用户输入 提供的 可控属性 （即角色、运动和场景）的角色视频，而且还可以 同时实现对任意角色的高级可扩展性、通用性到新颖性3D 动作以及统一框架中交互式现实世界场景的适用 ………………………………