超越AnimateAnyone, 华科&中科大&阿里提出Unimate,可根据单张图片和姿势指导生成视频。

文章预览

阿里新发布的UniAnimate，与 AnimateAnyone 非常相似，它可以根据单张图片和姿势指导生成视频。项目核心技术是统一视频扩散模型，通过将参考图像和估计视频内容嵌入到共享特征空间，实现外观和动作的同步。 相关链接 项目：unianimate.github.io 论文：arxiv.org/abs/2406.01188 代码：github.com/ali-vilab/UniAnimate 论文阅读 利用统一视频扩散模型实现一致的人体图像动画 摘要 最近基于扩散的人体图像动画技术在合成完全遵循给定参考身份和所需运动姿势序列的视频方面取得了令人印象深刻的成功。 尽管如此，仍然存在两个限制： 需要额外的参考模型来将身份图像与主视频分支对齐，这显著增加了优化负担和模型参数； 生成的视频通常时间较短（例如24帧），阻碍了实际应用。 为了解决这些缺点，我们提出了一个 UniAnimate 框架来实现高效和长期的人体视频生 ………………………………