超越Animate Anyone，华科&阿里提出UniAnimate：高保真角色图像动画化方法

文章预览

点击下方 卡片 ，关注“ AIGC Studio ” 文章地址：https://arxiv.org/abs/2406.01188 项目地址：https://github.com/ali-vilab/UniAnimate 01 导言 人体图像动画的目的是根据输入的参考图像和目标姿态序列生成高质量且时间一致的视频。这项任务的挑战包括在整个生成的视频中保持时间一致性和自然外观，目前的视频驱动生成方法中，一般存在两个限制 需要额外的参考模型来将身份图像与主视频分支对齐，这大大增加了优化负担和模型参数; 生成的视频通常时间较短(如24帧)，阻碍了实际应用。 为了解决这些缺点，提出了一个统一动画框架，以实现高效和长期的人类视频生成。 首先，为了降低优化难度并保证时间相干性，结合统一的视频扩散模型，将参考图像与姿态引导和噪声视频映射到一个共同的特征空间中。 其次，提出了一个统一的噪声输入，支持随机噪声输入 ………………………………