复旦&微软提出StableAnimator：首个端到端的高质量ID一致性人类视频生成新框架

文章预览

扩散模型近年来在图像和视频生成方面取得了显著成功，极大地激发了图像动画领域的研究。 尤其是人像图像动画利用生成模型根据一系列姿态序列动画化参考图像，从而合成可控的人体动画视频，这在娱乐内容创作和虚拟现实体验等应用中具有广泛前景，具体应用场景包括： 1. 娱乐与影视：帮助动画师轻松制作高质量虚拟角色动画，显著提升工作效率； 2. 游戏与元宇宙：为游戏角色和虚拟形象提供逼真的动作生成，让玩家体验更沉浸； 3. 个性化内容创作：为短视频创作者、数字艺术家提供新的创意工具，实现精准的动态形象设计。 人像动画生成的核心在于：在参考图像的基础上，根据输入的动作序列生成动态视频，同时保持人物的身份信息（尤其是面部特征）。然而，现有方法在复杂动作变化场景下，常出现以下问题： 1.  身份（ID）一致性 ………………………………