腾讯提出 AniPortrait：音频驱动的逼真肖像动画合成

文章预览

扩散模型的出现最近促进了高质量图像的生成。扩散模型通过时间模块进行了改进，使这些模型能够出色地创建引人注目的视频。此外，从音频输入和静态图像生成逼真的动态肖像动画的能力在各个领域都具有巨大的潜力。这种创新方法在虚拟现实、游戏和数字媒体领域都有应用。它的影响延伸到内容创作、讲故事和个性化用户体验。 然而，制作高质量、具有视觉吸引力并保持时间一致性的动画面临着重大挑战。这些并发症的产生是因为需要嘴唇运动、面部表情和头部位置进行复杂的协调，以产生引人注目的视觉效果。现有方法往往无法克服这一挑战，因为它们依赖于有限容量的生成器来创建视觉内容，例如 GAN、NeRF 或基于运动的解码器。这些网络的泛化能力有限，并且在生成高质量内容方面往往缺乏稳定性。 腾讯研究人员推出了 AniPortrait，这 ………………………………