腾讯提出AniPortrait：音频和参考肖像图像驱动生成高质量动画。

主要观点总结

腾讯提出了一种新颖的框架——AniPortrait，用于生成由音频和参考肖像图像驱动的高质量动画。该方法分为两个阶段，首先从音频中提取3D中间表示并将其投影到一系列2D面部标志中，随后采用扩散模型将地标序列转换为逼真且时间一致的肖像动画。该研究在面部自然度、姿势多样性和视觉质量方面表现出优越性，可应用于面部运动编辑或面部重演等领域。

关键观点总结

关键观点1: 腾讯提出的AniPortrait框架用于生成高质量的人像动画。

该框架能够从音频和参考肖像图像中驱动动画，通过两个阶段实现，包括从音频中提取3D面部网格和头部姿态，然后将其投影到2D关键点中，最后使用扩散模型将2D关键点转换为人像视频。

关键观点2: AniPortrait的优势和特点

该研究在面部自然度、姿势多样性和视觉质量方面表现出优越性，提供了增强的感知体验。此外，其灵活性和可控性使其成为面部运动编辑或面部重演等领域的有效工具。

关键观点3: AniPortrait的应用领域

由于其出色的面部动画生成能力和编辑功能，AniPortrait可广泛应用于娱乐、影视、游戏开发、虚拟形象制作等领域。

文章预览

腾讯提出了一种新颖的框架-AniPortrait，用于生成由音频和参考肖像图像驱动的高质量动画。通俗讲，就是给张照片生成说话的视频。类似阿里的EMO，大家先可以简单看下效果。 相关链接 论文：arxiv.org/abs/2403.17694 代码：github.com/Zejun-Yang/AniPortrait Jupyter：github.com/camenduru/AniPortrait-jupyter 论文阅读 AniPortrait:逼真的人像动画的音频驱动合成 摘要 这项研究提出了一个新的框架：AniPortrait。生成由音频和参考肖像图像驱动的高质量动画。方法分为两个阶段。 最初，我们从音频中提取 3D 中间表示并将其投影到一系列 2D 面部标志中。 随后，我们采用鲁棒的扩散模型，结合运动模块，将地标序列转换为逼真且时间一致的肖像动画。 实验结果证明了AniPortrait在面部自然度、姿势多样性和视觉质量方面的优越性，从而提供了增强的感知体验。 此外，我们的方法 ………………………………