JoyVASA：京东健康基于扩散的面部动态与头部运动生成音频驱动肖像动画技术

文章预览

JoyVASA: Portrait and Animal Image Animation with Diffusion-Based Audio-Driven Facial Dynamics and Head Motion Generation 代码： https://github.com/jdh-algo/JoyVASA 论文： https://arxiv.org/abs/2411.09209v3 JoyVASA 是京东健康团队开发的一种创新的音频驱动肖像动画技术，它通过基于扩散的模型来生成面部动态和头部运动。 JoyVASA 的核心特点在于其解耦面部表示框架，该框架将动态面部表情从静态3D面部表示中分离出来，允许系统灵活地结合静态面部模型与动态运动序列，以生成更准确、更适应性强的动画。此外，JoyVASA 的扩散变换器模型能够直接从音频提示中生成运动序列，独立于角色身份，这不仅提高了方法的通用性，还使其能够应用于更广泛的人物类型，包括人类和动物面孔。 JoyVASA 的另一特性是其对多语言的支持，这是通过在混合数据集上训练模型实现的，结合了私人的中文数据和公 ………………………………