字节Loopy助力“AI数字人”起飞 | 核心难题“运动依赖”已被连根拔起，视觉效果令人叹为观止！

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区， 用心写好每一篇文章！ “ 自2020年左右以来， 零样本音频驱动肖像合成 的研究出现了爆炸式增长，因为它能够利用最小的资源下生成会说话的头部视频。 从去年开始，扩散模型技术被引入，与现有方法相比，端到端音频驱动模型展示出更生动的合成结果。  然而，由于音频和肖像运动之间的相关性较弱，端到端音频驱动方法通常会引入与空间运动相关的额外条件，从而确保合成视频的时间稳定性。 本文提出了一种端到端的纯音频条件视频扩散模型Loopy。 具体来说，作者设计了 一个剪辑间和剪辑内时间模块以及一个音频到延迟模块，使模型能够利用数据中的长期运动信息来学习自然运动模式，并改善音频肖像运动相关性。 此方法消除了在现有方法中使用手动指定的空间运动模板来约束推理过 ………………………………