ECCV2024 | ReSyncer: 高质量口型同步和个性化微调！

文章预览

清华 & 百度等联合提出了ReSyncer，可以实现更高稳定性和质量的口型同步，而且还支持创建虚拟表演者所必需的各种有趣属性，包括快速个性化微调、视频驱动的口型同步、说话风格的转换，甚至换脸。 ReSyncer的工作原理可以简单理解为：首先，它接收你要处理的音频。然后，它使用一个特别的程序来分析这个声音，并根据声音的特点生成一个3D面部模型。这部分被称为Style-SyncFormer。接下来，ReSyncer会用生成的3D面部模型和目标视频中的脸部图像相结合，制作出一个嘴唇动作同步、表情丰富的高质量视频。这样，创造出肌肉动态与音频配合得天衣无缝的虚拟人物便成为可能。 上面为ReSyncer生成的假唱/说话风格转换/换脸结果。该方法不仅可以产生高保真的口型视频 但音频可以进一步转移任何目标人的说话风格和身份。 亮点直击 提出了ReSyncer框架，该 ………………………………