ReSyncer：百度联手清华打造的数字人口型视频与音频同步神器！

文章预览

今天给大家介绍的这个AI项目是ReSyncer。 这个ReSyncer它能够生成非常逼真、与音频同步的口型视频。 这个技术，能让数字人说出任何话，而且嘴型还能完美同步! 这个叫ReSyncer的东西，它是百度和清华大学搞出来的。 核心是一个叫Style-SyncFormer的东西。 ReSyncer框架的整体流程 它能从音频中提取特征，然后预测3D面部动态。 而且还能注入说话风格，就是让不同的数字人有不同的说话习惯。 他们还重新设计了生成器，用3D网格来指导2D图像生成。 这操作，简直就是3D配2D，perfect！ 面部交换也做得很溜。扩大一下面具范围，再加点新身份信息，bingo！高质量的换脸就出来了。 换脸的流程图 实验结果杠杠的！各种指标都比其他方法强。 身份交换和唇同步的定性比较 用户研究更是证明了这方法有多牛。 当然了，也有点小缺点。比如对一些奇怪的姿势还处理得 ………………………………