霉霉开口唱碧昂丝的歌，又是AI！口型不出戏，五官姿态也自然，复旦百度等出品｜GitHub揽星1k+

文章预览

西风 发自 凹非寺 量子位 | 公众号 QbitAI 一张人像、一段音频参考，就能让霉霉在你面前唱碧昂丝的《Halo》。 一种名为 Hallo 的研究火了，GitHub已揽星1k+。 话不多说，来看更多效果： 不论是说话还是唱歌，都能和各种风格的人像相匹配。从口型到眉毛眼睛动作，各种五官细节都很自然。 单独拎出不同动作强度的比较，动作幅度大也能驾驭： 单独调整嘴唇运动幅度，表现是这样婶儿的： 有不少网友看过效果后，直呼这是目前最好的开源口型同步视频生成： 这项工作由来自复旦大学、百度、苏黎世联邦理工学院和南京大学的研究人员共同完成。 团队提出了 分层的音频驱动视觉合成模块 ，将人脸划分为嘴唇、表情和姿态三个区域，分别学习它们与音频的对齐关系，再通过自适应加权将这三个注意力模块的输出融合在一起，由此可以更精细地建模音 ………………………………