开源3天就1.5k星！最新的对口型AI来了，一张照片一个音频，就能动起来！

文章预览

Hallo：让静态肖像动起来 大家好！今天，我要给大家介绍一个非常火的开源项目： Hallo！ 目前上线3天，就收获1.5k星！ 这个项目是由复旦大学、百度公司、苏黎世联邦理工学院、南京大学开发的，它能够将静态的肖像图片变成动态的动画。 也就是通俗的说的对口型AI！ 下面我们先看看例子！ 让老外对口型无间道！ 让真实人物对口型 让影星来唱歌 虚拟人物也能对口型 Hallo 它是怎么工作的？ Hallo是一个基于音频驱动的层次化视觉合成工具，它利用人工智能技术， 让图片中的人物能够根据语音的变化做出相应的面部表情和嘴唇动作。 传统的方法通常使用参数模型来表示面部动作，但这项研究采用了一种新颖的方法，即端到端扩散范式。 这意味着它不再依赖于中间的面部表示模型，而是直接从语音输入生成面部动画。 研究者们还开发了一个分层的 ………………………………