复旦开源Hallo：只需输入一段音频和一张照片就可以让人物说话。

文章预览

之前和大家介绍过阿里的EMO和腾讯的AniPortrait，用户只需要提供一张照片和一段任意音频文件，EMO即可生成会说话唱歌的AI视频。最长时间可达1分30秒左右。 感兴趣的小伙伴可以点击下面链接阅读。 阿里最新EMO：只需要提供一张照片和一段音频，即可生成会说话唱歌的AI视频 继阿里EMO后，腾讯也提出了AniPortrait：用于生成由音频和参考肖像图像驱动的高质量动画 近日，复旦发布了一个开源版本的 EMO。 通过输入音频让面部照片开始说话，并且有对于的表情。看起来效果很自然。 采用端到端的扩散范式，引入了分层的音频驱动视觉合成模块，以提高音频输入与视觉输出之间的对齐精度，包括唇部、表情和姿势的运动。 分层音频驱动的视觉合成模块提供了对表情和姿势多样性的自适应控制，更有效地实现了针对不同身份的个性化定制。 以下是实际效 ………………………………