专栏名称: AIGCStudio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
今天看啥  ›  专栏  ›  AIGCStudio

复旦发布开源版本的EMO,只需输入一段音频和一张照片就可以让人物开始说话。

AIGCStudio  · 公众号  ·  · 2024-06-28 06:00
之前和大家介绍过阿里的EMO和腾讯的AniPortrait,用户只需要提供一张照片和一段任意音频文件,EMO即可生成会说话唱歌的AI视频。最长时间可达1分30秒左右。感兴趣的小伙伴可以点击下面链接阅读。阿里最新EMO:只需要提供一张照片和一段音频,即可生成会说话唱歌的AI视频继阿里EMO后,腾讯也提出了AniPortrait:用于生成由音频和参考肖像图像驱动的高质量动画近日,复旦发布了一个开源版本的 EMO。通过输入音频让面部照片开始说话,并且有对于的表情。看起来效果很自然。采用端到端的扩散范式,引入了分层的音频驱动视觉合成模块,以提高音频输入与视觉输出之间的对齐精度,包括唇部、表情和姿势的运动。分层音频驱动的视觉合成模块提供了对表情和姿势多样性的自适应控制,更有效地实现了针对不同身份的个性化定制。以下是实际效果演示 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照