华为、腾讯开源AniPortrait：用音频、图片生成会说话的视频

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 华为、腾讯的研究人员联合开源了创新视频模型——AniPortrait。 用户通过AniPortrait用音频和人物图片就能自动生成音频同步的视频，例如，让李云龙、新恒结衣、蔡徐坤的图片轻松唱歌、说话。 这与今年2月阿里集团发布的EMO模型，以及谷歌发布的 VLOGGER 在功能方面几乎一样，但那两个是闭源的。 开源地址：https://github.com/Zejun-Yang/AniPortrait 论文地址：https://arxiv.org/abs/2403.17694 AniPortrait生成的视频 AniPortrait的核心框架主要分为两大块，首先通过AI从语音中提取3D面部网格和头部姿态,然后将这些中间表示作为生成条件，用于生成逼真的人像视频序列。 Audio2Lmk音频提取模块 Audio2Lmk借助了语音识别模型wav2v ………………………………