藏师傅手把手系列：教你让 AI 生成的视频人物说话和面部表情更生动

文章预览

昨晚 Runway 也推出了自己的图生视频功能，最近借着可灵免费的时间段大家估计也都玩了一下这些新的 DiT 视频生成模型。 目前这些视频生成模型主要的问题就是控制方式不够，其中一个就是面部表情和说话是嘴部的控制。 快手在发布可灵的时候还顺手开源了一个 LivePortrait 可以将人脸表情视频迁移到图片上生成对应图片的面部表情图片。 前几天他们发布了 V2 版本现在可以直接把表情视频迁移到带人脸的视频上了。我们的流程核心就是基于这个项目。 需要用的的工具有 ： • 图片生成工具：Midjourney 或者 SD 都行。 • AI 视频生成工具：推荐 Runway、可灵、luma 等； • 然后是Hedra这个工具，它可以只提供图片和文字生成人脸的说话视频； • Elevenlabs 这个工具可以通过文字生成说话的音频文件； • 最后是 LivePortrait ，这个需要通过 ComfyUI 来完成，我会 ………………………………