AMG：结合2D真实感与3D控制的创新性人类视频生成方法

文章预览

AMG: Avatar Motion Guided Video Generation 代码： https://github.com/zshyang/amg 论文： https://arxiv.org/abs/2409.01502 AMG （Avatar Motion Guided Video Generation）是一种创新的视频生成方法，它通过结合2D照片真实性和3D控制能力，实现了对人类视频内容的精确控制和高度真实感的生成。 该方法通过调节视频扩散模型，利用3D头像的控制渲染作为条件信号，从而克服了以往2D和3D方法在生成真实感人类视频方面的局限性。AMG不仅能够处理单人动作，还首次支持了多人视频的扩散生成，允许用户对摄像机位置、人物动作和背景风格进行细致的控制。 AMG 的数据处理流程同样具有创新性，它能够从动态摄像机拍摄的视频中重建和渲染人类头像动作，生成与真实视频相匹配的3D头像动作序列。这一流程包括使用TRACE技术提取视频中的人物动作，利用LLaVA生成描述人物外观的文本提示，以及 ………………………………