阿里、南大和复旦提出Champ：只需要一个视频和一张图片，就能让图片中的人物动起来

文章预览

在数字媒体和娱乐行业，如何将静态的人物图片转化为动态的视频一直是一个挑战。 阿里联合南大和复旦提出的Champ，让这个任务变得简单而高效。只需要一个原始视频和一张图片，Champ就能让图片中的人物动起来。 相关链接 论文地址：https://arxiv.org/pdf/2403.14781 项目地址：https://github.com/fudan-generative-vision/champ 论文阅读 摘要 本文引入了一种人类图像动画方法，通过在潜在扩散框架内利用 3D 人体参数模型来增强当前人类生成技术中的形状对齐和运动引导。 该方法利用SMPL模型作为3D人体参数模型来建立身体形状和姿势的统一表示。这有助于从源视频中准确捕捉复杂的人体几何形状和运动特征。 具体来说，结合了从SMPL序列获得的渲染深度图像、法线图和语义图，以及基于骨架的运动指导，以丰富具有全面 3D 形状和详细姿势属性的潜在扩散模型的条 ………………………………