UIUC联合USC最新提出MagicPose4D框架： 可以精确控制外观和动作的4D生成模型

文章预览

点击下方 卡片 ，关注 「3DCV」 公众号 选择 星标 ，干货第一时间送达 1.总结 UIUC联合USC提出MagicPose4D，一种新颖的框架，用于在4D生成中精确控制外观和运动。通过接受单目视频作为运动提示，MagicPose4D克服了现有方法在4D生成复杂或罕见运动时的局限性，显著提升了4D内容生成的准确性和一致性。代码已经开源。 论文链接 : https://arxiv.org/pdf/2405.14017 代码链接 : https://github.com/haoz19/MagicPose4D 主页链接 : https://boese0601.github.io/magicpose4d/ 2.方法 MagicPose4D包括两个关键模块： 1. 双阶段4D重建模块 ：该模块分为两个阶段。第一阶段通过准确的2D监督和几何信息丰富的3D伪监督捕捉模型形状。第二阶段利用第一阶段获得的更准确的伪3D监督进行模型优化，并引入基于运动链的骨架约束以确保物理可行性。我们还提出了一种全局-局部Chamfer损失，用于在无需额外注 ………………………………