ECCV 2024 | 数字人也懂惯性定律！上海AI Lab团队提出3D人体姿态序列建模

文章预览

©PaperWeekly 原创 · 作者 |  Yifan Zhan 单位 |  上海人工智能实验室、东京大学 研究方向 |  3D视觉、神经渲染、人体数字重建 论文标题： Within the Dynamic Context: Inertia-aware 3D Human Modeling with Pose Sequence 论文地址： https://arxiv.org/abs/2403.19160 项目地址： https://github.com/Yifever20002/Dyco ▲ 与 HumanNeRF 相比，Dyco 能正确模拟由惯性导致的裙摆运动变化 ▲ Dyco 可以模拟不同速度下的运动，如低速裙摆下垂，高速裙摆飘起 研究背景 随着 NeRF（Neural Radiance Fields）等一众深度神经渲染方法的兴起，传统方法如基于 SMPL 的人体重建获得了更高的渲染质量。然而，现有的人体 NeRF 往往依赖预提取的 3D-SMPL 模型进行逐帧训练，忽略了人体运动上下文导致的外表变化（如旋转导致的裙摆飘动）。这种逐帧训练模式为人体建模引入了单帧姿态控制下的外表歧义，即： 相近的人体姿 ………………………………