专栏名称: 将门创投
将门是一家专注于发掘及加速技术创新激活商业价值的创业公司的创投机构。将门旗下设有将门创新服务、将门技术社群以及将门投资基金。关注领域包括机器智能、物联网、自然人机交互、企业计算。
今天看啥  ›  专栏  ›  将门创投

ECCV 2024 | 数字人也懂惯性定律,上海AI Lab提出3D人体姿态序列建模(Dyco)

将门创投  · 公众号  · 科技创业  · 2024-07-22 08:22

主要观点总结

本文介绍了Dyco——一种新颖的人体运动建模方法,旨在解决由不同动态上下文引起的惯性歧义问题。文章详细阐述了研究背景、惯性歧义来源和解决思路、解决方法、实验数据集和结果等。

关键观点总结

关键观点1: 研究背景

随着NeRF等深度神经渲染方法的兴起,传统人体重建方法如基于SMPL的人体重建获得了更高的渲染质量。然而,现有方法存在单帧姿态控制下的外表歧义问题。

关键观点2: 惯性歧义来源与解决思路

SMPL模型无法建模人体外部衣料的外观,单帧SMPL姿态存在固有的外表歧义,无法充分理解衣料的外表变化。问题归咎于系统缺乏对人体惯性的感知。通过姿态序列而非单帧姿态来控制人体建模,可以顺利解决惯性歧义。

关键观点3: 解决方法

提出使用姿态序列建模,结合局部动态上下文编码器来解决惯性歧义问题。姿态序列建模包括姿态变化量的序列建模和局部动态上下文编码器的设计。

关键观点4: I3D-Human数据集

为了解决现有数据集无法测试模型真正解决惯性歧义的能力的问题,提出了全新的I3D-Human数据集。该数据集侧重于捕捉服装外观的变化,并进行了复杂的加减速运动。

关键观点5: 实验结果

在I3D-Human数据集上与主流的人体NeRF方法进行比较,Dyco展现出更好的动态渲染效果和惯性模拟能力。


文章预览

本文围绕大语言模型(LLMs)的对齐问题展开,旨在解决当前模型在与人类价值观存在偏差时可能面对的风险。我们提出了 ALI-Agent评估框架 ,利用LLM驱动的智能体(LLM-empowered agents) 进行全面且深入的对齐评估。 论文标题: Within the Dynamic Context: Inertia-aware 3D Human Modeling with Pose Sequence  论文链接: https://arxiv.org/abs/2403.19160 项目地址: https://github.com/Yifever20002/Dyco 与HumanNeRF相比,Dyco能正确模拟由惯性导致的裙摆运动变化 Dyco可以模拟不同速度下的运动,如低速裙摆下垂,高速裙摆飘起 一、研究背景 随着NeRF(Neural Radiance Fields)等一众深度神经渲染方法的兴起,传统方法如基于SMPL的人体重建获得了更高的渲染质量。然而,现有的人体NeRF往往依赖预提取的3D-SMPL模型进行逐帧训练,忽略了人体运动上下文导致的外表变化(如旋转导致的裙摆飘动)。这种逐 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览