通往实体数字人：人物-场景交互动作生成

主要观点总结

本文介绍了北京大学人工智能研究院朱毅鑫助理教授团队与北京通用人工智能研究院黄思远研究员团队在CVPR 2024会议上发表的论文，题为Scaling Up Dynamic Human-Scene Interaction Modeling。研究聚焦于人与场景交互的动作生成问题，在建模、方法和训练数据方面都有创新贡献。发布了人物-场景交互数据集TRUMANS，包含详尽的针对人物动作以及三维场景的标注信息。

关键观点总结

关键观点1: 研究背景

随着计算机视觉、计算机图形学、机器人技术和人机交互等领域的发展，仿真人类肢体动作成为一项重要任务。生成自然、逼真且多样化的人体动作在影视、游戏、增强现实与虚拟现实等多个领域都有广泛应用。

关键观点2: 研究方法

研究团队提出了一种使用自回归条件扩散模型的动作生成框架，通过引入局部场景表征方法，高效地将场景信息作为条件融入扩散模型。对于长时间序列的动作，研究团队提出了一种简单有效的进度标识符，使得自回归生成机制能够完整地呈现动作的语义。

关键观点3: 数据集发布

研究团队发布了迄今为止最大的一个人物-场景交互数据集TRUMANS，包含15小时的长期人体运动数据，覆盖了多种场景配置。数据集包含了丰富的人物、场景和动作标注信息。

关键观点4: 研究挑战与心得

研究过程中面临的挑战包括场地问题、数据收集以及模型泛化能力。团队成员表示，这项研究最大的特点是解决问题比较全面，将人和场景分别看作整体进行建模。这项研究对其接下来的工作规划产生了影响，团队成员将继续深入这一方向的研究。

关键观点5: 投稿计划与联系信息

文章作者提供了投稿计划和相关联系方式，欢迎技术领域的初创企业提交与数智核心科技领域相关的项目。

文章预览

本文介绍了北京大学人工智能研究院朱毅鑫助理教授团队与北京通用人工智能研究院黄思远研究员团队联合在 CVPR 2024 会议上发表的论文，题为Scaling Up Dynamic Human-Scene Interaction Modeling。 该研究聚焦于人与场景交互的动作生成问题，在建模、方法和训练数据方面均有创新贡献。研究团队提出了 一种使用自回归条件扩散模型的动作生成框架，实现了丰富、真实且无长度限制的人体动作生成 。通过引入一种局部场景表征方法，高效地将场景信息作为条件融入扩散模型。对于长时间序列的动作，文章提出一种简单有效的 进度标识符 ，使得自回归生成机制能够完整地呈现动作的语义。此外，文章发布了目前为止最大的一个 人物-场景交互数据集 ，包含详尽的针对人物动作以及三维场景的标注信息。 本文第一作者是北京大学人工智能研究院博士生蒋楠（导 ………………………………