217-B2｜从日常纵向视频学习智能体3D互动行为；稀疏视图重建系列，显式动态高斯重建；3D面部重建，从视频恢复人类网格｜Tue

文章预览

AIGC   Research 主编｜ 庄才林（Cailin Zhuang） 技术支持｜胡耀淇（Yaoqi Hu） Topic: 3D｜Casual Longitudinal Videos Agent-to-Sim: Learning Interactive Behavior Models from Casual Longitudinal Videos Agent-to-Sim 2024-10-21｜Meta , CMU, UC Berkeley｜⭐️ 🟡 http://arxiv.org/abs/2410.16259v1 https://gengshan-y.github.io/agent2sim-www/ 概述 本文提出了一种名为Agent-to-Sim (ATS) 的框架 ，旨在从日常拍摄的纵向视频中学习三维代理的互动行为模型。 与以往依赖于标记跟踪和多视角摄像头的研究不同，ATS通过长时间的单一环境视频观察，非侵入性地捕捉动物和人类代理的自然行为。为了实现三维行为建模，ATS开发了一种粗到细的注册方法，能够在一个规范的三维空间中跟踪代理和摄像机，最终构建出完整且持久的时空四维表示。该框架不仅能将真实世界的行为转移到互动行为模拟器中，还能处理宠物和人类的行为生 ………………………………