210-B2｜具身表征学习，3D视觉语言GS；GS系列（漏洞、效率等）；室内重建，服装人类；运动系列（动捕，网络视频，物理合理）

文章预览

AIGC   Research 主编｜ 庄才林（Cailin Zhuang） 技术支持｜胡耀淇（Yaoqi Hu） ————B2.1 Part———— Topic: 3D｜Embodied Representation, Vision-Language GS SPA: 3D Spatial-Awareness Enables Effective Embodied Representation   SPA 2024-10-10｜Shanghai AI Lab, USTC, ZJU, Tongji, NJU http://arxiv.org/abs/2410.08208v2 https://haoyizhu.github.io/spa/ 概述 本论文提出了一种名为SPA（3D Spatial-Awareness）的新型表征学习框架，强调在具身人工智能中3D空间感知的重要性。SPA通过对多视角图像进行可微分神经渲染，增强了传统视觉变换器（ViT）的内在空间理解能力。研究团队进行了迄今为止最全面的具身表征学习评估，涵盖了268个任务，涉及8个模拟器和多种策略，结果显示SPA在多项任务中均优于10种现有的最先进表征方法，且所需的训练数据更少。此外，研究还通过一系列真实世界实验验证了SPA在实际场景中的有效性 ………………………………