3D Diffuser Actor：使用 3D 场景表示进行策略扩散

文章预览

24年7月来自CMU的论文“3D Diffuser Actor: Policy Diffusion with 3D Scene Representations”。 扩散策略是条件扩散模型，可学习以机器人和环境状态为条件的机器人动作分布。它们最近表现出优于确定性和替代性动作分布学习方式。3D 机器人策略使用从单个或多个摄像机视图聚合的带感知深度 3D 场景特征表示。它们表现出比 2D 同类策略在各个摄像机视点上的泛化效果更好。将这两条工作线统一起来，提出 3D diffuser actor，这是一种神经策略，配备了一种 3D 去噪 transformer，其融合了来自 3D 视觉场景、语言指令和本体感受的信息，以预测噪声 3D 机器人姿势轨迹中的噪声。3D diffuser actor在 RLBench 上创造了最先进水平，在多视图设置上绝对性能比当前 SOTA 高出 18.1%，在单视图设置上绝对性能高出 13.1%。在 CALVIN 基准测试中，它比当前 SOTA 提高 9%。它还通过一些演示学习如 ………………………………