Octo：一个开源通才机器人策略

文章预览

24年5月来自UC Berkeley、Stanford、CMU和Deepmind的论文“Octo: An Open-Source Generalist Robot Policy”。 在各种机器人数据集上预训练的大策略有可能改变机器人学习：这种通用机器人策略无需从头开始训练新策略，只需使用少量域内数据即可进行微调，但具有广泛的泛化能力。然而，为了广泛应用于各种机器人学习场景、环境和任务，这些策略需要处理各种传感器和动作空间，适应各种常用的机器人平台，并轻松高效地微调到新域。这项工作旨在为开发开源、广泛适用的通才机器人操作策略奠定基础。作为第一步，引入 Octo，一种基于大型 Transformer 的策略，在 Open X-Embodiment 数据集（迄今为止最大的机器人操作数据集）上的 800k 条轨迹上进行训练。它可以通过语言命令或目标图像进行指示，并且可以在标准消费级 GPU 上在几个小时内通过新的感官输入和动作空间 ………………………………