Robot Utility Models：在新环境零样本部署的通用策略

文章预览

24年9月来自纽约大学、HelloRobot和Meta的论文“Robot Utility Models: General Policies for Zero-Shot Deployment in New Environments”。 机器人模型，尤其是那些经过大量数据训练的机器人模型，展示了在现实世界的操纵和导航能力。一些独立的研究已经表明，如果在环境中有足够的训练数据，机器人策略可以泛化到该环境中出现的变化。然而，需要针对每个新环境对机器人模型进行微调，这与语言或视觉中的模型形成了鲜明对比，这些模型可以零样本部署用于开放世界问题。 这项工作提出RUM，这是一个用于训练和部署零样本机器人策略的框架，可以直接推广到新环境而无需任何微调。为了有效地创建 RUM，开发新工具来快速收集移动操作任务的数据，将这些数据集成到具有多模态模仿学习的策略中，并在一个廉价商品机器人 Hello Robot Stretch 上部署设备上的策略，并使用 ………………………………