HULC-2丨非结构化数据的具有视觉可供性标定语言

文章预览

来源：投稿  作者：橡皮 编辑：学姐 论文地址：https://arxiv.org/pdf/2210.01911.pdf 项目主页：https://github.com/mees/hulc2 摘要： 最近的研究表明，大型语言模型 (LLM) 可以应用于将自然语言应用到各种各样的机器人技能中。然而，在实践中，学习多任务、语言为条件的机器人技能通常需要大规模数据收集和频繁的人为干预来重置环境或帮助纠正当前策略。在这项工作中，我们提出了一种新方法，通过利用自监督的视觉语言可供性模型，从现实世界中非结构化、离线和免重置数据中高效地学习通用的语言调节机器人技能，这只需要用语言注释总数据的 1%。我们在模拟和现实世界的机器人任务中通过大量实验评估了我们的方法，在具有挑战性的 CALVIN 基准上实现了最先进的性能，并在现实世界中使用单一策略学习了超过 25 种不同的视觉运动操作任务。我们发现 ………………………………