SayCan：将语言落地于机器人Affordance

主要观点总结

该文章主要介绍了来自谷歌和Everyday Robots的论文“Do As I Can, Not As I Say: Grounding Language in Robotic Affordances”，讨论了如何利用大语言模型（LLM）和具身智体（例如机器人）之间的交互来执行复杂的任务。文章阐述了如何将低级技能与大语言模型相结合，通过预训练技能提供现实世界落地，将高级指令分解为适合机器人执行的低级指令序列。文章还介绍了使用价值函数（affordance函数）为大语言模型奠定基础的方法，并解释了如何通过可视化的方式展示机器人的决策过程。最后，文章描述了实验环境和实验过程，包括在办公室厨房环境中使用移动机械手进行物体操纵和导航技能的评估。

关键观点总结

关键观点1: 大语言模型与机器人交互的重要性

通过将大语言模型与具身智体（如机器人）相结合，可以实现复杂的任务执行。大语言模型提供高级语义知识，而机器人则作为“手和眼睛”执行具体任务。

关键观点2: 价值函数（affordance函数）的作用

价值函数（affordance函数）用于为大语言模型奠定基础，提供特定技能在当前状态下能够成功执行的似然性。它帮助机器人理解任务的落地性，并将高级指令分解为可执行的低级技能序列。

关键观点3: 实验环境与过程

实验在办公室厨房环境中进行，使用移动机械手和一组物体操纵和导航技能评估方法。通过模拟和真实环境测试，验证了所提出方法的有效性。实验还介绍了技能获取、价值函数训练、策略网络构建等方面的细节。

文章预览

22年8月来自谷歌和Everday Robots的论文“Do As I Can, Not As I Say: Grounding Language in Robotic Affordances”。 大语言模型可以编码大量有关世界的语义知识。这些知识对于旨在按照自然语言表达的高级、时间扩展指令采取行动的机器人非常有用。然而，语言模型的一个显著弱点是它们缺乏现实世界的经验，这使得很难利用它们在给定的具身中进行决策。例如，要求语言模型描述如何清理洒出物，可能会产生合理的叙述，但它可能不适用于需要在特定环境中执行此任务的特定智体（例如机器人）。 本文提议通过预训练技能提供现实世界落地，这些技能用于约束模型，才能提出既可行又适合上下文的自然语言动作。机器人可以充当语言模型的“手和眼睛”，而语言模型则提供有关该任务的高级语义知识。将低级技能与大语言模型相结合，这样语言模型提供有关复杂 ………………………………