讨论计算机视觉、深度学习和自动驾驶的技术发展和挑战
今天看啥  ›  专栏  ›  大语言模型和具身智体及自动驾驶

PROGPROMPT:使用大语言模型生成情境机器人任务规划

大语言模型和具身智体及自动驾驶  · 公众号  ·  · 2024-10-06 03:48
    

文章预览

22年9月来自 USC 和 Nvidia 的论文 “PROGPROMPT: Generating Situated Robot Task Plans using Large Language Models”。 任务规划可能需要定义机器人需要在其中行动的世界中大量领域知识。为了减轻这种负担,大语言模型 (LLM) 可用于在任务规划期间对潜在的下一步行动进行评分,甚至在给出自然语言指令而无需额外领域信息的情况下,直接生成行动序列。然而,这些方法要么需要列举所有可能的下一步行动进行评分,要么生成自由格式的文本,其中可能包含给定机器人在当前环境中不可能执行的操作。本文提出一种程序化的 LLM 提示结构,规划能够跨越情境环境、机器人能力和任务的生成功能。其关键见解是使用程序式规范提示 LLM,该规范可用于环境中的可用动作和目标,以及可以执行的示例程序。通过消融实验对提示结构和生成约束提出具体建议,展示 VirtualHome 家 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览