Socratic Planner: 用于具身指令跟随的基于查询零样本规划方法

主要观点总结

本文介绍了一种名为Socratic Planner的零样本规划方法，用于具身指令遵循（EIF）任务。该方法通过自我提问和回答将指令分解为子结构信息，并转化为高级规划，即一系列子目标。在面临执行失败时，通过视觉反馈动态调整规划。实验证明，Socratic Planner在ALFRED基准的零样本和少样本任务规划中表现优异，尤其是在需要高维推理的任务中。与其他依赖大量标记数据的方法相比，Socratic Planner通过结合环境视觉信息实现了对规划的精确调整，并且无需依赖大量人工注释数据。

关键观点总结

关键观点1: Socratic Planner是一种零样本规划方法，用于具身指令遵循（EIF）任务。

通过自我提问和回答分解指令为子结构信息，并转化为高级规划。

关键观点2: Socratic Planner结合环境视觉信息实现精确调整规划。

与其他方法相比，减少了依赖大量标记数据和人工注释数据的需要。

关键观点3: 实验证明Socratic Planner在ALFRED基准测试中表现优异。

特别是在需要高维推理的任务中，Socratic Planner表现出强大的能力。

文章预览

24年4月来自韩国首尔大学的论文“Socratic Planner: Inquiry-Based Zero-Shot Planning for Embodied Instruction Following”。 具身指令遵循 (EIF) ，是在 3D 环境中导航和目标交互来执行自然语言指令的任务。EIF 的主要挑战之一是组合任务规划，这通常通过使用标记数据的监督学习或上下文学习来解决。为此，引入 Socratic Planner，这是第一个无需任何训练数据即可进行推断的零样本规划方法。Socratic Planner 首先通过自我提问和回答将指令分解为任务的子结构信息，然后将其转化为高级规划，即一系列子目标。子目标按顺序执行，基于视觉的重规划机制通过密集的视觉反馈动态调整规划。还引入了高级规划的评估指标 RelaxedHLP，以便进行更全面的评估。实验证明 Socratic Planner 的有效性，在 ALFRED 基准的零样本和少样本任务规划中，均取得了具有竞争力的表现，尤其是在需要 ………………………………