可以依靠 LLM 智体制定长期规划吗？TravelPlanner 为例

文章预览

24年8月来自LG电子在加拿大多伦多AI实验室的论文“Can We Rely on LLM Agents to Draft Long-Horizon Plans? Let’s Take TravelPlanner as an Example”。 大语言模型 (LLM) 因其良好的泛化和涌现能力，使自主智体更接近通用人工智能 (AGI)。然而，对于基于 LLM 的智体如何表现、为什么它们可能会失败以及如何改进它们，尤其是在要求严格的现实世界规划任务中，还缺乏研究。 本文用一个现实的基准 TravelPlanner (Xie et al., 2024) 进行研究，其中智体必须满足多个约束才能生成准确的规划。利用这个基准来解决四个关键研究问题：(1) 在推理和规划方面，LLM 智体是否足够健壮以应对冗长和嘈杂的上下文？(2) 少量提示是否会对 LLM 智体在长上下文场景中的表现产生不利影响？(3) 能否依靠细化来改进规划，(4) 使用正反馈和负反馈对 LLM 进行微调能否带来进一步的改进？ 综合实验表明， ………………………………