北邮、美团联合提出反思微调AgentRefine：微调的也能让Agent模型学会反思？

文章预览

©PaperWeekly 原创 · 作者 |  洪文滔、傅大源 单位 |  北京邮电大学硕士生 研究方向 |   自然语言处理 概述 背景   基于大语言模型（LLMs）的智能体（agent）已经被证实其能像人类一样执行复杂任务。其能利用大型语言模型的强大能力来感知环境、做出决策并采取行动，已成为解决复杂现实世界问题的有效方案。 动机   我们首先观察到，现有的智能体训练语料库在训练内（Held-in）评估集上表现出了令人满意的结果，但在训练外（Held-out）评估集上却未能很好地泛化。 这些智能体微调工作面临严重的格式错误，并且常常长时间陷入同样的错误中。它们无法从经验中学习，只能记住现有的观察-行动关系。基于这一洞察，我们提出了一种新颖的 AgentRefine 框架用于智能体微调策略。其核心思想是 让模型通过轨迹中的观察学习纠正其错误。 效果 通过使 ………………………………