FireAct：走向语言代理微调

文章预览

一句话总结 “ FireAct是一种针对来自多个任务和提示方法的轨迹对LLMs进行微调的新方法，相当于把解决问题的“思路”作为微调数据集来提升LLMs作为Agent的能力。 摘要 当前大多数Agent都是依赖于few-shot prompting技术，忽视了通过微调LLMs来获取Agent的方向。作者通过在问答任务中使用Google搜索API，分别使用不同的基础语言模型、提示方法、微调数据和问答任务，发现经过微调的Agent表现最好。例如，将Llama2-7B与GPT-4生成的500个代理轨迹进行微调可以提高HotpotQA性能77%。因此提出了FireAct这一新的微调方法，该方法使用来自多个任务和提示方法的轨迹，并证明具有更多样化的微调数据可以进一步改善Agent的表现。 介绍 有研究表明，针对特定推理需求进行微调的小型语言模型可以优于经过提示的大型语言模型，同时享受减少的推断时间和成本。但对LLMs（as Ag ………………………………