主要观点总结
本文提出了一个以增强大型语言模型的工作流编排能力为目标的框架WorkflowLLM。通过构建高质量的数据集WorkflowBench，对LLM进行微调，使其能够更有效地协调复杂的工作流。实验结果表明，WorkflowLLM在编排任务上表现出强大的能力，并且在未见过的API上也能实现显著的泛化性能。文章还详细描述了数据集构建的过程和模型的性能评估。
关键观点总结
关键观点1: WorkflowLLM的提出背景及目标
随着流程自动化从机器人流程自动化（RPA）到智能体流程自动化（APA）的转变，现有的大型语言模型（LLM）在工作流编排方面的能力仍然有限。为解决这一挑战，作者提出了WorkflowLLM框架，旨在增强LLM在工作流编排方面的能力。
关键观点2: WorkflowBench数据集的构建
为了训练WorkflowLLM，作者构建了一个名为WorkflowBench的高质量数据集。数据集的构建过程分为三个阶段：数据收集、查询扩展和工作流生成。数据集涵盖了来自28个类别的83个应用程序的1,503个API，为训练工作流Llama提供了丰富的数据基础。
关键观点3: WorkflowLLM的效果评估
实验结果表明，WorkflowLLM在编排动作的能力上有显著提升，并且在未见过的指令和API上展现出强大的泛化能力。此外，通过消融研究，作者验证了两种类型的自然语言思考对模型推理能力的贡献，以及大规模合成数据对模型性能提升的重要性。
关键观点4: WorkflowLLM的优势
相较于其他大型语言模型，WorkflowLLM在处理复杂工作流时表现出更强的能力，且在分布外泛化任务中也展现出强大的性能。这为流程自动化的进一步发展提供了有力支持。
文章预览
WorkflowLLM：增强大型语言模型的工作流编排能力 发布时间：2024 年 11 月 08 日 Agent应用 WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models 大型语言模型（LLM）的最新进展通过基于 LLM 自动化工作流编排流程，推动了流程自动化从机器人流程自动化到智能体流程自动化的革命性范式转变。然而，现有的 LLM（甚至先进的 OpenAI GPT-4o）在工作流编排方面的能力仍不尽人意。为了解决这一限制，我们提出了 WorkflowLLM，这是一个以数据为中心精心设计的框架，旨在增强 LLM 在工作流编排方面的能力。它首先构建了一个包含 106,763 个样本的大规模微调数据集 WorkflowBench，涵盖了来自 28 个类别的 83 个应用程序的 1,503 个 API。具体来说，构建过程可分为三个阶段：（1）数据收集：我们从 Apple Shortcuts 和 RoutineHub 收集真实世界的工作流数据，将其转录为 Pytho
………………………………
