忘记Tool检索，拥抱全新Agent ToolGen！

文章预览

传统大模型工具 调用 的方法 依赖于将工具描述作为上下文输入，这受到上下文长度的限制，并需要单独的、通常效率低下的检索机制。 之前基于检索的方法与ToolGen之间的比较 。以前的方法使用检索器根据相似性匹配检索相关工具，这些工具进一步被放入提示中供LLMs选择。ToolGen可以通过直接生成工具标记来检索工具。ToolGen也可以在不依赖任何外部检索器的情况下完成任务。 为此，微软等提出 ToolGen ，这是一种将工具知识直接整合到LLM参数中的范式转变，将 每个工具表示为大型语言模型（LLM）词汇表中的一个独特虚拟标记（token），将工具检索和执行集成到LLM的生成过程中。 ToolGen框架的说明 。在工具虚拟化中，工具被映射到虚拟标记中。在接下来的三阶段训练中，ToolGen首先通过基于文档预测工具标记来 记忆工具 。然后它学习通过从查询中预 ………………………………