NICE31期 | 微软+罗格斯大学提出：使用交互式推测解码赋能Agent，将智能体规划速度提高一倍！

文章预览

主题 微软+罗格斯大学提出：使用交互式推测解码赋能Agent，将智能体规划速度提高一倍！   时间 2024.11.3 10:00-11:00 周日 入群 内容 论文 ：Interactive Speculative Planning: Enhance Agent Efficiency through Co-design of System and User Interface 链接 ：https://arxiv.org/pdf/2410.00079 单位 ：罗格斯大学、微软 智能体作为用户中心的工具，越来越多地用于解决复杂任务，例如生成思路、与用户互动、制定行动计划、执行计划等等。然而，基于大规模语言模型（LLM）的智能体往往因以下两个主要因素而面临较高的规划延迟： 基础LLM的效率限制 ：由于模型规模大且需求量高，影响了其效率。 智能体的结构复杂性 ：由于需要生成大量中间思路以产生最终输出，增加了延迟。 考虑到服务效率低下会削弱自动化对用户的价值，本文提出了一种以人为中心的高效智能体规划方法——交互式 ………………………………