大语言模型应用如何实现端到端优化？

文章预览

（本文阅读时间：10分钟） 编者按：基于大语言模型（LLMs）开发的应用目前主要使用公共 LLMs 服务提供的 API 进行，但是这些 LLMs 服务的 API 设计以请求为中心，缺乏应用级信息，难以有效优化整个应用流程，影响任务的端到端性能。为此，微软亚洲研究院的研究员们开发了一个专注于 LLMs 应用端到端体验的服务系统 Parrot，它具有减少网络延迟、提高吞吐量、减少冗余计算等优势。Parrot 可以通过引入语义变量，向公共 LLMs 服务公开请求间关系，从而开辟了 LLMs 应用端到端性能优化的空间。相关论文已被计算机系统领域顶级学术会议 OSDI 2024 收录。 大语言模型（LLMs）以其卓越的语言理解能力引领了一场应用开发领域的范式转变。在新兴范式中，一个或多个应用实体，被称为 AI 代理（AI  agent）或 AI 智能副驾驶（AI co-pilot ） ，通过自然语言（即“提 ………………………………