主要观点总结
本文介绍了UCSD华人团队的创新性技术——预填充-解码分离技术，该技术在大语言模型服务中提升了有效吞吐量，优化了延迟问题。文章阐述了PD分离技术的原理、实现方式及在不同场景下的性能表现。团队成员包括Junda Chen、Yinmin Zhong和Hao Zhang教授。文章还附有实验数据和参考资料。
关键观点总结
关键观点1: PD分离技术成为兵家必争之地
由于PD分离技术能够显著提升大语言模型的有效吞吐量，同时优化延迟问题，因此成为当前研究的热点。
关键观点2: 预填充和解码分离的原理
预填充和解码是LLM推理的两个主要阶段。将它们分离并分配到不同的GPU上，可以消除两者之间的干扰，使每个阶段都能更快完成，并更容易满足各自的SLO（服务水平目标）。
关键观点3: PD分离技术的性能表现
在实验中，使用PD分离技术的系统原型DistServe，在聊天机器人、代码补全和摘要等任务上，相比现有系统vLLM，有效吞吐量有显著提升。其中，聊天机器人任务提升2.0倍到3.41倍，代码补全任务提升3.2倍，摘要任务提升4.48倍。
关键观点4: KV缓存传输的重要性及优化
预填充和解码之间的数据传输（主要是KV缓存）是PD分离技术的一个关键。通过精心放置工作节点和利用高速网络技术，可以有效地最小化传输开销。
关键观点5: 团队成员介绍
该研究由加州大学圣地亚哥分校的Hao AI实验室的华人研究者完成，包括Junda Chen、Yinmin Zhong和Hao Zhang教授。他们分别介绍了自己的研究背景和兴趣。
文章预览
新智元报道 编辑：静音 定慧 【新智元导读】 老黄GTC重点展示的PD分离技术为何成兵家必争之地？UCSD全华人团队力作，创新性地提出预填充-解码分离技术。在严格的延迟约束下，相比现有最先进的服务系统，可实现高达4.48倍的有效产出率或10.2倍更严格的SLO达成率。 现在，PD分离已经成为兵家必争之地。 前有Mooncake/DeepSeek等公司采用这种技术来优化大模型的推理服务，后有Nvidia/PyTorch基于该技术孵化下一代LLM服务系统。 甚至最近，黄仁勋也在2025 GTC的舞台上提到了PD分离（Prefill-Decode Disaggregation）技术，进一步证明了这一技术获得的广泛关注。 去年，来自UCSD的一个华人团队发布的一篇博客，就深入剖析了这一技术的原理和它的应用场景。 博客地址：https://hao-ai-lab.github.io/blogs/distserve/ 如今，大语言模型应用有着不同的延迟需求。 例如，聊
………………………………
