大模型分离式推理架构从DistServe谈起

文章预览

大家好，最近Kimi开源了它的推理架构Mooncake的技术报告，让分离式推理架构的关注度一下升了起来。所以在这个系列中，我打算写一写关于分离式推理架构的一些有趣的优化知识。对于这个架构，我之前也只是了解一些，并没有深入探究过，所以在这个系列中我也和大家一起学习，一起发现好玩的东西。 本篇作为该系列的第一篇， 选择DistServe这个分离式架构入手，选择它的原因是 ： 这篇论文中通过各种实验和数学建模，很好论述了“为什么要用分离式架构”这一点。很适合初次了解这个架构的朋友阅读。这也是本文强调的重点 这篇论文代码是开源的，本文在写作时，也借鉴了开源代码的一些内容 调度策略比较简单（FCFS），也没有做抢占之类的操作（所以本文的重点也不会放在这里） 【全文目录如下】 一、LLM推理的两阶段及评估指标 二、为 ………………………………