ModelServer：基于 SGLang 的前端分发系统

文章预览

作者丨Chayenne Zhao 来源丨https://zhuanlan.zhihu.com/p/718015016 编辑丨GiantPandaCV 前段时间被 Alfword 折磨的够呛。当我在服务器上同时开跑上千个 Alfword 游戏后，LLM server 的效率显著下降，并且经常出现 connection time out。索性我手写了一个集成了 configuration 和 serving 的框架来解决这些问题。具体而言，我希望利用 SGLang 同时 serve 多个模型（比如 8 个 Llama3.1 8b），每个模型映射单独的端口；同时开启上千个 running task，每个 task 具有一个 ModelServer 用以选择所有端口中的某一个进行交互。 在此基础上： ModelServer 在单次 API 请求失败时，进行有限的重试； ModelServer 会在 init 以及单次 API 请求时间超长时，遍历当前的所有端口，选择最快的端口——尽可能使用同一个端口是为了充分利用 SGLang 后端的前缀树； Chayenne Zhao：SGLang 后端原文解析 https://zhuanlan.zhihu.com/p/716543182 ………………………………