[vLLM vs TensorRT-LLM] #4 系统调度schedule比较

文章预览

↑ 点击 蓝字  关注极市平台 作者丨oldpan 来源丨oldpan博客 编辑丨极市平台 极市导读   本文比较了vLLM和TensorRT-LLM两种调度器在处理请求时的性能和资源利用情况，探讨了不同的调度策略如静态请求级调度、迭代级调度和连续批处理对服务性能的影响，并分析了内存感知调度在动态长度请求中的重要性。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 from https://medium.com/squeezebits-team-blog/vllm-vs-tensorrt-llm-4-which-scheduler-wins-2dc15283522a 前言 Transformer 和LLMs的时代正在蓬勃发展。除了模型架构的演变之外，工作负载变得愈发动态化，使得 系统级优化与模型级优化 同等重要（类似于单一的视觉模型加上了前后处理）。特别是 请求的调度与批处理方式 ，已经成为决定服务性能的关键因素。 尽管 vLLM 和 TensorRT-LLM 之间存在多种差异，其中调度器的设计差 ………………………………