vLLM vs TensorRT-LLM 性能对比测试二（Towards Optimal Batching），基于最新版本

文章预览

↑ 点击 蓝字  关注极市平台 作者丨oldpan 来源丨oldpan博客 编辑丨极市平台 极市导读   本文 比较了vLLM和TensorRT-LLM在最新版本下的性能，通过调整关键参数如最大批量大小和最大token数，分析了这些参数对吞吐量、首个token响应时间（TTFT）和每个输出token时间（TPOT）的影响，并探讨了在不同场景下的最佳批量配置。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 翻译自 https://medium.com/squeezebits-team-blog/vllm-vs-tensorrt-llm-2-towards-optimal-batching-for-llm-serving-2a174d45ee3a 该文章测试了最新版（9.24）trt-llm和vllm的性能，不过文中没有提到是否使用vllm在0.6.2版本更新的Multi-step Scheduling。 在之前的文章 中，我们在默认配置和特定限制下对 vLLM 和 TensorRT-LLM 进行了比较，提供了它们基准性能的一些看法。然而，依赖默认设置或仅调整单个参数并不足以充分发挥这 ………………………………