vLLM vs TensorRT-LLM 性能对比测试，基于0910较新版本

文章预览

↑ 点击 蓝字  关注极市平台 作者丨oldpan 来源丨oldpan博客 编辑丨极市平台 极市导读   这篇文章对比测试了vLLM和TensorRT-LLM两个大型语言模型推理框架在不同场景下的性能，包括吞吐量、首token响应时间（TTFT）和单token生成时间（TPOT），并探讨了在特定实际场景下更优的配置。实验结果表明，在不同的性能指标和约束条件下，两个框架各有优势，选择哪个框架取决于具体的应用需求和操作约束。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 翻译自：https://medium.com/squeezebits-team-blog/vllm-vs-tensorrt-llm-1-an-overall-evaluation-88f281bf01c7 该文章测试了最新版（9.10）trt-llm和vllm的性能，不过文中没有提到是否使用 vllm在0.6.0版本更新的Multi-step Scheduling [1] 。 vLLM 和 TensorRT-LLM 是我们熟知的大型语言模型（LLM）推理框架。 vLLM [2] 是一个快速且易于使用的库，支 ………………………………