vLLM这一年的新特性以及后续规划（总结版!）

文章预览

↑ 点击 蓝字  关注极市平台 作者丨oldpan 来源丨oldpan博客 编辑丨极市平台 极市导读   本文总结了vLLM（一种大型语言模型）在过去一年中的发展、新特性以及未来的规划，包括性能优化、模型和硬件支持、分布式支持以及CPU Offloading等方面，并展望了Q4季度的计划，如架构重构、性能提升和新特性的引入。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文来自The State of vLLM | Ray Summit 2024 & & RoadMap的分享，带大家一起回顾下vllm发展历史、过去一年的发展及接下来Q4规划。感兴趣的也可以查看原视频：https://www.youtube.com/watch\?v=4HPRf9nDZ6Q [1] 过去一年vLLM的工作内容 记得vLLM在九月初更新了一个版本[2]，性能有了明显的提升（支持了multi step，因为减少了CPU overhead，会对吞吐会有提升，但是带来的副作用是TTFT和ITL会变大），某些场景确实带来了收 ………………………………