今天看啥  ›  专栏  ›  吃果冻不吐果冻皮

图解大模型分离式推理架构2,模糊分离与合并边界的chunked-prefills

吃果冻不吐果冻皮  · 公众号  · 前端 科技媒体  · 2024-07-23 12:00
    

主要观点总结

文章介绍了使用分离式推理架构的优势,并讨论了如何在不解耦的情况下,通过改进传统batching方法,同时提高系统吞吐量和降低延迟。文章提出了Sarathi-Serve架构,该架构使用切块式prefill(chunked-prefills)和无停滞式调度策略(stall-free schedules),实现了在不解耦的情况下,提升系统性能。同时,文章也介绍了Sarathi-Serve与其余架构的关系,并探讨了其背后的核心技术。

关键观点总结

关键观点1: 分离式推理架构的优势

分离式推理架构可以解耦prefill和decode过程,使得两者能朝着独立的方向优化,改进TTFT和TPOT/TBT,无需在两者之间做trade-off。

关键观点2: 改进传统batching方法

文章提出了Sarathi-Serve架构,通过切块式prefill和无停滞式调度策略,在不解耦的情况下,提升系统性能。

关键观点3: Sarathi-Serve与其余架构的关系

文章讨论了Sarathi-Serve与Orca、vllm等架构的关系,并探讨了其背后的核心技术。


免责声明

免责声明:本文内容摘要由平台算法生成,仅为信息导航参考,不代表原文立场或观点。 原文内容版权归原作者所有,如您为原作者并希望删除该摘要或链接,请通过 【版权申诉通道】联系我们处理。

原文地址:访问原文地址
总结与预览地址:访问总结与预览
推荐产品:   推荐产品
文章地址: 访问文章快照