LLM推理优化系统工程概述

文章预览

作者 | 进击的Killua  编辑 | 自动驾驶Daily 原文链接：https://zhuanlan.zhihu.com/p/680635901 点击下方 卡片 ，关注“ 自动驾驶Daily ”公众号 戳我->  领取近15个自动驾驶方向路线 >> 点击进入→ 自动驾驶Daily技术交流群 微信扫描以下二维码， 『自动驾驶之心知识星球』 ， 国内最专业的技术和求职交流社区， 和3500人一起卷赢 最近看了CMU Catalyst团队23年底出的一篇总结LLM推理加速的综述文章Towards Efficient Generative Large Language Model Serving: A Survey from Algorithms to Systems，覆盖面还是挺广的，文章从算法和系统工程两个大的视角出发对业界现有工作进行了归纳和总结，最后还提出了对未来发展方向的几点预测。本文主要对系统工程和市面上已有的推理框架进行一些讲解，算是查漏补缺吧，算法部分可以看Hsword：大模型如何高效部署？CMU最新万字综述纵览LLM推理MLSys优 ………………………………