大语言模型干货 | 系统侧优化简述

文章预览

作者 | 潜水的鱼  编辑 | 自动驾驶之心 原文链接：https://zhuanlan.zhihu.com/p/904649880 点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >> 点击进入→ 自动驾驶之心 『 大语言模型 』 技术交流群 本文只做学术分享，如有侵权，联系删文 1. 前言： 最近有很长的时间在看推理框架的源码，多数都是细节，这里算是自己简单总结下总体相关的内容。 受限于没有集群，所涉及的部分可能存在一定偏差，如有问题请指正。 这里只是个人观点，仅供参考。 Towards Efficient Generative Large Language Model Serving: A Survey from Algorithms to Systems 还是基于这篇论文来做一个简要总结。 由于能力所限，这里只讨论： System Optimizations部分的内容。 2. 量化 由于LLM的训练数据的规模和成本相关的考虑，目前提供的量化方案都是训练后量化， ………………………………