大语言模型推理加速技术：计算加速篇

文章预览

公众号格式受限，最佳体验请到我的知乎看～本文是《大语言模型推理加速技术》系列的第一篇 《大语言模型推理加速技术：计算加速篇》 《大语言模型推理加速技术：模型压缩篇》 《大语言模型推理加速技术：推理框架篇》 自从去年ChatGPT横空出世之后，业界对于大语言模型的热情也愈发高涨，随着模型规模越来越大，它们的计算需求也水涨船高，大模型部署和所需的资源量也让很多团队望而却步：毕竟可以拿社区开源的预训练模型跳过训练的过程，但是部署大模型推理是无法避开的流程。本系列旨在简单讨论几个业界生产环境可用的大模型推理技术，并分析对比几个主流的推理框架。 由于各大公司和学术团队都在“卷”大模型，大模型新技术层出不穷，本系列只能保证当前的信息有效性（2023年11月初）。另外由于本文是从工程角度出发，只 ………………………………