LLM推理优化系统工程概述

文章预览

LLM推理优化系统工程概述 作者：进击的Killua 原文地址：https://zhuanlan.zhihu.com/p/680635901 最近看了CMU Catalyst团队23年底出的一篇总结LLM推理加速的综述文章Towards Efficient Generative Large Language Model Serving: A Survey from Algorithms to Systems，覆盖面还是挺广的，文章从算法和系统工程两个大的视角出发对业界现有工作进行了归纳和总结，最后还提出了对未来发展方向的几点预测。本文主要对系统工程和市面上已有的推理框架进行一些讲解，算是查漏补缺吧，算法部分可以看Hsword：大模型如何高效部署？CMU最新万字综述纵览LLM推理MLSys优化技术这篇文章，讲的很详细了。 推理加速技术分类 系统工程优化 系统工程优化旨在不改变LLM计算语义的前提下进行LLM推理加速，翻译成白话就是不改变模型结构。这一工作的目标是通过改进用于大语言模型推理的底层系统和推理框 ………………………………