一起理解下LLM的推理流程

文章预览

↑ 点击 蓝字  关注极市平台 作者丨oldpan 来源丨oldpan博客 编辑丨极市平台 极市导读   本文介绍了大型语言模型（LLM）的推理流程，包括推理的两个阶段（prefill和decode）、chunked prefill技术以及推理评测指标，旨在帮助理解LLM在GPU上的计算和存储需求。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文来源自Pytorch Conference 2024的talking —— Understanding the LLM Inference Workload ，由NVIDIA的高级解决方案架构师讲述，感兴趣的可以看原演讲视频： https://www.youtube.com/watch\?v=z2M8gKGYws4\ =PL\_lsbAsL\_o2B\_znuvm-pDtV\_cRhpqZb8l\ =23 [1] 本文总结和整理下其描述的基于TRT-LLM的LLM推理流程。 0x10 推理 以下是简单的LLM推理流程（下图中输入 Write me a presentation... ），注意两个事儿： 我们的输入prompt是放在GPU中的， 然后output的时候，是 一个一个 出来的：LLM inference is hard， ………………………………