[LLM推理优化] 100+篇: 大模型推理各方向新发展整理

文章预览

作者丨DefTruth 来源丨https://zhuanlan.zhihu.com/p/693680304 编辑丨GiantPandaCV 0x01 前言 从事大模型推理的工作有段时间了，业余有空的时候也会关注一下LLM近期发展的方向，以及一些新的paper。说实话，这些论文没法一一看完，大部分都只是看了摘要和结论，了解一下相关的技术对自己当前所做的业务是否有助益。整理和归纳是自己长期以来的习惯，对于LLM推理的发展也是如此，虽然无法一一深入到所有细节，但至少让自己保持一下对业界发展的敏感度应该还是可以的。 0x02 目录 半年多时间，大概收录了100多篇LLM推理相关的论文（paper with codes），既包括了常用的Attention优化、权重量化、KV Cache优化等技术，也涵盖了一些新方向，比如Early Exit、Long Context/Prompt KV Cache优化、Parallel Decoding/Sampling等。 0x03 内容 整理的内容都放在了GitHub: https://github.com/DefTruth/Awesome-LL ………………………………