大模型超长文本KV-Cache存储消费级优化方法综述！解密大模型中的逐字记忆现象....

文章预览

前言： 看论文就像是一次美食之旅，每一篇论文都是一道不同的菜肴。有些论文会让你大快朵颐，有些论文会让你欲罢不能，而有些论文则会让你咬牙切齿。但是别忘了，只有尝试了各种不同的菜肴，才能成为一个真正的“吃货”哦！ 1. Keep the Cost Down：LLM的KV-Cache优化方法综述   标题： Keep the Cost Down: A Review on Methods to Optimize LLM' s KV-Cache Consumption   相关领域： 模型结构改进,预训练   作者： Shi Luohe,  Zhang Hongyi,  Yao Yao   分析： 这篇论文主要讨论了大型语言模型（LLMs）在面对长文本时遇到的效率问题，并且提出KV-Cache是解决这一问题的关键技术。KV-Cache将生成 token 的复杂度从二次函数降低至线性函数，但同时也增加了与对话长度成比例的 GPU 内存负担。论文回顾了多种 KV-Cache 压缩方法，这些方法在预训练、部署及推理阶段都有所应用。此外， ………………………………