麻省理工提出“跨层注意力”，极大优化Transformer缓存

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ Transformer在大模型领域的影响力不言而喻，ChatGPT、Sora、Midjourney、Suno、Llama、Stable Difusion等几乎所有知名开闭源模型，皆基于该架构开发而成。 但随着大模型参数呈指数级增长，小的几百亿大的上千亿甚至万亿，这使得Transformer在解码时所需的KV（键值）缓存急剧增加，会导致内存占用过大造成部署、推理方面的瓶颈。 所以，麻省理工的研究人员提出了全新的跨层注意力（Cross-Layer Attention, 简称“CLA”），通过在不同解码层间共享KV来显著降低对内存的使用，从而提升大模型在处理长序列和大批次推理任务时的效率以及准确率。 论文地址：https://arxiv.org/abs/2405.12981 目前，解决Transformer缓存瓶颈的方 ………………………………