专栏名称: 集智书童
书童带你领略视觉前沿之美,精选科研前沿、工业实用的知识供你我进步与学习!
目录
相关文章推荐
今天看啥  ›  专栏  ›  集智书童

破解LLM长上下文瓶颈:MoA混合注意力技术提升3.9倍上下文长度,性能飙升7倍!

集智书童  · 公众号  ·  · 2024-07-19 09:00

文章预览

Abstract 稀疏注意力能有效缓解大型语言模型(LLM)在长上下文中的显著内存和吞吐量需求。现有方法通常采用统一的稀疏注意力 Mask ,在不同注意力头和输入长度上应用相同的稀疏模式。然而,这种统一的方法未能捕捉到LLM中固有的多样化注意力模式,忽略了它们在准确性和延迟之间的不同权衡。为了应对这一挑战,作者提出了混合注意力(MoA),它自动为不同的头和层定制独特的稀疏注意力配置。MoA构建并导航了各种注意力模式及其相对于输入序列长度的缩放规则的搜索空间。它对模型进行剖析,评估潜在的配置,并确定最佳的稀疏注意力压缩计划。MoA适应不同的输入大小,发现一些注意力头扩展其关注范围以适应更长的序列,而其他头始终专注于固定长度的局部上下文。实验显示,MoA在相同的平均注意力跨度下,将有效上下文长度提高了 ,在 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览