Block Transformer：通过全局到局部的语言建模加速LLM推理

来源：DeepHub IMBA本文约2500字，建议阅读8分钟Block Transformer架构突出了自回归变换器中全局到局部建模的推理时优势。在基于transformer的自回归语言模型（LMs）中，生成令牌的成本很高，这是因为自注意力机制需要关注所有之前的令牌，通常通过在自回归解码过程中缓存所有令牌的键值（KV）状态来解决这个问题。但是，加载所有先前令牌的KV状态以计算自注意力分数则占据了LMs的推理的大部分成本。在这篇论文中，作者提出了Block Transformer架构，该架构通过在较低层次之间的粗糙块（每个块代表多个令牌）的自注意力来模拟全局依赖性，并在较高层次的每个局部块内解码细粒度的令牌，如下图所示。论文的主要贡献包括：发现了在自回归变换器中，全局和局部建模在推理时的核心作用和好处，特别是局部模块的重要性。利用这些见解可以优化架构中 ………………………………