【他山之石】Block Transformer：通过全局到局部的语言建模加速LLM推理

文章预览

“ 他 山 之 石 ， 可 以 攻 玉 ” ， 站 在 巨 人 的 肩 膀 才 能 看 得 更 高 ， 走 得 更 远 。 在 科 研 的 道 路 上 ， 更 需 借 助 东 风 才 能 更 快 前 行 。 为 此 ， 我 们 特 别 搜 集 整 理 了 一 些 实 用 的 代 码 链 接 ， 数 据 集 ， 软 件 ， 编 程 技 巧 等 ， 开 辟 “ 他 山 之 石 ” 专 栏 ， 助 你 乘 风 破 浪 ， 一 路 奋 勇 向 前 ， 敬 请 关 注 ！ 在基于transformer的自回归语言模型（LMs）中，生成令牌的成本很高，这是因为自注意力机制需要关注所有之前的令牌，通常通过在自回归解码过程中缓存所有令牌的键值（KV）状态来解决这个问题。但是，加载所有先前令牌的KV状态以计算自注意力分数则占据了LMs的推理的大部分成本。 在这篇论文中，作者提出了Block Transformer架构，该架构通过在较低层次之间的粗糙块（每个块代表多个令牌）的自注意 ………………………………