姚期智团队开源新型注意力，节省90%内存不降性能，一个框架统一MHA/MQA/GQA

文章预览

↑ 点击 蓝字  关注极市平台 来源丨量子位 极市导读   新型注意力机制TPA，姚期智院士团队打造。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 TPA对每个token做动态的张量分解，不存储完整的静态KV，而是保留分解的版本， 内存占用节省90% （或者更多），而不会牺牲性能。 论文中还证明了流行的MHA、MQA、GQA都是TPA的特殊情况，用 一个框架统一了现代注意力设计 。 用此方法训练的 新模型T6 ，代码已在GitHub开源。 论文发布后，有创业者表示，终于不用付那么多钱给云厂商了。 也有研究者认为，论文中的实验看起来很有希望，不过实验中的模型规模有点小，希望看到更多结果。 动态张量分解，无缝集成RoPE 尽管现有的注意力机制在众多任务中取得了不错的效果，但它还是有计算和内存开销大的缺陷。 DeepSeek-v2中提出的 MLA压缩了KV缓存，但 ………………………………