新架构RNN反超Transformer：每个隐藏状态都是一个模型，一作：从根本上改变语言模型

文章预览

梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 新架构，再次向Transformer发起挑战！ 核心思想： 将RNN中的隐藏状态换成可学习的模型 。 甚至 在测试时都可以学习 ，所以该方法称为 TTT （Test-Time Training） 。 共同一作UC伯克利的Karen Dalal表示：我相信这将 从根本上改变语言模型 。 一个TTT层拥有比RNN表达能力更强的隐藏状态，可以直接取代Transformer中昂贵的自注意力层。 在实验中，隐藏状态是线性模型的TTT-Linear表现超过了Transformer和Mamba，用更少的算力达到更低的困惑度（左），也能更好利用长上下文（右）。 此外，隐藏状态是MLP模型的TTT-MLP在32k长上下文时表现还要更好。 Karen Dalel还指出，理论上 可学习的隐藏状态可以是任意模型 ，对于更长上下文来说，可以是CNN、甚至可以是完整的Transformer来套娃。 目前刚刚出炉的TTT论文已经在学术界引起关注和讨论 ………………………………