还是原装Transformer好！北大清华团队同时揭示Mamba等推理短板

文章预览

©作者 |  王立威、贺笛、吕凯风等 单位 |  北京大学、清华大学 来源 |  机器之心 思维链（CoT）是大模型中最神秘的现象之一，尤其在数学任务上显著提升了 Transformer 的能力。 然而，思维链的引入也使生成内容的长度增加，消耗了更多的计算资源。这不禁让人好奇：最新推出的高效模型（如 Mamba）是否也能像 Transformer 一样具备强大的推理能力？近期，北大和清华的研究团队同时给出了明确的否定答案，揭示了 Mamba 等高效模型在结构上的局限性。 论文标题： Do Efficient Transformers Really Save Computation? 收录会议： ICML 2024 论文链接： https://arxiv.org/abs/2402.13934 论文标题： RNNs are not Transformers (Yet): The Key Bottleneck on In-context Retrieval 论文链接： https://arxiv.org/abs/2402.18510 基于 Transformer 的大语言模型在文本翻译、文本生成等许多领域展现了惊人的能力。主流的 ………………………………