【他山之石】RNN回归！Bengio新作大道至简与Transformer一较高下

文章预览

“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注！ 在Transformer统治的AI时代之下，散落在世界各地的「RNN神教」信徒，一直相信并期待着RNN回归的那天： 毕竟，凭借强大的顺序和上下文感知能力，RNN曾在各种任务中表现惊艳。 直到后来遭遇了反向训练的瓶颈，因Scaling Law而跌落神坛。 然而，人们并没有忘记RNN。 RWKV、Mamba、xLSTM等RNN衍生模型接连出现，欲挑战Transformer之霸主地位。 就在近日，又有重量级人物下场—— 深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。 论文地址： htt ………………………………