图灵奖得主也在做RNN？最新升级版改进思路太新颖！性能反超Transformer！

文章预览

RNN最近算是热度重燃了，前有反超Transformer的新架构TTT，后有图灵奖得主Yoshua Bengio推出的RNN全新精简改良版minLSTM和minGRU，它们在训练效率上比传统的RNN快了175倍！ 可见 RNN作为老牌重量级模型，在Transformer卷上天的如今，依然是深度学习领域重要的研究热点之一 。对于 它的改进，也自然是我们重要的研究课题 ，其不仅能提升模型的性能和预测精度，更重要的是，还能帮助我们研究和实践不同的改进方法，探索新的神经网络结构和训练算法，挖掘到更多的创新点。 如果有同学对这个方向感兴趣，可以看看我整理好的 10个 最新的RNN改进方案 ，有参考更好找思路，论文开源代码也附上了，方便大家复现。 扫码添加小享， 回复“ RNN改进 ” 免费获取 全部论文+开源代码 Were RNNs All We Needed？ 方法： 论文通过简化LSTM和GRU的结构，提出了可通过并行扫描算 ………………………………