专栏名称: 中国人工智能学会
关注中国人工智能学会官方公共账号,收取学会的科普信息、新闻动态、活动预告及人工智能领域科技前沿信息。
今天看啥  ›  专栏  ›  中国人工智能学会

热点关注丨RNN回归!Bengio新作大道至简与Transformer一较高下

中国人工智能学会  · 公众号  · AI  · 2024-10-28 20:53
    

文章预览

转自 新智元  【导读】 近日,深度学习三巨头之一的Yoshua Bengio,带领团队推出了全新的RNN架构,以大道至简的思想与Transformer一较高下。 在Transformer统治的AI时代之下, 散落在世界各地的「RNN神教」信徒,一直相信并期待着RNN回归的那天: 毕竟,凭借强大的顺序和上下文感知能力,RNN曾在各种任务中表现惊艳。 直到后来遭遇了反向训练的瓶颈,因Scaling Law而跌落神坛。 然而,人们并没有忘记RNN。 RWKV、Mamba、xLSTM等RNN衍生模型接连出现,欲挑战Transformer之霸主地位。 就在近日,又有重量级人物下场—— 深度学习三巨头之一的Yoshua Bengio,带领团队推出了全新的RNN架构,以大道至简的思想与Transformer一较高下。 论文地址:https://arxiv.org/pdf/2410.01201v1 研究人员对传统的两种RNN架构LSTM和GRU,进行了大刀阔斧的改造,从中诞生了两个新模型:minLSTM和minGRU。 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览