加拿大联合研究团队提出基于注意力的新网络架构，性能媲美Transformer且更节省内存

文章预览

科情智库 5月22日，加拿大皇家银行人工智能研究所Borealis AI、蒙特利尔大学研究者及图灵奖得主Yoshua Bengio等联合研发团队提出了基于注意力机制的新网络架构Aaren，同时在时间和内存上实现高效运算。 该研究将注意力机制视为一种特殊的循环神经网络（RNN），引入了一种基于并行前缀扫描（prefix scan）算法的新的注意力公式，能够高效地计算注意力的多对多RNN输出，进而实现高效的更新。实验结果表明，Aaren在38个数据集上的表现与Transformer相当，这些数据集涵盖了强化学习、事件预测、时间序列分类和时间序列预测任务等四种常见的序列数据设置。在内存复杂性方面，随着累计计算token数量增长，Transformer的内存使用量呈线性增长，Aaren只使用恒定的内存。在时间复杂度方面，Transformer累计计算量是token数的二次方，而Aaren的累计计算量是线性的。 来 ………………………………