文章预览
LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 AS - 音频与语音 RO - 机器人 1、[LG] Were RNNs All We Needed? 2、[LG] softmax is not enough (for sharp out-of-distribution) 3、[LG] Forte：Finding Outliers with Representation Typicality Estimation 4、[LG] Positional Attention：Out-of-Distribution Generalization and Expressivity for Neural Algorithmic Reasoning 5、[LG] Not All LLM Reasoners Are Created Equal 摘要：让RNN再次复兴、Softmax引发的“注意力分散”问题研究、利用代表性典型估计查找异常值、用位置注意力提升神经算法推理的分布外泛化和表现力、LLM推理能力差异研究 1、[LG] Were RNNs All We Needed? L Feng, F Tung, M O Ahmed, Y Bengio... [Mila & Borealis AI] 让RNN再次复兴 要点: RNN的复兴: 本文重新审视了传统的循环神经网络（LSTM和GRU），强调了它们尽管被Transformer掩盖，但仍然具有潜力。关键在于克服其顺序计算的限制。 RNN的并行训
………………………………
