Bengio等人提出新型循环架构，大幅提升模型泛化性能

近日，来自 Mila、哈佛大学等机构的研究者提出一种新型循环架构——循环独立机。它具备专门化特性，可以大幅提升模型在大量不同任务上的泛化性能。模块化结构可以反映环境动态，学习这类结构可实现更好的泛化效果和对微小变化的稳健性。最近，来自 Mila、哈佛大学等机构的研究者提出循环独立机（Recurrent Independent Mechanism，RIM），这一新型循环架构包含多组循环单元，它们可以处理几乎独立的转换动态（transition dynamics），仅通过注意力瓶颈进行稀疏通信。此外，这些循环单元仅在最具相关性的时间步处进行更新。该研究证明，RIM 具备专门化（specialization）特性，并反过来大幅提升了模型在大量不同任务上的泛化性能。模块化结构世界的物理进程通常具备模块 ………………………………