深度学习还不如浅层网络？RL教父Sutton持续反向传播算法登Nature

文章预览

©作者 |  机器之心编辑部 来源 |  机器之心 人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重，另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。 最近，一篇发表在《nature》杂志上的研究论文《Loss of plasticity in deep continual learning》证明：标准的深度学习方法在持续学习环境中会逐渐失去可塑性（plasticity），直到它们的学习效果不比浅层网络好。 论文链接： https://www.nature.com/articles/s41586-024-07711-7 值得注意的是，人工智能先驱、强化学习教父、DeepMind 杰出研究科学家，阿尔伯塔大学计算机科学教授 Richard S. Sutton 是这篇论文的作者之一。 简单来说，该研究使用经典的 ImageNet 数据集、神经网络和学习算法的各种变体来展示可塑 ………………………………