深度学习还不如浅层网络？RL教父Sutton持续反向传播算法登Nature

文章预览

点击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达                           转自机器之心 机器之心编辑部 ‍ ‍ ‍ ‍ ‍ ‍‍ 人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重，另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。 最近，一篇发表在《nature》杂志上的研究论文《Loss of plasticity in deep continual learning》证明：标准的深度学习方法在持续学习环境中会逐渐失去可塑性（plasticity），直到它们的学习效果不比浅层网络好。 论文地址：https://www.nature.com/articles/s41586-024-07711-7 值得注意的是，人工智能先驱、强化学习教父、DeepMind 杰出研究科学家，阿尔伯塔大学计算机科学教授 ………………………………