【重磅】阿尔伯塔大学提出“Stream-X”强化学习新范式，无需经验重放、目标网络或批量更新。

主要观点总结

本文介绍了自然智能与流式学习的概念，指出深度强化学习中存在的流式障碍问题。阿尔伯塔大学等机构的研究者提出了stream-x算法来解决这一问题。该算法克服了流式障碍，在多个基准测试任务中表现优异，甚至超越了批量RL的性能。文章还介绍了stream-x算法的方法介绍、实验结果等。

关键观点总结

关键观点1: 自然智能与流式学习的概念

自然智能过程可以实时感知、行动和学习，流式学习是强化学习的一种运作方式，模仿自然学习，适合资源受限等应用程序。

关键观点2: 深度强化学习中存在的流式障碍问题

深度强化学习中常用的批量更新和重放缓冲区方式计算昂贵，与流式学习不兼容。流式深度强化学习存在样本效率问题，经常出现不稳定和学习失败的情况。

关键观点3: stream-x算法介绍

stream-x算法是首个用于克服预测和控制流式障碍的深度强化学习算法，它通过引入流式深度强化学习方法如Stream TD (λ)、Stream Q (λ) 和 Stream AC (λ)来解决流式障碍问题。

关键观点4: stream-x算法的实验结果

stream-x算法在多个基准测试任务中表现优异，克服了流式障碍，与批量强化学习性能相当。通过提高样本效率和优化器设计，该算法在电力消耗预测任务、MuJoCo Gym、DM Control Suite、MinAtar 和 Atari 2600 等任务上取得了显著成果。

文章预览

转载自：机器之心 https://mp.weixin.qq.com/s/5w8zl0Wf2DKfaNJz7iKuMw 自然智能（Natural intelligence）过程就像一条连续的流，可以实时地感知、行动和学习。流式学习是 Q 学习和 TD 等经典强化学习 (RL) 算法的运作方式，它通过使用最新样本而不存储样本来模仿自然学习。这种方法也非常适合资源受限、通信受限和隐私敏感的应用程序。 然而，在深度强化学习中，学习器（learners ）几乎总是使用批量更新和重放缓冲区，这种方式使得它们在计算上很昂贵，并且与流式学习不兼容。 研究认为批量深度强化学习之所以普遍，是因为它的样本效率高。流式深度强化学习存在样本效率问题，经常出现不稳定和学习失败的情况。这一现象称为流式障碍。 就像下图展示的，流式强化学习需要从即时单个样本进行更新，而无需存储过去的样本，而批量强化学习则依赖于存储在 ………………………………