STORM：为强化学习基于高效随机Transformer的世界模型

文章预览

23年10月来自北理工和清华的论文“STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning”。 最近，基于模型的强化学习算法，在视觉输入环境中表现出了显著的效果。这些方法首先通过自监督学习构建真实环境的参数化模拟 世界模型 。通过利用世界模型的想象力，智体的策略得到了增强，而不受从真实环境中采样的限制。这些算法的性能在很大程度上依赖于世界模型的序列建模和生成能力。然而，构建一个复杂未知环境的完美准确模型几乎是不可能的。模型和现实之间的差异可能会导致智体追求虚拟目标，而在真实环境中的表现不佳。在基于模型的强化学习中引入随机噪声已被证明是有益的。在这项工作中，引入了基于随机 Transformer 的世界模型 ( STORM )，这是一种高效的世界模型架构，它将 Transformer 强大的序列建模和生成能力与变 ………………………………