从仿真到现实：对抗强化学习练就互搏神技

文章预览

         近年来以强化学习为代表的数据驱动方案在智能汽车得到广泛研究，其摆脱了驾驶系统对人工规则和标签数据的依赖，依托策略在环境中的探索试错不断改进性能。然而，训练环境和应用环境之间往往存在模型偏移，如复杂随机的动态干扰和交通参与者的异常行为，导致离线训练的策略在真实环境中的性能受限。该问题被称之为强化学习的泛化难题，也是当前高级别智能汽车落地应用的关键挑战。         考虑环境扰动实施对抗强化训练是提升泛化性能的主要手段，其思想是将训练环境和应用环境之间的偏移视为对抗干扰，构建与驾驶策略的零和博弈，使得策略训练过程经历复杂的环境扰动，以提升其在应用环境的泛化能力。具体而言，在每一步交互中，驾驶策略和对抗策略获得的环境反馈之和为 0 ，即一个策略的损失为另一个策略的 ………………………………