【威斯康星大学-麦迪逊分校】值得信赖的人机协作：利用人类反馈和物理知识进行强化学习，实现安全自动驾驶

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2409.00858 代码链接：https://github.com/zilin-huang/PE-RLHF 项目演示：https://zilin-huang.github.io/PE-RLHF-website/ 摘要 本文介绍了值得信赖的人机协作：利用人类反馈和物理知识进行强化学习，实现安全自动驾驶。在自动驾驶领域中，开发安全且可靠的自动驾驶策略仍然是一个重大挑战。最近，基于人类反馈的强化学习（RLHF）因其提高训练安全性和采样效率的潜力而引起广泛关注。然而，当面对不完美的人类演示时，现有的RLHF方法往往会失效，这可能会导致训练振荡，甚至比基于规则的方法性能更差。受到人类学习过程的启发，本文提出了具有人类反馈的物理增强强化学习（PE-RLHF）框架。该新框架将人类反馈（例如，人类干预和演示）和物理知识（例如，交 ………………………………