用生物六边形空间语义指针的连续状态表示改进强化学习

文章预览

https://github.com/maddybartlett/ImprovedRLContinuousStateReps Improving Reinforcement Learning with Biologically Motivated Continuous State  Representations https://cs.uwaterloo.ca/~jorchard/academic/ICCM_Bartlett2023.pdf 摘要 从经验中学习，通常形式化为强化学习（Reinforcement Learning, RL），是智能体在自然环境中发展成功行为的重要手段。然而，尽管生物有机体嵌入在连续的空间和连续的时间中，但许多人工智能体使用的RL算法隐含地假设了某种形式的状态空间离散化，这可能导致资源使用效率低下和学习不当。在本文中，我们展示了受生物学启发的连续空间表示对于RL是有价值的状态表示。我们分别在导航任务和CartPole控制任务中使用内侧内嗅皮层的网格细胞模型和海马体的位置细胞模型来表示连续状态。具体来说，我们使用六边形空间语义指针（Hexagonal Spatial Semantic Pointers）模拟大脑中发现的六 ………………………………