多代理强化学习综述：原理、算法与挑战

文章预览

1. 引言 多代理强化学习（Multi-Agent Reinforcement Learning, MARL）是强化学习的一个重要分支，它将传统的单代理强化学习概念扩展到多代理环境中。在MARL中，多个代理通过与环境和其他代理的交互来学习最优策略，以在协作或竞争场景中最大化累积奖励。 MAgent中代理之间的对抗（混合MARL示例） MARL的正式定义如下：多代理强化学习是强化学习的一个子领域，专注于研究在共享环境中共存的多个学习代理的行为。每个代理都受其个体奖励驱动，采取行动以推进自身利益；在某些环境中，这些利益可能与其他代理的利益相冲突，从而产生复杂的群体动态。 2. 单代理强化学习回顾 在深入MARL之前，有必要回顾单代理强化学习的基本概念。 经典马尔可夫决策过程图示（来源：R. Sutton和A. Barto） 2.1 核心概念 代理： 代理是与环境交互的实体，基于观察或状态采 ………………………………