从像素操作以实体对象为中心的强化学习

文章预览

Entity-Centric Reinforcement Learning for Object Manipulation from Pixels 用于从像素操作对象的以实体为中心的强化学习 https://arxiv.org/abs/2404.01220 https://sites.google.com/view/entity-centric-rl 摘要 操纵物体是人类智能的标志，也是机器人等领域的一项重要任务。原则上，强化学习 (RL) 提供了一种学习对象操纵的通用方法。然而，在实践中，由于维度灾难，RL 代理很难处理包含多个对象的领域，尤其是在从原始图像观察中学习时。在这项工作中，我们提出了一种适用于表示多个对象及其交互的结构化视觉 RL 方法，并使用它来学习目标条件下的多个对象操纵。我们方法的关键是能够处理具有对象之间依赖关系的目标（例如，按特定顺序移动对象）。我们进一步将我们的架构与经过训练的代理的泛化能力联系起来，基于组合泛化的理论结果，并演示了使用 3 个对象进行学习但 ………………………………