PoliFormer：使用 Transformers 扩展策略在线 RL，打造熟练导航员

主要观点总结

本文介绍了POLIFORMER，一个基于Transformer的室内导航智体。它通过大规模强化学习进行端到端训练，无需适应即可推广到现实世界。文章还介绍了其视觉Transformer模型、目标编码器、Transformer状态编码器和因果Transformer解码器等组成部分。此外，文章还涉及了提高策略规模和训练稳定性的方法，包括并行和批处理技术的使用，以及针对模拟环境的优化。最后，文章讨论了训练期间的批次大小扩展、环境交互的扩展、训练效率的提升等细节。

关键观点总结

关键观点1: POLIFORMER是一个基于Transformer的室内导航智体，通过大规模强化学习进行端到端训练。

POLIFORMER使用基础视觉Transformer编码器和因果Transformer解码器，可实现长期记忆和推理。它针对不同环境中的数亿次交互进行训练，利用并行、多机部署实现高吞吐量高效训练。POLIFORMER在导航方面产生了最好的结果，并可以轻易扩展到各种下游应用。

关键观点2: POLIFORMER的架构和训练方法。

POLIFORMER的架构包括视觉Transformer模型、目标编码器、Transformer状态编码器和因果Transformer解码器。训练过程中使用了多节点并行化、KV缓存技术、可扩展的RL训练和环境交互的扩展等技术。

关键观点3: POLIFORMER的优势和创新点。

POLIFORMER突破了以前研究的瓶颈，在导航基准上实现了显著的成功率。它还可以轻松扩展到各种下游应用。此外，文章提出的架构和训练方法具有创新性和实用性，有助于提高策略的规模和训练稳定性。

文章预览

24年6月来自西雅图AI2的论文“PoliFormer: Scaling On-Policy RL with Transformers Results in Masterful Navigators”，获得CoRL‘24最佳论文之一。 POLIFORMER（策略 Transformer），这是一个仅限 RGB 的室内导航智体，通过大规模强化学习进行端到端训练，尽管纯粹在模拟中训练，但它无需适应即可推广到现实世界。POLIFORMER 使用基础视觉Transformer编码器和因果Transformer解码器，可实现长期记忆和推理。它针对不同环境中的数亿次交互进行了训练，利用并行、多机部署实现高吞吐量高效训练。POLIFORMER 是一个熟练的导航器，在两个不同的实施例（LoCoBot 和 Stretch RE-1 机器人）和四个导航基准上产生了最好的结果。它突破了以前研究的瓶颈，在 CHORES-S 基准上实现了 85.5% 的物体目标导航（ObjectNav）成功率，绝对提升 28.5%。POLIFORMER 还可以轻松扩展到各种下游应用，例如目标跟踪、多目 ………………………………