SARA-RT：利用自适应鲁棒注意机制扩展机器人 Transformer

文章预览

23年112月来自谷歌的论文“SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention”。 自适应鲁棒注意机制的机器人 Transformer (SARA-RT)，是一种扩展机器人 Transformer (RT) 在机器人上部署挑战的新范式。SARA-RT 依赖于一种称为向上训练（up-training）的新微调方法。它将预训练或已经微调基于 Transformer 的二次时间复杂度机器人策略（包括海量十亿参数的视觉-语言-动作或 VLA模型）转换为保持高质量的高效线性注意对应法。加速以下模型证明 SARA-RT 的有效性：(a) RT-2 模型，这是在互联网规模数据上预训练的 VLA 机器人策略，以及 (b) 在大型点云上运行的点云 Transformer (PCT) 机器人策略。 Transformers（[3]、[4]、[5]、[6]、[7]、[8]、[9]、[10]）为机器人技术提供了前所未有的语义推理能力，催生了机器学习的新领域，即探索基于 Transformer 的模型，这些模型通常在互 ………………………………