学术分享丨NeurIPS 2024 麻省理工学院何恺明教授提出异构预训练Transformer，拟解决多个异构机器人操作技能学习

文章预览

通用机器人模型，目前最大的障碍便是「异构性」。 也就是说，必须收集全方位——每个机器人、任务和环境的特定数据，而且学习后的策略还不能泛化到这些特定设置之外。 由此，AI大神 何恺明 带队的MIT、Meta FAIR团队，提出了异构预训练Transformer（HPT）模型。 即预训练一个大型、可共享的神经网络主干，就能学习与任务和机器人形态无关的共享表示。 简单讲，就是在你的策略模型中间放置一个可扩展的Transformer，不用从头开始训练！ 论文地址： https://arxiv.org/pdf/2409.20537 研究人员将不同本体视觉输入对齐到统一的token序列，再处理这些token以控制不同任务的机器人。 最后发现，HPT优于多个基准模型，并在模拟器基准和真实世界环境中，将未见任务微调策略性能，提升20%。 值得一提的是，这项研究被NeurIPS 2024接收为 Spotlight 。 在真实环境中，HPT ………………………………