文章预览
MLNLP 社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特别是初学者同学们的进步。 转载自 | 新智元 编辑 | 桃子 乔杨 通用机器人模型,目前最大的障碍便是「异构性」。 也就是说,必须收集全方位——每个机器人、任务和环境的特定数据,而且学习后的策略还不能泛化到这些特定设置之外。 由此,AI大神何恺明带队的MIT、Meta FAIR团队,提出了异构预训练Transformer(HPT)模型。 即预训练一个大型、可共享的神经网络主干,就能学习与任务和机器人形态无关的共享表示。 简单讲,就是在你的策略模型中间放置一个可扩展的Transformer,不用从头开始训练! 论文地址:https://arxiv.org/pdf/2409.20537
………………………………