用预训练Transformer太好发文了！零样本无训练也能发顶会！何恺明都在抢着发！

文章预览

何恺明团队新作大家关注了没？全新的异构预训练Transformer（HPT）模型！不用从头训练，即可破解通用机器人模型异构性难题，性能暴涨20%+！ 这项工作已经被NeurIPS 2024接收为Spotlight，除此之外，还出现了很多 预训练Transformer 的新研究，比如CVPR 2024的零样本令牌剪枝方法Zero-TPrune，也无需训练就能实现低成本高性能。 可见 当下对预训练Transformer的研究热情依旧不减 ，它强大的语言理解、丰富的表示、高效的迁移与计算等能力，也在诸多任务中得到了广泛的应用。 目前这个先进的技术还在不断发展中， 留给论文er的创新空间也比较大 ，为了帮助大家快速找到思路，我这边整理好了 10篇 预训练Transformer参考论文 ，基本都是最新且有代码，有需要的同学可无偿获取~ 扫码添加小享， 回复“ 预训练T ” 免费获取 全部论文+开源代码 Scaling Proprioceptive-Visual ………………………………