Token化一切！北大、谷歌等提出TokenFormer，Transformer从未这么灵活过

文章预览

前言   TokenFormer 不仅像原始 Transformer 一样 Token 化了 input data，并且 Token 化了网络参数，将 attention 机制拓展到 Token 和 parameters 的交互中，最大化了 Transformer 的灵活性，真正得到了一个 Fully attention-based 的网络结构。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 作者 ： 汪海洋 单位 ： 北京大学博士生 来源： PaperWeekly 仅用于学术分享，若侵权请联系删除 这种方式打破了原有人们区别看待 data 和 model 的观念 ，即所有的计算都归纳为不同类型 的 Token（e.g., data, param token）通过灵活的 attention 来交互。 得益于这一灵活的性质，TokenFormer 允许 incremental scaling model size，基于训好的模型上增量的拓展新的更大的模型，大大节省了计算的开销： 这项名为 TokenFormer ………………………………