前谷歌科学家Yi Tay「LLM演义」系列博客第一弹：BERT为何匿迹江湖？

文章预览

热衷于写博客的前谷歌科学家Yi Tay近日坐飞机太无聊，又撰写了一篇深度文章，探讨了当下很多人关心的一个话题——LLM时代模型架构的此消彼长和风云变幻。 他上一篇自述创业辛酸史的博文就引发了业界的广泛关注，获得了Karpathy的转赞。 这次Yi Tay试图解开在新的LLM时代里正在发生的所有事情，关于「BERT和T5发生了什么」？也关于Transformer encoder、PrefixLM和去噪目标的兴衰。 博客地址：https://www.yitay.net/blog/model-architecture-blogpost-encoders-prefixlm-denoising 为何encoder-only模型「风光不再」？为何BERT这么强，却不能「scale it」？ 置身其中，很难看见事情的全貌。对于这些让业内人士都挠头的问题，Yi Tay分享了自己的观察和思考。 而且Yi Tay还表示，这只是系列博客文章的第一弹，后续还可以期待他关于「LLM时代的模型架构」这一话题的更多内容。 决定开始一 ………………………………