盛名一时的BERT哪去了？

主要观点总结

文章主要讨论了大型语言模型（LLM）的三种主要架构：仅编码器模型、编码器-解码器模型和仅解码器模型。文章还探讨了去噪目标在LLM预训练中的作用，以及编码器-解码器架构的优缺点。最后，文章指出，当前的趋势是向通用模型发展，使用去噪目标作为辅助，而不再使用特定任务的模型。

关键观点总结

关键观点1: LLM的三种主要架构

文章介绍了大型语言模型的三大架构：仅编码器模型（如BERT）、编码器-解码器模型（如T5）和仅解码器模型（如GPT系列模型）。这些架构各有优缺点，选择哪种架构取决于下游用例和应用限制。

关键观点2: 去噪目标在LLM预训练中的作用

去噪目标在LLM预训练中扮演了重要角色，可以作为因果语言模型的补充目标。这种目标可以帮助模型学习预测下一个词，但相对于常规因果语言建模，其样本效率较低。

关键观点3: 编码器-解码器架构的优缺点

相比于仅解码器模型，编码器-解码器架构有优点也有缺点。优点包括可以在编码器端执行不受因果掩码限制的操作，以及能更好地利用双向注意力。缺点包括输入和目标必须分配固定的预算，可能会浪费大量计算。

关键观点4: 当前的趋势是向通用模型发展

目前，人们更倾向于使用一个通用模型去执行各种任务，而不是使用特定于某任务的模型。这种趋势导致了BERT等仅编码器模型的逐渐淘汰，以及更灵活的去噪（自回归）T5模型的兴起。

文章预览

来源 | 机器之心 编码器模型哪去了？如果 BERT 效果好，那为什么不扩展它？编码器 - 解码器或仅编码器模型怎么样了？ 在大型语言模型（LLM）领域，现在是仅解码器模型（如 GPT 系列模型）独领风骚的时代。那编码器 - 解码器或仅编码器模型发展如何呢？为什么曾经盛名一时的 BERT 却渐渐少有人关注了？ 近日，AI 创业公司 Reka 的首席科学家和联合创始人 Yi Tay 发布了一篇博客文章，分享了他的看法。Yi Tay 在参与创立 Reka 之前曾在 Google Research 和谷歌大脑工作过三年多时间，参与过 PaLM、UL2、Flan-2、Bard 等著名 LLM 以及 PaLI-X 和 ViT-22B 等多模态模型的研发工作。以下为他的博客文章内容。 基础简介 总体上看，过去这些年的 LLM 模型架构主要分为三大范式：仅编码器模型（如 BERT）、编码器 - 解码器模型（如 T5）、仅解码器模型（如 GPT 系列模型）。人 ………………………………