文章预览
点击上方 “ AINLPer “ ，设为 星标 更多干货，第一时间送达 引言 当前主流大模型架构基本上都GPT架构，即Decoder架构，又称因果语言模型（CLM）；然而就在两年前，NLP的主流架构却是Bert模型架构，即Encoder架构，又称掩蔽语言模型（MLM），随着时间的发展人们对Encoder架构提及的越来越少了，尤其当你参加NLP算法面试的时候，很大概率会被问到：为什么当前大模型都是Decoder架构？ 然而，我们也不能忽略Bert模型， 「最新的研究表明，类似BERT的模型在文本生成能力上与类似GPT的模型同样强大」 。然而，当这两种类型的模型在一个共同的评估标准下进行比较——即生成式上下文学习时，它们仍然表现出明显的差异，在不同的领域中互有优势。 今天给大家分享的这篇文章， 「尝试将将掩蔽语言建模与因果语言建模相结合」 ，实验结果表明混合预训练的
………………………………
