ALBERT、XLNet，NLP技术发展太快，如何才能跟得上节奏？

文章预览

谷歌Lab近日发布了一个 新的预训练模型"ALBERT" 全面在SQuAD 2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！ ALBERT是一种轻量版本的BERT，利用更好的参数来训练模型，但是效果却反而得到了很大提升！ALBERT的核心思想是采用了两种减少模型参数的方法，比BERT占用的内存空间小很多，同时极大提升了训练速度，更重要的是效果上也有很大的提升！  ▲ BERT 和 ALBERT 两者的参数量比较。 这次发布的模型由 Google Lab的 Lan Zhenzhong博士来主导完成 ，而且 Lan Zhenzhong博士正好也是贪心学院的顾问以及教研团队的成员。 近期我们也会邀请Zhenzhong博士给大家做一次分享。 为了迎接NLP领域的各种变化，贪心学院的《自然语言处理》课程也在 不断迭代更新， 保证不错过 ………………………………