站在BERT肩膀上的NLP新秀们（PART II）

作者：高开远学校：上海交通大学研究方向：自然语言处理写在前面在前一篇 站在BERT肩膀上的NLP新秀们（PART I）介绍了两个都叫ERNIE的模型，非常有趣思路也挺相似的，都是给bert模型增加外部知识信息，使其能更好地“感知“真实世界。再补一个THU的ERNIE报告PPT：ERNIE from THU （https://pan.baidu.com/s/1TjGOB2myXT-bln3OpFcbgA 提取码：35fv）今天我们来看看另外几个有意思的BERT新秀：XLMs from FacebookLASER from FacebookMASS from MicrosoftUNILM from Microsoft1、Cross-lingual Language Model Pretraining（Facebook/2019）对于BERT的改进可以大体分为两个方向：第一个是纵向，即去研究bert模型结构或者算法优化等方面的问题，致力于提出一种比bert效果更好更轻量级的模型；第二个方向是横向，即在bert的基础上稍作 ………………………………