PTMs| 2020最新NLP预训练模型综述

文章预览

本篇文章主要介绍邱锡鹏老师在2020年发表的一篇预训练模型的综述： 「Pre-trained Models for Natural Language Processing: A survey」 [1] 。 该综述系统地介绍了nlp中的预训练模型。主要的贡献包括： 1.深入盘点了目前主流的预训练模型 ，如word2vec，ELMo，BERT等。 2. 提出了一种预训练模型的分类体系 ，通过四种分类维度来划分目前已有的预训练模型。包括： 表征的类型，即：是否上下文感知 编码器结构，如：LSTM、CNN、Transformer 预训练任务类型，如：语言模型LM，带掩码的语言模型MLM，排列语言模型PLM，对比学习等 针对特定场景的拓展和延伸。如：知识增强预训练，多语言预训练，多模态预训练和模型压缩等 3. 如何将PTMs学到的知识迁移到下游的任务中。 4. 收集了目前关于PTMs的 ………………………………