一文彻底搞懂GPT - GPT-2

文章预览

GPT-2是一个 大规模无监督语言模型 ，它可以生成连贯的文本段落，在许多语言建模基准上实现最先进的性能，并执行基本的阅读理解、机器翻译、问答和总结—— 所有这些都不需要针对特定任务的训练。 GPT-2 是 GPT-1 的直接扩展，其参数是 GPT-1 的 10 倍以上，并且在超过 10 倍的数据量上进行训练。GPT-2的 训练目的很简单，就是 预测 40GB 互联网文本中的下一个单词。 接下来分为四部分： 摘要 、引言、模型、实验， 一起来精读论文： GPT-2： Language Models are Unsupervised Multitask Learners（ 语言模型是无监督多任务学习者 ） GPT-2 ： 语言模型是无监督多任务学习者 一、 摘要 如何应对BERT超过GPT-1？ 自从BERT模型由Google提出并超越GPT-1后，OpenAI需要新的策略来反击。 GPT-2不仅加大了模型和数据量 ，还引入了 zero-shot设定 ，这意味着在下游任务中 无需标签信息或 ………………………………