基于transformer的NLP入门 day01

资料： datawhalechina/learn-nlp-with-transformers: we want to create a repo to illustrate usage of transformers in chinese (github.com)
学习任务：

• 1.0-本地阅读和代码运行环境配置.md
• 1.1-Transformers在NLP中的兴起

根据教程搭建了所需的环境，并且了解了NLP的基础分类，和transformer在NLP中的兴起和发展。
NLP分为四个大类：
1、文本分类，
2、序列标注，
3、问答任务——抽取式问答和多选问答，
4、生成任务——语言模型、机器翻译和摘要生成。
transform在2017年 Attention Is All You Need 论文中首次被提出，应用在机器翻译，取得了SOTA效果。2018年BERT的出现，NLP进入了新时代，
使用Transformer模型结构进行大规模语言模型（language model）预训练（Pre-train），再在多个NLP下游（downstream）任务中进行微调（Finetune）,一举刷新了各大NLP任务的榜单最高分，轰动一时。2019年-2021年，研究人员将Transformer这种模型结构和预训练+微调这种训练方式相结合，提出了一系列Transformer模型结构、训练方式的改进（比如transformer-xl，XLnet，Roberta等等）

文本分类：对单个、两个或者多段文本进行分类。举例：“这个教程真棒！”这段文本的情感倾向是正向的，“我在学习transformer”和“如何学习transformer”这两段文本是相似的。

序列标注：对文本序列中的token、字或者词进行分类。举例：“我在国家图书馆学transformer。”这段文本中的国家图书馆是一个地点，可以被标注出来方便机器对文本的理解。

问答任务——抽取式问答和多选问答：1、抽取式问答根据问题从一段给定的文本中找到答案，答案必须是给定文本的一小段文字。举例：问题“小学要读多久?”和一段文本“小学教育一般是六年制。”，则答案是“六年”。2、多选式问答，从多个选项中选出一个正确答案。举例：“以下哪个模型结构在问答中效果最好？“和4个选项”A、MLP，B、cnn，C、lstm，D、transformer“，则答案选项是D。

生成任务——语言模型、机器翻译和摘要生成：根据已有的一段文字生成（generate）一个字通常叫做语言模型，根据一大段文字生成一小段总结性文字通常叫做摘要生成，将源语言比如中文句子翻译成目标语言比如英语通常叫做机器翻译。

本教程也将基于 HuggingFace/Transformers, 48.9k Star 进行具体的编程和任务解决方案实现。