P-tuning：一个预训练模型的连续提示调优法

文章预览

21年3月发表的论文“GPT Understands, Too“，提出P-tuning这个调优方法，来自清华，北京智源、MIT和Recurrent AI（清华和CMU的AI学者成立的公司）。 虽然采用传统微调的 GPT模型 未能在自然语言理解（NLU）上取得优异的结果，但在 NLU 任务上用一种P - tuning方法，可以让GPT优于或与类似大小的 BERT相媲美—— 它采用可训练的连续提示嵌入。 在知识探测 (LAMA) 的基准上，最好的 GPT 恢复了 64% (P@1) 的世界知识，而在测试期间没有提供任何额外文本，这把之前的最佳成绩大幅提高了 20+ 个百分点。 在 SuperGlue 基准测试中，GPT 在监督学习中的性能与类似大小的 BERT 相当，有时甚至更好。 重要的是，P-tuning 还提高了 BERT 在小样本和监督设置中的性能，同时大大减少了对提示工程的需求。 给定一个预训练的语言模型 M，一系列离散输入token  X= {x0, x1, ..., xn} 将被映射到 ………………………………