P-Tuning v2: 深度提示调优提升通用性

文章预览

22年5月的发表论文“P-Tuning: Prompt Tuning Can Be Comparable to Fine-tuning Across Scales and Tasks“，是清华、北京智源AI研究院（BAAI）和上海期智研究院的联合工作。 提示调优仅用冻结的语言模型调整连续提示，实质上减少了训练中每个任务的存储和内存使用量。 然而，在自然语言理解（NLU）的环境中，先前的工作表明，对正常大小的预训练模型，提示调优效果不佳。 现有的提示调优方法无法处理困难的序列标记任务，这表明其方法缺乏通用性。 本文提出一个新的实证发现 - 适当优化的提示调整，在广泛的模型规模和NLU任务中是普遍有效的。 其与微调的性能相匹配，同时只包含 0.1%- 3% 的调整参数。 称为 P-Tuning v2 的方法是深度提示调优的实现（Li & Liang2021; Qin & Eisner 2021），专门针对NLU进行了优化和调整。 两个工作（Lester2021）和 （Liu 2021)，已被证明在许 ………………………………