BERT的逆袭：揭秘如何在无需额外训练下释放语言模型的生成能力

文章预览

论文： BERTs are Generative In-Context Learners 链接： https://arxiv.org/pdf/2406.04823 1. 这篇文章想解决什么问题？ 文章探讨了掩码语言模型（MLMs，例如BERT和DeBERTa）在上下文学习（in-context learning）方面的能力，挑战了普遍观点，即这种能力在这些模型中不会“显现”。作者意图证明，即使没有额外的训练，MLMs也能够展现出与著名的GPT-3相当的生成能力。 2. 论文用什么方法解决什么问题？ 论文提出了一种简单的推理技术，使得DeBERTa能够在没有任何额外训练的情况下作为生成模型运行。 通过修改输入令牌序列的方式，使得预训练的掩码语言模型能够用于文本生成和文本排名任务，而不需要进行额外的训练或微调。 论文还探讨了掩码语言模型和因果语言模型在不同任务类别上的表现差异，并提出了混合训练方法的潜力。 3. 论文做了哪些实验？ 作者使用DeBERTa模 ………………………………