谷歌：代码预训练如何影响语言模型任务性能？提升预训练数据质量：基于困惑度相关性 | 突破规模定律：神经网络的模块化...

文章预览

前言： 论文可以让你更快地了解最新研究进展，掌握最新的技术和理论。这对于自身的科研能力和竞争力非常重要，尤其是在快速发展的学科领域，下面小编带你来看大模型最近的研究成果。 1. 代码预训练如何影响语言模型任务性能？   标题： How Does Code Pretraining Affect Language Model Task Performance?   机构： 纽约大学、谷歌研究院   相关领域： 预训练、语言模型   作者： Jackson Petty,  Sjoerd van Steenkiste,  Tal Linzen   分析： 这篇论文探究了在大语言模型训练中加入源代码对模型性能的影响。研究了在预训练数据集是混合自然语言和代码的情况下，两种不同的预训练混合物——即加法预训练和竞争性预训练——对模型性能的影响。研究涉及在BigBenchbenchmark等多个领域的表现，以及语法结构敏感任务和结构性输出任务的概括能力。研究发现，预训练中代 ………………………………