Big Model weekly | 第39期

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 01 A Teacher Is Worth A Million Instructions 大型语言模型（LLMs）正日益在包含自然语言和非语言数据（例如源代码）的语料库上进行训练。除了辅助编程相关任务，还有轶事证据表明，在预训练语料中加入代码可能提升模型在其他不相关任务上的性能，但迄今为止，尚无研究能够通过控制语言和代码数据之间建立因果联系。本文正是为了解决这一问题。作者在两种不同的设置中对语言模型进行了预训练：竞争性设置，其中预训练期间看到的数据总量保持不变；以及累加性设置，其中语言数据的体积保持不变。本研究探讨了预训练混合对以下方面性能的影响：（a）BigBench基准测试中包含的多种任务的集合，以及（b）通过语义解析和句法转换上的泛化准确率来衡量的组合性。研究发现，较高比例的代码预 ………………………………