代码的大语言模型综述

文章预览

23年11月来自上海交大和蚂蚁金服的论文“A Survey on Language Models for Code”。 本文系统地回顾大语言模型在代码处理方面的最新进展，涵盖了 50 多个模型、30 多个评估任务、150 多个数据集和 550 篇相关工作。代码处理模型分为 GPT 系列代表的通用语言模型和专门针对代码进行预训练的专用模型，这些模型通常具有定制的目标。讨论这些模型之间的关系和区别，并强调代码建模从统计模型、RNN 到预训练的 Transformers 和 LLM 的历史转变，这与 NLP 所走的路线完全相同。还讨论 AST、CFG 和单元测试等特定于代码的功能，以及它们在训练代码大语言模型中的应用，并确定该领域的主要挑战和潜在的未来方向。 近年来，随着预训练 Transformer（Vaswani ，2017）的出现，语言建模取得了显著进展，例如 BERT（Devlin，2019）和 GPT（Radford，2018）。随着大语言模型 (LLM) 扩展到 ………………………………