代码模型自我进化超越GPT-4o蒸馏！UIUC伯克利等提出自对齐方法 | NIPS 2024

文章预览

LLM作为智能的基座，可以衍生出各种能力。 代码能力就是其中一种：程序补全、注释、优化、修bug、测试等等。 而想要充分发挥LLM的巨大潜力，指令调优（Instruction Tuning）是至关重要的一步。 当前，高质量指令数据主要有两个来源：人工注释和蒸馏。 前者很贵，后者则受到限制。于是，人们开始另辟蹊径。 近日，来自UIUC、伯克利等机构的研究人员提出了SelfCodeAlign。 这篇工作首次证明了，可以通过自对齐（Self-Alignment）来获得强大的代码模型，不需要人工注释或者蒸馏，而且效果更好！ 论文地址：https://arxiv.org/pdf/2410.24198 SelfCodeAlign在整个数据生成过程中，使用相同的基础模型进行推理，分为三步： 首先，从高质量的种子片段中提取不同的编码概念，以生成新任务。 然后，对每个任务的多个响应进行采样，将每个响应与测试用例配对，并在沙 ………………………………