UIUC提出Self Code Align方法，实现代码生成模型的自对齐与指令调优

文章预览

1. 引言 在近年来的研究中，大型语言模型（LLMs）在各种编程任务中展现出了卓越的性能。这些任务包括程序合成、程序修复、代码优化、代码补全、代码翻译、软件测试等。现代LLMs通过在海量代码数据上进行预训练，使得它们在理解和生成代码片段方面具备了良好的基础能力。然而，为了充分发挥LLMs的潜力，通常需要在高质量的指令跟随数据上进行进一步的微调，这一过程被称为指令调优。 指令调优的关键在于高质量数据的获取。传统上，获取指令数据的方式是依赖人工注释，这种方法成本高昂。例如，Llama-3使用了1000万个人工注释的示例进行指令调优。由于人工注释的高成本，知识蒸馏被广泛采用，以训练较弱的LLM使用强大的LLM生成的输出。然而，蒸馏可能会违反某些专有LLM的服务条款，并且使用强大LLM的前提限制了其通用性。因此，最近的 ………………………………