墨大、复旦等开源代码大模型OpenCoder构建指南，性能媲美专有模型

文章预览

论文链接 ： https://arxiv.org/abs/2411.04905 1 引言 大型语言模型（LLMs）在代码相关任务中的重要性日益凸显。随着技术的不断进步，这些模型在代码生成、推理任务和代理系统等多个领域都展示了卓越的性能。 然而，目前开源LLM仍存在一定的局限性，特别是在模型的透明度和可重复性方面。尽管一些开源代码LLM逐渐接近专有模型的性能水平，但仍然缺乏高质量的代码LLM，尤其是在严谨科学研究所需的可重复数据处理管道和透明的训练协议上。 为了解决这一问题，OpenCoder应运而生，其目标在于成为一款顶尖的代码LLM，同时也为研究社区提供一个开放的“食谱”。与以往的努力不同，OpenCoder不仅提供模型权重和推理代码，还公开可重复的训练数据、完整的数据处理管道、严格的实验消融结果以及详细的训练协议。 这种全面的发布方式旨在识别构建顶尖代 ………………………………