首次覆盖超 11 类真实编程场景！豆包大模型团队开源代码大模型全新基准

主要观点总结

字节开源最全面代码大模型基准FullStack Bench，用于评估大模型在现实世界中的代码开发能力。包含多个领域的真实场景和多种编程语言的问题，提供了一个高效的代码沙盒执行工具SandboxFusion。研究团队基于FullStack Bench对全球多款代码大模型进行了评测，并发现闭源模型在某些领域表现优于开源模型。

关键观点总结

关键观点1: FullStack Bench的特点

涵盖多个真实应用领域和编程语言的评估集，旨在评估大型模型在各种真实世界代码开发场景中的能力。

关键观点2: SandboxFusion的作用

一款高效的代码沙盒执行工具，用于评估来自不同语言的不同编程任务，兼容多种代码评估数据集，支持多种编程语言。

关键观点3: FullStack Bench的评测结果

闭源模型在某些领域和难度问题上表现优于开源模型，SandboxFusion可以提供反馈以改善模型表现。

文章预览

字节开源最全面代码大模型基准FullStack Bench，可在线体验。 今天，字节跳动豆包大模型团队开源 FullStack Bench，一个专注于全栈编程和多语言编程的代码评估数据集。 该数据集在业界首次囊括编程全栈技术中超 11 类真实场景，覆盖了 16 种编程语言，包含 3374 个问题，相比此前基准，可以更有效地评估大模型在现实世界中的代码开发能力。同时，高效的代码沙盒执行工具 SandboxFusion 也一起开源，用于评估来自不同语言的不同编程任务。 综合实验结果表明，FullStack Bench 能够真实反映大模型在多种实际代码开发场景中的表现，有助于推动代码智能领域的进一步发展。 代码大型语言模型（code LLMs）在代码智能方面取得了显著的进步，为了揭示现有代码 LLMs 的局限性并推动代码智能的进一步发展，多个代码评估基准数据集相继被提出，如 HumanEval、MBPP、DS- ………………………………