超70%代码基准没有质量保证！港科大最新「指南」全面调研10年274个评测集

文章预览

   新智元报道   编辑：LRST 【新智元导读】 近年来，代码评测集数量激增，但质量参差不齐。为规范其开发，香港科技大学联合多所高校研究了过去十年的274个代码评测集，发现诸多问题，如数据重复、测试用例错误、隐私信息未删除等。基于此，他们推出了《代码评测集发展指南55项》（How2Bench），涵盖设计、构建、评测、分析、发布五大阶段，旨在提升代码评测集的质量与可靠性。 近年来，大模型层出不穷，令人目不暇接。为更好理解大模型的能力，许多评测集（Benchmarks）应运而生。 然而，这些评测集的质量常常受到质疑：标准答案出错、指令模糊或错误、题目重复、数据泄漏等。 那么，代码评测集的现状究竟如何？ 为了回答这个问题，由香港科技大学牵头，联合香港中文大学、中山大学等多所机构，耗费近一年时间，深入调研了过去10 ………………………………