超70%代码基准没有质量保证！港科大最新「指南」全面调研10年274个评测集

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 来源 | 新智元 编辑 | LRST 近年来，大模型层出不穷，令人目不暇接。为更好理解大模型的能力，许多评测集（Benchmarks）应运而生。 然而，这些评测集的质量常常受到质疑：标准答案出错、指令模糊或错误、题目重复、数据泄漏等。 那么，代码评测集的现状究竟如何？ 为了回答这个问题，由香港科技大学牵头，联合香港中文大学、中山大学等多所机构，耗费近一年时间，深入调研了过去10年间的274个代码评测集，推出了一份《代码评测集发展指南55项》（英文名：How2Bench，下称《指南》）。 论文链接：https:/ ………………………………