全球首测！OpenAI开源SWELancer，大模型冲击100万年薪

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 今天凌晨2点，OpenAI开源了一个全新评估大模型代码能力的测试基准——SWE-Lancer。 目前，测试模型代码能力的基准主要有SWE-Bench和SWE-BenchVerified，但这两个有一个很大的局限性，主要针对孤立任务，很难反映现实中软件工程师的复杂情况。例如，开发人员需处理全技术栈的工作，要考虑代码库间的复杂交互和权衡。 而SWE-Lancer的测试数据集包含1488个来自Upwork平台上Expensify开源仓库的真实开发任务，并且总价值高达100万美元。也就是说， 如果你的大模型能全部答对这些问题，就能像人类一样获得百万年薪 。 开源地址：https://github.com/openai/SWELancer-Benchmark SWE-Lancer独特测试方法 SWE-Lancer的一个重要创新 ………………………………