ChatGPT无法取代人类程序员！ IEEE 35页论文测出困难编码正确率仅为0.66%

文章预览

转自：新智元 【导读】 6月，IEEE刊登了一篇对ChatGPT代码生成任务进行系统评估的论文，数据集就是程序员们最爱的LeetCode题库。研究揭示了LLM在代码任务中出现的潜在问题和能力局限，让我们能够对模型做出进一步改进，并逐渐了解使用ChatGPT写代码的最佳姿势。 有了ChatGPT，还需要人类程序猿编码吗？ 上个月，一项发表在IEEE TSE期刊（Transactions on Software Engineering）上的研究评估了ChatGPT所生成的代码在功能性、复杂性和安全性方面的表现。 结果显示，ChatGPT生成可用代码的能力差异很大。 其成功率从0.66%到89%不等，这主要取决于任务的难度、编程语言等多种因素。 论文地址：https://ieeexplore.ieee.org/document/10507163 具体来说，研究人员测试了GPT-3.5在5种编程语言（C、C++、Java、JavaScript和Python）中，解决LeetCode测试平台上的728个编码问题，以及应对18个CWE（ ………………………………