ChatGPT无法取代人类程序员！ IEEE 35页论文测出困难编码正确率仅为0.66%

文章预览

来源：机器学习研究组订阅 有了ChatGPT，还需要人类程序猿编码吗？ 上个月，一项发表在IEEE TSE期刊（Transactions on Software Engineering）上的研究评估了ChatGPT所生成的代码在功能性、复杂性和安全性方面的表现。 结果显示，ChatGPT生成可用代码的能力差异很大。 其成功率从0.66%到89%不等，这主要取决于任务的难度、编程语言等多种因素。 论文地址： https://ieeexplore.ieee.org/document/10507163 具体来说，研究人员测试了GPT-3.5在5种编程语言（C、C++、Java、JavaScript和Python）中，解决LeetCode测试平台上的728个编码问题，以及应对18个CWE（常见缺陷枚举）场景的能力。 虽然在某些情况下，AI能够生成比人类更优质的代码，但分析也揭示了，一些AI生成代码的安全性问题。 论文作者、格拉斯哥大学助理教授Yutian Tang指出，「AI代码生成一定程度上，可以提升开发效率，自动 ………………………………