ChatGPT无法取代人类程序员! IEEE 35页论文测出困难编码正确率仅为0.66%
【新智元导读】6月,IEEE刊登了一篇对ChatGPT代码生成任务进行系统评估的论文,数据集就是程序员们最爱的LeetCode题库。研究揭示了LLM在代码任务中出现的潜在问题和能力局限,让我们能够对模型做出进一步改进,并逐渐了解使用ChatGPT写代码的最佳姿势。在多轮修复过程中,无论温度设置为0.7还是0,ChatGPT固定的代码片段在功能正确性、复杂性和安全性方面都可能存在差异。