ChatGPT取代人类怕是个笑话，写程式错误率超过50％……

研究发现，OpenAI的ChatGPT在写程式上给的建议，正确率竟不到50%，仅有48%正确，另外在所有回答中，有77%过于冗长，不过由于ChatGPT的写作风格如教科书般自信，也误导了一些人类，导致有近4成（39.34%）的回答，人类无法在正确时间内辨识出ChatGPT写错了。
Purdue University最近进行的一项研究，针对在程式设计领域的问答网站「Stack Overflow」上的517个问题，对ChatGPT进行了询问，之后再检查这些答案的品质和准确性。
结果发现，ChatGPT有52%回答不正确，只有48%正确，而在所有回答中，高达77%的回答过于冗长。
研究还找来12名具有不同编程专业水准的参与者，来给出他们对于ChatGPT回答的见解，结果显示，尽管参与者整体认为Stack Overflow上的回答品质较好，但由于ChatGPT在答案中，展现出全面、清晰且人性化的见解，有39.34%的题目会让参与者，进而忽略ChatGPT在回答中的错误信息。
研究认为，对于ChatGPT给出的答案，有必要仔细检查并纠正其中的错误，用户也要意识到，这类看似正确的ChatGPT答案相关风险。

现在是这样，十年后呢？

科技在进步

回复 1楼blue777的帖子
给自己壮胆呢吧

错误率超一半了，还叫人工智能吗

中文错误报道满天飞，中文标题纯属误导：“写程式错误率超过50％” 该实验中ChatGPT 回答「Stack Overflow」问题虽然只有48%正确，但是在「Stack Overflow」上问的问题都是程序员所解决不了的问题。如果让一般程序员回答它们，比这个比例还要低得多，或根本就回答不出来。甚至如果不是该问题的细微领域的高级程序员也回答不出来。能回答「Stack Overflow」问题的人，是在该细微问题领域的拿手者。 另外ChatGPT 已被更好的版本GPT4取代。

chat GPT是一个文艺青年，文科专业，话很多，能说到点儿上的不多

ChatGPT改改语法，补充润色一下各种文本都还可以，写 code要求高了点

ChatGPT改改语法，补充润色一下各种文本都还可以，写 code要求高了点
Moscow79 发表于 2023-08-11 06:44

GPT-4写code错误是会出一些，但让人写，通常也不是一步写对的，也是要debug几次才对的。你怎么知道stack overflow 上上传的code是人家一遍就写对的，不是在自家IDE上run到没错误才放上来的?
stack overflow 回答正确率能达50%,而且是没有试错机会，－遍就出来的结果，而且速度极快，你身边如果有这么一位同事，绝对会被认为挺牛的。缺点是他错的时候也信心满满，但写code不要紧test一下很容易发现。

中文错误报道满天飞，中文标题纯属误导：“写程式错误率超过50％” 该实验中ChatGPT 回答「Stack Overflow」问题虽然只有48%正确，但是在「Stack Overflow」上问的问题都是程序员所解决不了的问题。如果让一般程序员回答它们，比这个比例还要低得多，或根本就回答不出来。甚至如果不是该问题的细微领域的高级程序员也回答不出来。能回答「Stack Overflow」问题的人，是在该细微问题领域的拿手者。 另外ChatGPT 已被更好的版本GPT4取代。
minren 发表于 2023-08-11 06:05

你要知道，chatgpt是不会创造原创内容的，它只会根据各个数据源进行分析提取找到一个它认为最合适的。 所以，如果数据被污染了，chatgpt什么做不了。 这就是为什么openai还在找人工一个一个的去除数据污染。

回复 8楼Moscow79的帖子
事實證明許多不難的code 經過使用者的引導 它真的能寫個七七八八 在那基礎上改效率高多了

回复 1楼blue777的帖子
文科生编程序