ChatGPT修bug横扫全场！准确率达78%！网友：程序员要开心了
点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
金磊 衡宇 发自 凹非寺
转载自：量子位（QbitAI）
ChatGPT到底有多会修bug？
这事终于有人正儿八经地搞研究了——
来自德国、英国的研究人员，专门搭了个“擂台”来检验ChatGPT的这项本领。
除了ChatGPT之外，研究人员还找来了其它三位修bug的“AI猛将”，分别让它们修复40个错误代码。
结果真是不比不知道，一比吓一跳。
ChatGPT准确修复了其中31个bug，遥遥领先第二名（21个），直接拿下“AI修bug界”的SOTA成绩！
于是乎，这项研究引来了众多网友的围观和讨论，Reddit上发布此帖的标题更是用上了“小心”、“注意”这样的字眼：
但事实上，这真的会让程序员“危”吗？
我们不妨先来看下这项研究。
很会修bug的ChatGPT
虽然ChatGPT并非是为了专门修改bug而生，但自打它问世以来，不少网友们都发现它是具备这项能力的。
因此研究人员为了摸清ChatGPT到底能修改bug到什么程度，便引入了标准的错误修复基准集QuixBugs来进行评估。
以及与它同台竞技的AI选手，分别是CodeX、CoCoNut和Standard APR。
研究人员从QuixBugs中挑了40个问题，分别让它们来修复bug。
让ChatGPT来修bug的方法，就是在对话框里向它提问：
这个代码有什么错误吗？
在第一轮较量过后，结果如下：
从第一轮battle结果来看，ChatGPT修复了19个，CodeX修复了21个，CoCoNut修复了19个，Standard APR则是7个。
而且研究人员还发现，ChatGPT的答案与CodeX最为相似；这是因为它俩是来自同一个语言模型家族。
这时候就会有小伙伴要问了，“ChatGPT不是还没有CodeX厉害吗”。
别急，不要忘了，ChatGPT的一个特点就是越问越“上道”。
例如在这个基准集中，有一个叫bitcount的问题，ChatGPT在刚才第一轮修复过程中是给了错误的答案：
原本ChatGPT应该将第7行的 n ^ = n - 1 改为 n & = n - 1。
但在第一轮中它的回答是：
如果没有更多关于预期行为和导致问题的输入信息，我无法判断程序是否存在错误。
于是在给予它更多信息之后，ChatGPT便答对了这个问题。
以此类推，在对第一轮没答对的问题进行更多信息提示之后，ChatGPT的修bug能力有了大幅提高：
最终，ChatGPT在QuixBugs的40个问题里答对了31个。
网友忧喜参半
对于这样的实验结果，网友们对ChatGPT修bug拿下SOTA这事产生的态度却不太一样。
有网友认为这事不应该让程序员感到危机，而是会让他们觉得开心才对。
言外之意，便是程序员们有了这么好用的工具，干活儿就会变得事半功倍。
不过也有人对此给出了不一样的看法：
工作变得简单，不也就意味着需要的人力更少了吗？
但还网友觉得，活儿是干不完的：
即使AI能把开发时间缩短一个数量级，也只是意味着程序员将更快处理下一个工作。
整体来看，ChatGPT很会修bug，并不会给程序员带来什么致命伤害。
但若是把目光放到OpenAI其他的行动中呢？
全球招外包训练ChatGPT写代码
在此之前，OpenAI就表示过ChatGPT的重要用途之一是帮助程序员检查代码。
换言之，它被定位可用的辅助工具。
相比“ChatGPT带来威胁”的看法，等ChatGPT能力彻底进化，程序员都不用再怕写bug了。
OpenAI布局的棋盘上，可不只有改bug偷塔程序员岗位这一件事。
为了让它更大更强，OpenAI被曝在拉美和东欧等地区，提供了1000个外包岗位。
外包员工的主要工作是标注数据，以及训练ChatGPT写代码
这1000人中，40%是程序员，他们为OpenAI的模型创建数据，用来学习软件工程任务。
一直以来，OpenAI的训练数据是从GitHub上抓取的。
现在外包程序员们新手搓的数据集，不仅包括代码行，还包括代码行背后的人类思考逻辑步骤。
有位南美的软件开发人员爆料，他为OpenAI完成了五小时的无偿编码测试。
整个过程中，他的任务分为两部分。
用书面英语解释如何处理一个编码问题；
提供解决方案。
如果发现bug，OpenAI会向他详细询问bug的具体情况，并请教如何修正。
程序员需要展示思考问题的每个步骤，他据此猜测OpenAI很可能想为ChatGPT提供非常具体的训练数据。
特斯拉前AI主管Andrej Karpathy在推特上调侃：
最新的热门编程语言是英语。
不过话说回来，ChatGPT修bug能力强是好事，要真能搞进化到可以完成代码里死记硬背的部分，也是好事。
毕竟OpenAI成立时对外宣称的宗旨，就是希望“确保通用人工智能可以造福全人类”。
虽然乍一看它这些年做的事，有点像在致力于用一部分人的努力，让更多人失业。
从Dota2赛场上碾压人类，到GPT-3、DALL-E2、ChatGPT的闪耀表现，它带来的新产品总是伴随着“快要让xxx失业了”的议论声。
但无论如何，商业却一直对它青睐有加。
就目前而言，OpenAI的主要商业模式是API费用、token费用和软件许可。
OpenAI近期还发布了ChatGPT的付费版ChatGPT Pro，每月费用42美元（约合285元人民币）。
虽然机器人对话初创公司如雨后春笋般冒出，但诸多迹象表明市场对OpenAI的持续看好。
微软刚刚宣布将向OpenAI加码投资数十亿美元，并将OpenAI的模型融入微软必应等消费级和企业级产品中。
根据知情人士透露，此次追加投资数额约为100亿美元。
与此同时，WSJ披露的消息显示，1月初，亿万富翁Peter Thiel创立的风投基金Founders Fund正在就投资OpenAI进行谈判。
据悉，融资金额将至少达3亿美元。
One More Thing
在第一轮实验中，ChatGPT并没有解决QuixBugs数据集的bitcount问题。
但若是你现在再重头问一次这个问题，就会发现ChatGPT可以“一遍过”：
那么这是否意味着ChatGPT已经从这次研究过程中学会求解了呢？
参考链接：
[1] https://arxiv.org/abs/2301.08653
[2] https://www.pcmag.com/news/watch-out-software-engineers-chatgpt-is-now-finding-fixing-bugs-in-code
[3] https://www.reddit.com/r/technology/comments/10oaw6n/watch_out_software_engineers_chatgpt_is_now/
[4] https://en.wi.bwl.uni-mainz.de/dominik-sobania/
CVPR/ECCV 2022论文和代码下载
后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集
后台回复：ECCV2022，即可下载ECCV 2022论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer222，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer222，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！
▲扫码进群
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看
微信扫码关注该文公众号作者