AI究竟有没有用？哈佛、麻省理工和BCG这个内测给出了答案

2023-09-19 11:09

AI有用吗？这是在过去半年的生成式AI浪潮里，人们抛出最多的疑问。

9月18日，哈佛大学、麻省理工学院学者和波士顿咨询（BCG）联合进行的一项研究给出了答案：答案是肯定的，AI能让打工人效率、质量双双大增！

用了AI的打工人生产力飞跃

先说结论，BCG的测试结果表明，在18项不同的任务中，使用ChatGPT的咨询顾问的表现远远优于不使用ChatGPT的咨询顾问。平均来看，与未使用人工智能的咨询顾问相比，使用人工智能的顾问平均多完成12.2%的任务，完成任务的速度快25.1%，成果质量高40%。

实验过程是这样的：

首先，让BCG团队的人类咨询顾问，围绕一家虚构的鞋履制造商设置各种任务。

任务包含创意任务（针对服务不足的市场或运动，提出至少10个新鞋的想法），分析任务（根据受众对鞋履市场进行细分），写作和营销任务（针对某个产品起草营销文案），以及说服力任务（写一份备忘录，提醒员工为什么本公司产品优于竞争对手）。

值得一提的是，虽然这家公司是虚构的，但任务场景是BCG咨询顾问的真实工作场景。研究团队还专门向某鞋履品牌高管进行了核实，确保这些任务是公司在日常运营中会碰到的真实工作。

在设置好任务之后，研究者找来了几百位BBG咨询顾问，随机选出一部分咨询顾问，让他们使用GPT-4来工作。

结果，使用了AI的咨询顾问普遍表现好得多。他们完成任务耗时更短，在限定时间内完成的任务更多，研究者还找来了人类和AI为这些咨询顾问的工作成果打分，结果二者都认为，使用了AI的咨询顾问，工作成果更出色。

研究者还注意到一个有趣的现象：那些技能水平最低的咨询顾问，通过使用AI，业绩表现的提升幅度也最大，高达43%。而最优秀的咨询顾问得到的提升幅度则很小。

研究者指出，这一点可能会给职场带来深远影响：

就像过去矿工挖石头的能力是好是坏很重要……但蒸汽铲被发明出来以后，挖掘能力的差异已经不再重要。AI的影响还没有达到这种程度，但它无疑将推动工作能力的平均化。

过分依赖AI的坏处

但故事还不止这些。

研究团队和BCG还设计了另外一个任务。这个任务是从BCG的面试题中精挑细选出来的一道超难商业案例题，且经过精确修改，可以让AI得出一个“让人信服的错误答案”。

研究者说，他们的目标是设计一个人类能出色胜任，但AI如果不经过仔细引导就没法答对的任务。

这个任务非常复杂，论文中没有给出具体的细节，只给出了步骤：

针对一家虚构企业，参与者必须结合研究者给出的访谈材料细节搜寻数据，然后再结合访谈内容和数据，分析公司的渠道表现，进一步为公司CEO提供信息和建议，以确定哪一个渠道增长潜力最大。

下一步还要再结合访谈内容和财务数据，对公司旗下的品牌绩效进行分析，寻找最具增长潜力的品牌。

对于这项任务，研究者主要考察回答的准确性。

结果，使用AI和不用AI的咨询顾问，表现差距极大，前者的正确率仅有60%，而人工完成任务的员工正确率则高达84.5%。

研究者写道：

在AI能力边界之外，具有高人力资本的人类在完成他们的工作时表现始终优于AI。

研究者认为，生成式AI能够完成的任务实际上有一个“锯齿状边界”。在边界内的任务，它可以非常完美地胜任，但在边界外的任务，表现则很差劲。而且，由于生成式AI的工作原理，这个边界是不可见的，只有非常熟悉AI的人才能感知到。

例如，写一首十四行诗和一首恰好50个字的诗，对AI来说似乎都是信手拈来的任务，但由于ChatGPT使用token而不是单词来工作，所以AI非常擅长写14行诗，但“写50个字的诗”就是边界外、AI做不到的任务——ChatGPT写出来的诗总是多于或少于50个字。

这就是所谓的锯齿状边界，ChatGPT的能力范围并不是一条平滑的线，以人类的逻辑来看难度相近的任务，对AI来说却是另外一回事。

如果用ChatGPT Code Interpreter制图，这个锯齿状边界大概长这样。

更进一步，研究者也强调，实验结果表明，过分依赖AI会适得其反。

作者援引另外一项针对企业HR的研究指出，相比使用低质量AI或不使用AI的招聘人员，使用高质量AI的HR，会变得懒惰、粗心，对自己的判断也没那么有信心，他们错过了一些优质人才，做出了更糟糕的决定。而这一状况，在BCG的实验中也出现了。

所以，当AI变得非常优秀时，人类就变会得更懒惰，让AI接管一切，而不是把它当成工具来使用。哈佛商学院教授Fabrizio Dell'Acqua把这一现象称为“在方向盘上睡着了”，认为这会损害人类的学习、技能发展和生产力。

未来已至，AI正在颠覆我们的世界

最后，研究者总结说，无论在哲学和技术上对AI的本质和未来存在怎样的争论，AI实际上已经在颠覆人类的生产生活方式，就在此时此刻。这不是一项需要未来xx年的巨额投资才能改变世界的新技术，它已经在这里了，就在每个人的手机、电脑上，人人都能使用。

本文中，BCG咨询顾问这些现实世界里的精英卷王，所使用的工具也只是朴实无华的ChatGPT，并没有什么特别的API或独家数据，和我们能接触到的工具完全相同。

技术变革正在以悄无声息的方式进行，随着更强大的LLM诞生，锯齿形的边界还在不断延伸，人类无疑将面对一个更加复杂的世界。不管怎么说，理解、掌控、学会与AI合作，总归是件有意义的事情。

⭐星标华尔街见闻，好内容不错过⭐

本文不构成个人投资建议，不代表平台观点，市场有风险，投资需谨慎，请独立判断和决策。

觉得好看，请点“在看”

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq