Redian新闻
>
GPT-4取代数据分析师,成本仅3000!阿里达摩院&NTU论文引热议

GPT-4取代数据分析师,成本仅3000!阿里达摩院&NTU论文引热议

公众号新闻



  新智元报道  

编辑:编辑部
【新智元导读】GPT-4淘汰数据分析师,仅需几千元。

近来,想必很多人被一份「GPT-4取代数据分析师」核算成本的研究报告惊到了。
论文内容直戳痛点:
使用GPT-4的成本大约是雇佣初级数据分析师的0.71%。

论文地址:https://arxiv.org/pdf/2305.15038.pdf
这份来自阿里达摩院和南洋理工大学的最新研究,明晃晃地告诉数据分析师,我要取代你们,这就是证据。
你以为高级数据分析师,会逃过一劫吗?
研究人员称,使用GPT-4的成本是雇佣高级数据分析师的0.45%。
这是什么概念?
根据就业在线社区Glassdoor统计,一位高级数据分析师年薪大约10万美元(70万人民币)。
要是换成GPT-4,仅需要450美元,也就3000元左右。
从70万到3000,简直就是成本爆破!
网友表示,想到成本会这么低,但没料到这么低。

框架

总之,这篇研究做出了以下几点贡献:
· 首次提出「GPT-4是否是一个优秀数据分析师」的研究问题,并对其利弊进行了定量评估。
· 对于这样一个典型的数据分析师的工作范围,提出了一个端到端的自动框架来进行数据收集、可视化和分析。
· 对GPT-4的产出进行了系统的、专业的人工评估。有良好质量的数据分析和洞察力可以被认为是NLP社区数据分析的第一个标杆。
为了搞清楚GPT-4能否成为一个好数据分析师,研究人员设计了一个端到端的框架。
GPT-4在上下文理解、代码生成、数据故事方面的能力逐渐崭露头角,而这项研究的目的就是使用GPT-4来实现整个数据分析过程的自动化。
论文中,研究人员展示了GPT-4作为数据分析师流程。
基本上有三个步骤:(1)代码生成(蓝色箭头所示),(2)代码执行(橙色箭头所示),以及(3)分析生成(绿色箭头所示)。
整个框架的算法过程如下:

第1步:代码生成

第一步的输入包含一个问题和数据库模式。这里的目标是生成代码,以便在后面的步骤中提取数据和绘制图表。
研究者利用GPT-4来理解问题和模式中多个数据库表之间的关系。
由于数据安全的原因,仅提供了数据库表的模式。大量的原始数据仍然被安全地离线保存,并将在后面的步骤中使用。
这一步的设计提示如表1所示。按照提示,可以得到一段包含SQL查询的python代码。

第2步:代码执行

正如前面提到的,为了维护数据安全,研究人员在离线状态下执行GPT-4生成的代码。
这一步的输入是步骤1中生成的代码,以及数据库中的原始数据,
如框架图所示。通过使用「conn = sqlite3.connect([database file name])」定位数据目录。
如代码中的表1所示,这个步骤涉及大量的原始数据。通过执行python代码,我们能够得到「figure.pdf」中的图表,以及「data.txt」中保存的提取数据。

第3步:分析生成

在获得提取的数据后,研究者的目标是产生数据分析和洞察力。
为了确保数据分析与原始查询相一致,同时使用问题和提取的数据作为输入。研究人员为这个步骤的GPT-4设计的提示语如表2所示。
在这个过程中,研究人员没有对提取数据生成一段描述,而是指示GPT-4用5个要点来生成分析和见解,并强调关键要点。
有一点需要注意的是,在此,研究人员也考虑使用生成的图表作为输入的替代方案。
因为「GPT-4的技术报告」提到,它可以将图标作为输入。不过,这个功能还没全面开放。
由于提取的数据基本上包含的信息量与生成的图表至少相同,因此研究人员只使用「提取数据」作为输入。
从初步的实验来看,GPT-4能够从数据本身理解趋势和相关性,而不需要看到数据。
为了让框架更加实用,从而有可能帮助人类数据分析师提高其日常表现。研究人员增加了一个利用外部知识源的选项,如算法1所示。
由于实际的数据分析师角色通常需要相关的业务背景知识,研究人员设计了一个外部知识检索模型g(·),从外部知识源(如谷歌)查询实时在线信息(I)。在这样的方案中,GPT-4将数据(D)和在线信息(I)都作为输入来生成分析(A)。

实验

数据集

由于没有完全匹配的数据集,研究人员选择了一个最相关的数据集——NvBench。
他们从不同领域随机选择了100个不同图表类型,和不同难度的问题来进行主要实验。

图表类型包括:条形图、叠加条形图、线形图、散点图和饼图等。

难度等级包括:简单、中等、困难和极难。

领域包括:体育、艺术、交通、公寓出租等。
在NvBench数据集的基础上,研究人员利用框架为每个实例编写了5个要点,并使用全新的指标来评估质量。

评估

在这里,研究人员设计了几个人工评估指标来评估生成的数据,并分别对每个测试实例进行分析。
图表评估:
· 信息正确性:图中显示的数据和信息是否正确?(0-1)
· 图标类型正确性:图表类型是否符合问题中的要求?(0-1)

· 美观性:图表是否美观、清晰,没有任何格式错误?(0-3)

分析评估:

· 正确性:分析中是否包含错误的数据或信息?(0-1)
· 对齐性:分析是否与问题一致?(0-1)
· 复杂性:分析的复杂程度和深度如何?(0-3)

· 流畅性:生成的分析是否流畅,在语法上是否合理,没有不必要的重复?(0-3)

为了进行人工评估,阿里&NTU研究人员从一家数据标注公司雇佣了6名专业的数据标注员,按照上述详细的评估指标对每个图形和分析要点进行标注。

结果

GPT-4的表现

表3显示了,GPT-4作为数据分析师在200个样本上的表现,以及每个单独的评估组的结果,和两个组之间的平均分数。
对于图表类型正确性评估,两个评估小组几乎都给出了满分。
这表明,对于 「画条形图」、「显示饼形图」等这样简单明了的指令,GPT-4可以很容易地理解其含义,并对图表类型的含义有背景知识,从而可以相应地以正确的类型绘制图表。
在美学评分方面,它平均得到2.73分(满分3分),这表明大多数生成的数字对评估者来说是清晰的,没有任何格式错误。
然而,对于绘制图表的信息正确性,得分并不那么令人满意。
研究人员手动检查了这些图表,发现尽管有一些小错误,但大多数都能大致得到正确的数字。
在此,评估标准非常严格,只要有任何数据,或任何标签的X轴或Y轴是错误的,就要扣分。尽管如此,它仍有进一步改进的空间。
在分析评估方面,对齐性和流畅性平均得到了满分。这再次验证了生成流畅和语法正确的句子对GPT-4来说绝对不是一个问题。
另外,研究人员还注意到,分析的平均正确性得分要比数据的信息正确性高得多。
这很有趣,因为尽管生成的数据是错误的,但分析结果可能是正确的。这再次验证了研究人员之前对数字的信息正确性得分的解释。
如前所述,由于生成的数字大多与黄金数字一致,因此一些要点可以正确生成。只有少数与数字中的错误部分有关的要点被认为是错误的。就复杂性得分而言,平均2.16分(满分3分)是合理且令人满意的。

人类数据分析师与GPT-4的比较

为了进一步回答我们的研究问题,研究人员聘请专业的数据分析师来做这些任务,并与GPT-4进行全面的比较。
表4显示了几个来自不同背景的专家级别数据分析师与GPT-4的表现比较。
总的来说,GPT-4的性能与人类数据分析师相当,而在不同的标准指标和人类数据分析师之间,其优势也有所不同。
第一行显示了,一位在金融行业有超过6年数据分析工作经验的高级数据分析师(即高级数据分析师1)的10个样本表现。从表中可以看出,GPT-4在大多数指标上的表现与专家数据分析师相当。虽然GPT-4的正确性得分低于人类数据分析师,但复杂性得分和排列组合得分却更高。
第二行显示了,GPT-4和另一个有5年工作经验的高级数据分析师(即高级数据分析师2)在8个样本上的性能比较。由于样本量相对较小,结果显示人类和AI数据分析师之间的差异较大。人类数据分析师在信息的正确性和数据美观性、见解的正确性和复杂性方面超过了GPT-4,表明GPT-4仍有改进的潜力。
第三行是比较GPT-4和一个在咨询公司有2年内数据分析工作经验的初级数据分析师之间的另一个随机9样本的表现。GPT-4不仅在数字和分析的正确性上表现得更好,而且还倾向于产生比人类数据分析师更复杂的分析。
除了所有数据分析师和GPT-4之间的性能相当外,我们可以注意到GPT-4花费的时间比人类数据分析师短得多。
表5显示了,来自不同职业平台的数据分析师成本比较。
研究人员从level.fyi获得新加坡数据分析师的年薪中值,从Glassdoor获得新加坡数据分析师的平均年薪。
这里,研究人员假设每月有大约21个工作日,每天的工作时间约为8小时,再结合目前不同级别数据分析师在具体项目实例中所花费的平均时长(美元)。
对于这次研究的标注,研究人员根据市场价格相应地支付给数据分析员。GPT4的成本约为初级数据分析师成本的0.71%,高级数据分析师成本的0.45%。

案例

在第一个案例中,GPT-4能够生成包含正确的SQL查询的python代码,以提取所需的数据,并根据给定的问题画出适当的、正确的饼图。
在分析方面,GPT-4能够通过进行适当的比较(例如,「最成功」、「不太成功」、「不同范围」)来理解数据。
此外,GPT-4还能从数据中提供一些见解,如:「表明他们在竞争中的主导地位」。
GPT-4的上述这些能力,包括上下文理解、代码生成和数据故事,也在其他许多案例中得到了证明。
此外,在这个案例中,GPT-4还可以从数据和其背景知识中做出一些合理的猜测,例如:「可能是由于其设计、性能或其他因素」。
第二个案例显示了GPT-4处理的另一个问题「在散点图中显示身高和体重之间的相关性」。
同样,GPT-4能够提取正确的数据,画出正确的散点图并生成合理的分析。
虽然大部分的要点都原模原样地生成了,但如果仔细阅读和检查,就会发现平均身高和体重的数字是错误的。
除了众所周知的「幻觉」问题外,研究人员怀疑GPT-4的计算能力不强,特别是对于那些复杂的计算。
甚至,他们还在在其他几个案例中也注意到这个问题。尽管GPT-4以非常自信的语气生成了分析要点,但计算结果有时并不准确。
第三是高级分析师2所做的一个例子。
可以注意到,这位专家级的人类数据分析师也能理解需求,编写代码来绘制正确的柱状图,并对提取的数据进行分析要点。
除此以外,研究人员总结出人类数据分析师与GPT-4的3个主要区别:
首先,与GPT-4不同的是,人类数据分析师可以用一些个人想法和情感来表达分析。例如,数据分析师会提到「这有点令人惊讶......」。在现实生活中,个人情感有时是很重要的。通过这些情绪化的短语,人们可以很容易地理解数据是否符合预期或不正常。
第二,人类的数据分析师倾向于应用一些背景知识。虽然GPT-4通常只关注提取的数据本身,但人类很容易与自己的背景知识联系起来。例如,如表8所示,数据分析师提到「......是常见的......」,这在数据分析师的实际工作中是比较自然的。因此,为了更好地模仿人类数据分析师,在演示中,研究人员增加了一个选项,即在生成数据分析时使用谷歌搜索API来提取实时在线信息。
第三,当提供洞察力或建议时,人类数据分析师往往是保守的。例如,在第5点中,人类数据分析师在给出建议前提到「如果没有数据问题」。与人类不同,GPT-4会以自信的语气直接提供建议,而不提及其假设。

讨论

从初步的结果来看,GPT-4的表现可以与数据分析师相媲美。
不过,在得出结论之前,仍有几个问题需要解决。
首先,正如案例研究部分所提到的,GPT-4仍然有幻觉问题。数据分析工作不仅需要那些技术能力和分析能力,而且还需要保证高精确度。
其次,GPT-4不应该直接给出任何建议或从数据中做出任何猜测,而是应该谨慎对待所有的假设,并给出更加严谨的说法。
此外,尽管实验中的问题已经涵盖了很多的领域、数据库、难度级别和图表类型,但根据人类数据分析师的反馈,它们仍然有些过于具体。比如,通常会包含这样的信息:两个变量之间的特定相关性,特定的图表类型。
由于预算的限制,人工评估和数据分析师标注的数据相对较少。毕竟数据分析师(尤其是资深的)非常昂贵,团队只聘请他们做了少量的样本。

网友评论

对此,有网友表示,GPT替代初级分析师确实是低成本高效率的,但替代高级分析师还难说,未来的高级分析师要更多注重行业洞察力和预见能力,这是维持其高工资的基础,也是GPT难全面替代的。
资深数据分析师Galen Okazaki表示,数据分析是一个价值庞大的产业,并且仍然在持续增长。
从2012年开始,他在GE资本做了7年的资本市场数据分析,职务是高级副总裁。2020年到现在,Okazaki一直在VDS公司做数据战略,职务是高级顾问。
他认为,数据分析师并不是谁都能做,需要专业的领域知识。而缺乏专业知识的人,就算有GPT-4也没用。
无论是哪个领域的数据分析,无论我们用什么工具,结果都是如此——没有专业知识,我们就不知道面对一大堆数据该提出什么样的问题,就算有了一些发现,也不知道如何解释。
这也就是数据分析工作的最大价值所在,能够调用专业知识回答可能遇到的任何问题,无论有多复杂,有多少层次,是不是线性的,等等。而这些问题恰恰是生成式AI不能回答的。
所以,Okazaki的结论是,GPT-4的能力越来越强,给数据分析师的辅助作用也会越来越大。是取代?不太可能。
参考资料:
https://arxiv.org/abs/2305.15038
https://towardsdatascience.com/will-generative-ai-replace-the-need-for-data-analysts-6b6807599d00




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
杭州/北京内推 | 阿里达摩院生物医学信息处理团队招聘24届春招实习生年薪60万的数据分析师工作保不住了?!阿里达摩院研究发现,改用GPT-4成本只需几千元移民故事:路师傅“阿里达摩院专家被裁”传言不实!信息发布者道歉阿里达摩院大模型公开课上新!主讲中文个性化对话大模型ChatPLUG和模块化多模态大模型mPLUG-OwlChatGPT 大更新突然上线!秒变万能工具箱,还要取代数据分析师|Hunt Good 周报阿里达摩院杭州DI-Lab诚招博士后达摩院发布大模型测试基准:GPT-4勉强及格,其他模型悉数落败8点1氪:iPhone 15将搭载堆叠式摄像头;阿里达摩院自动驾驶业务裁员70%?回应:不实消息;王者荣耀女装定价超千元阿里达摩院发布“通义千问”,首席首测,学问如何?阿里达摩院:GPT-4替代年薪60万的数据分析师只要几千块,论文已发钟南山:全国大概85%的人感染过新冠;笑果文化已被立案调查;阿里达摩院回应约70%员工被裁;梁稳根不再任三一集团董事长...IT 妈妈一文详解Prompt学习和微调(Prompt Learning & Prompt Tuning)当LLM遇到Database:阿里达摩院联合HKU推出Text-to-SQL新基准​ICLR 2023 | 阿里达摩院开源人脸检测新框架DamoFD数据分析和你数据分析专业能力并无半毛钱关系Y6升Y7代数专题训练营开始啦,5节课帮助孩子高效掌握代数知识阿里达摩院:GPT-4 的成本只有高级数据分析员的 0.45%2023年第一波花爱美丽跳箱子,核心的力量北京/杭州内推 | 阿里达摩院OCR团队招聘OCR/文档理解算法实习生数据分析师,如何给自己找活干北京内推 | 阿里达摩院招聘大型语言模型(LLM)应用方向实习生GPT-4能否取代数据分析师?达摩院的初步实验为你解答~ICML 2023 | 基于模块化思想,阿里达摩院提出多模态基础模型mPLUG-2【美国春天母亲节献礼4女高音三部曲 舞台艺术节255】春天原创现场舞台:《妈妈是天使》&《游子吟:三春晖》&《春天摇篮》博后招募 | 阿里达摩院决策智能实验室招募时间序列方向博士后【君在我心】之【云深情也深 】& 【今夜想起你 】& 【爱在我心中】【美国春天母亲节5原创钢琴三部曲 “粉衣蓝裙”不表白庆六一艺术节】《美丽夏天温柔的雨》&《爱的童话》&《雷雨之后》【美国春天母亲节5年回顾原创三部曲六一钢琴节】我为柳宗元《小石潭记》作曲 &《让我们唱在夏天里》&《卖火柴的小女孩》真人大厂掉头!阿里达摩院调整自动驾驶研发,团队归入菜鸟《我在阿里达摩院的分享(干货预警)》Holiday Special 七月上 望七月 ~~ poem & song by 盈盈 & APACL 2023 | 达摩院、NTU提出多视图压缩表示,显著提升预训练语言模型鲁棒性30K和8K的数据分析师,是差在学历还是差在人品球队输了600场,乔丹赢了一辈子!他刚刚卖掉NBA球队,入账30亿刀,成本仅2.7亿达摩院猫头鹰mPLUG-Owl亮相:模块化多模态大模型,追赶GPT-4多模态能力太极防落枕?阿里达摩院:GPT-4替代年薪60万数据分析师只要几千块
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。