GPT-4耗尽全宇宙数据！OpenAI接连吃官司，竟因数据太缺了，UC伯克利教授发出警告

公众号新闻

2023-07-15 05:07

新智元报道

编辑：桃子

【新智元导读】深陷数据风波的OpenAI，背后真正原因竟是优秀的数据太少了。

穷尽「全网」，生成式AI很快无数据可用。

近日，著名UC伯克利计算机科学家Stuart Russell称，ChatGPT和其他AI工具的训练可能很快耗尽「全宇宙的文本」。

换句话说，训练像ChatGPT这样的AI，将因数据量不够而受阻。

这可能会影响生成式AI开发人员，在未来几年收集数据，以及训练人工智能的方式。

同时，Russell认为人工智能将在「语言输入，语言输出」的工作中取代人类。

数据不够，拿什么凑？

Russell近来的预测引起了大家重点关注。

OpenAI和其他生成式AI开发人员，为训练大型语言模型，开始进行数据收集。

然而，ChatGPT和其他聊天机器人不可或缺的数据收集实践，正面临着越来越多的审查。

其中就包括，未经个人同意情况下创意被使用，以及平台数据被自由使用感到不满的一些高管。

但Russell的洞察力指向了另一个潜在的弱点：训练这些数据集的文本短缺。

去年11月，MIT等研究人员进行的一项研究估计，机器学习数据集可能会在2026年之前耗尽所有「高质量语言数据」。

论文地址：https://arxiv.org/pdf/2211.04325.pdf

根据这项研究，「高质量」集中的语言数据来自：书籍、新闻文章、科学论文、维基百科和过滤后的网络内容等。

而加持当红炸子鸡ChatGPT背后的模型GPT-4同样接受了大量优质文本的训练。

这些数据来自公共在线的资源（包括数字新闻来源和社交媒体网站）

从社交媒体网站「数据抓取」，才导致马斯克出手限制用户每天可以查看的推文数量。

Russell表示，尽管许多报道未经证实，但都详细说明了OpenAI从私人来源购买了文本数据集。虽然这种购买行为可能存在解释，但自然而然的推断是，没有足够的高质量公共数据了。

一直以来，OpenAI尚未公开GPT-4背后训练的数据。

而现在，OpenAI需要用「私人数据」来补充其公共语言数据，以创建该公司迄今最强大、最先进的人工智能模型 GPT-4。

足见，高质量数据确实不够用。

OpenAI在发布前没有立即回复置评请求。

OpenAI深陷数据风波

近来，OpenAI遇上了大麻烦，原因都和数据有关。

先是16人匿名起诉OpenAI及微软，并提交了长达157页的诉讼，声称他们使用了私人谈话和医疗记录等敏感数据。

他们的索赔金额高达30亿美元，诉讼中指出，

尽管制定了购买和使用个人信息的协议，但是OpenAI和微软系统性地从互联网中窃取了3000亿个单词，包括数百万未经同意获取的个人信息。

这其中包含账户信息、姓名、联系方式、电子邮件、支付信息、交易记录、浏览器数据、社交媒体、聊天数据、cookie等等。

这些信息被嵌入到ChatGPT中，但这些恰恰反映出个人爱好、观点、工作履历甚至家庭照片等。

而负责这次起诉的律师事务所Clarkson，此前曾负责过数据泄露和虚假广告等问题的大规模集体诉讼。

紧接着，这周又有几位全职作者提出，OpenAI未经允许使用了自己的小说训练ChatGPT，构成侵权。

那么是如何确定使用自己小说训练的呢？

证据就是，ChatGPT能够针对他们的书生成准确的摘要，这就足以说明这些书被当作数据来训练ChatGPT。

作者Paul Tremblay和Mona Awad表示，「ChatGPT未经许可就从数千本书中拷贝数据，这侵犯了作者们的版权」。

起诉书中预估，OpenAI的训练数据中至少包含30万本书，其中很多来自侵权网站。

比如，GPT-3训练数据情况披露时，其中就包含2个互联网图书语料库，大概占比为15%。

2位起诉的作者认为，这些数据就是来自一些免费的网址，比如Z-Library、Sci-Hub等。

另外2018年，OpenAI曾透露训练GPT-1中的数据就包括了7000+本小说。起诉的人认为这些书没有获得作者认可就直接使用。

另谋他法？

不得不说，OpenAI使用数据来源一事确实存在诸多争议。

今年2月，《华尔街日报》记者Francesco Marconi曾表示，新闻媒体的数据也被用来训练ChatGPT。

Marconi让ChatGPT列了一个清单，竟有20家媒体。

早在今年5月，Altman在接受采访时曾表示，OpenAI已经有一段时间没有使用付费客户数据来训练大语言模型了。

客户显然不希望我们训练他们的数据，所以我们改变了计划，不再这么做。

其实，OpenAI在3月初，曾悄然更新了服务条款。

Altman提到，现在公司正在开发的新技术，可以使用更少的数据来训练模型。

或许从OpenAI身上受到了启发，谷歌选择先行堵上这一漏洞。

7月1日，谷歌更新了其隐私政策，现在的政策中明确谷歌有权收集任何公开可用的数据，并将其用于其人工智能模型的训练。

谷歌向所有用户表明，只要是自己能够行公开渠道获得的内容，都可以拿来训练Bard以及未来的AI。

参考资料：

https://www.businessinsider.com/ai-could-run-out-text-train-chatbots-chatgpt-llm-2023-7

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章