Redian新闻
>
人类没有足够的高质量语料给AI学了,2026年就用尽,网友:大型人类文本生成项目启动!

人类没有足够的高质量语料给AI学了,2026年就用尽,网友:大型人类文本生成项目启动!

公众号新闻
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

AI胃口太大,人类的语料数据已经不够吃了。

来自Epoch团队的一篇新论文表明,AI不出5年就会把所有高质量语料用光

要知道,这可是把人类语言数据增长率考虑在内预测出的结果,换而言之,这几年人类新写的论文、新编的代码,哪怕全都喂给AI也不够

照这么发展下去,依赖高质量数据提升水平的语言大模型,很快就要迎来瓶颈

已经有网友坐不住了:

这太荒谬了。人类无需阅读互联网所有内容,就能高效训练自己。

我们需要更好的模型,而不是更多的数据。

还有网友调侃,都这样了不如让AI吃自己吐的东西:

可以把AI自己生成的文本当成低质量数据喂给AI。

让我们来看看,人类剩余的数据还有多少?

文本和图像数据“存货”如何?

论文主要针对文本图像两类数据进行了预测。

首先是文本数据

数据的质量通常有好有坏,作者们根据现有大模型采用的数据类型、以及其他数据,将可用文本数据分成了低质量高质量两部分。

高质量语料,参考了Pile、PaLM和MassiveText等大型语言模型所用的训练数据集,包括维基百科、新闻、GitHub上的代码、出版书籍等。

低质量语料,则来源于Reddit等社交媒体上的推文、以及非官方创作的同人小说(fanfic)等。

根据统计,高质量语言数据存量只剩下约4.6×10^12~1.7×10^13个单词,相比当前最大的文本数据集大了不到一个数量级。

结合增长率,论文预测高质量文本数据会在2023~2027年间被AI耗尽,预估节点在2026年左右。

看起来实在有点快……

当然,可以再加上低质量文本数据来救急。根据统计,目前文本数据整体存量还剩下7×10^13~7×10^16个单词,比最大的数据集大1.5~4.5个数量级。

如果对数据质量要求不高,那么AI会在2030年~2050年之间才用完所有文本数据。

再看看图像数据,这里论文没有区分图像质量。

目前最大的图像数据集拥有3×10^9张图片。

据统计,目前图片总量约有8.11×10^12~2.3×10^13张,比最大的图像数据集大出3~4个数量级。

论文预测AI会在2030~2070年间用完这些图片。

显然,大语言模型比图像模型面临着更紧张的“缺数据”情况。

那么这一结论是如何得出的呢?

计算网民日均发文量得出

论文从两个角度,分别对文本图像数据生成效率、以及训练数据集增长情况进行了分析。

值得注意的是,论文统计的不都是标注数据,考虑到无监督学习比较火热,把未标注数据也算进去了。

以文本数据为例,大部分数据会从社交平台、博客和论坛生成。

为了估计文本数据生成速度,有三个因素需要考虑,即总人口、互联网普及率和互联网用户平均生成数据量。

例如,这是根据历史人口数据互联网用户数量,估计得到的未来人口和互联网用户增长趋势:

再结合用户生成的平均数据量,就能计算出生成数据的速率。(由于地理和时间变化复杂,论文简化了用户平均生成数据量计算方法)

根据这一方法,计算得出语言数据增长率在7%左右,然而这一增长率会随着时间延长逐渐下降。

预计到2100年,我们的语言数据增长率会降低到1%

同样类似的方法分析图像数据,当前增长率在8%左右,然而到2100年图像数据增长率同样会放缓至1%左右。

论文认为,如果数据增长率没有大幅提高、或是出现新的数据来源,无论是靠高质量数据训练的图像还是文本大模型,都可能在某个阶段迎来瓶颈期。

对此有网友调侃,未来或许会有像科幻故事情节一样的事情发生:

人类为了训练AI,启动大型文本生成项目,大家为了AI拼命写东西。

他称之为一种“对AI的教育”:

我们每年给AI送14万到260万单词量的文本数据,听起来似乎比《黑客帝国》中人类当电池要更酷?

你觉得呢?

论文地址:
https://arxiv.org/abs/2211.04325

参考链接:
https://twitter.com/emollick/status/1605756428941246466

「2022人工智能年度评选」榜单揭晓

领航企业TOP50


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
Seq2Seq、SeqGAN、Transformer…你都掌握了吗?一文总结文本生成必备经典模型(一)中文文本生成发展到哪一步了?写方案、写广告的AI全能工具已上线瞭望丨专访国研中心副主任隆国强:以高质量外资助推中国经济高质量发展基于预训练语言模型的可控文本生成大规模预训练、可控文本生成方向,清华大学计算机系NLP实验室招聘博士后(长期有效)消费当下和未来确定性足够的选择南湾圣克拉拉县“新美国人”NAF暑期实习项目启动了!最高1万美金助学金,快来申请~失去瓶装尖叫,人类没有解药【家族往事】姐姐的婚事佩洛西回应是否继续竞选 称麦卡锡没有足够票当选议长GENIUS:一个基于“草稿”进行文本生成、数据增强的“小天才”模型GPT系列大模型在文本生成方向有哪些最新尝试?黑龙江为什么要换省会?因ChatGPT爆红的文本生成大模型@自费留学生,2022年度“国家优秀自费留学生奖学金” 项目启动实施​GENIUS: 根据草稿进行文本生成的预训练模型,可用于多种NLP任务的数据增强GPT、BERT、XLM、GPT-2、BART…你都掌握了吗?一文总结文本生成必备经典模型(二)致父母:你有足够多的耐心,才会有足够好的孩子 | 精选文革中批判邓小平的红卫兵说啥什么样的智能驾驶系统,能够给用户带来足够的安全感?水墨《行万里》一刻不停推进全面从严治党 以高质量党建引领保障工业和信息化高质量发展——工信部召开2023年党的建设暨党风廉政建设工作会议畅游法国(35)-勃艮第之王以高质量审计监督护航上海经济社会高质量发展!市委审计委员会今天举行会议悉尼知名项目启动,迎元宵双喜临门!舞狮开道、土著仪式开场,近15万人见证“楼王”诞生!大模型在文本生成领域有哪些最新尝试的工作?【ICDAR 2023 X 阿里安全】挑战赛正式启动!篡改文本分类和检测两大赛题!喜报|国内首个诱导多能干细胞外泌体临床研究项目启动、ChatGPT能代替医生吗?AudioLDM一作解读:文本生成高质量音频,单GPU即可图文并茂|AIGC的浪潮下,文本生成发展得怎么样了?AIGC的浪潮下,文本生成发展得怎么样了?东北首个核能供暖项目启动,24小时不间断供应!周边近2万居民受益项目启动会为什么很重要?谷歌发布从文本生成音乐的AI作曲系统,但暂不计划发布多处必有饥荒、地震,这都是灾难的起头!你有足够的警醒吗?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。