Redian新闻
>
Science:AI竞赛,学界正在输给业界

Science:AI竞赛,学界正在输给业界

公众号新闻



  新智元报道  

来源:学术头条
编辑:好困
【新智元导读】人工智能(AI)正在向业界倾斜。相比于学界的前沿性研究,风靡当下的 AI 聊天机器人 ChatGPT、AI 艺术生成器 Midjourney,以及微软发布的新一代 AI 驱动搜索引擎 New Bing、谷歌发布 ChatGPT 竞品 Bard 和那些未来将要发布的「类 ChatGPT」等,似乎正在预示着一场更大、更系统的变革。

尽管消费者能够从业界的这些成果中受益,但伴随而来的是全球决策者的担忧——重要 AI 工具的公共科技替代品可能会越来越稀缺。

2023 年 3 月 3 日,来自麻省理工学院、弗吉尼亚理工大学的研究团队在权威科学期刊 Science 上发文,阐述了业界在「数据、算力与人才」方面的优势,并探讨了业界的这些优势可能带来的隐患,以及可行的对策。

(来源:Midjourney)

学术头条在不改变文章原意的前提下,对原文进行了精简与编译。

几十年来,AI 研究在学界和业界并存,但随着深度学习成为该领域的领先技术,平衡正在向业界倾斜。我们常常看到业界 AI 的成功,如 DALL·E 2、ChatGPT、new Bing 等。

然而,这些头条新闻预示着一场更大、更系统的变革:业界正在占据 AI 研究的主导地位,从大型数据集、计算能力和高技能研究人员三方面支配着 AI 投入。这种支配正在转化为一系列研究成果:业界在学术出版物、尖端模型和关键基准方面的影响力越来越大。尽管消费者能够从中受益,但伴随而来的是全球决策者的担忧——重要 AI 工具的公共科技替代品可能会越来越稀缺。

业界的投入优势:数据、算力与人才


业界长期以来更能够访问大型、具有经济价值的数据集,因为大量用户与设备交互时会自然而然地产生数据。例如,在 2020 年,WhatsApp 美国用户每天发送大约 1000 亿条消息。然而,业界的主导地位除了凸显在数据之外,更是扩展到了现代 AI 的其他关键投入:人才和计算能力。

在过去十年中,AI 人才的需求骤升导致了 AI 人才竞争的加剧。然而,业界正在赢得这场竞赛。来自北美州的众多大学的数据显示,专门研究 AI 的计算机科学(CS)博士毕业生正以前所未有的数量进入业界。2004 年,只有 21% 的 AI 博士进入业界,但到 2020 年,这一数量占比高达 70%。

专门研究 AI 的 CS 研究人员也从大学被聘请到业界工作。自 2006 年以来,这一招聘人数增长了 8 倍,远高于 CS 研究人员的整体增长。这种担忧并不局限于美国的大学。在英国,华威大学国王十字校区院长 Abhinay Muthoo 表示,「顶尖的科技公司正在汲取大学的精华」。

学界和业界的算力使用也呈现出越来越大的差距。在图像分类中,业界使用的算力比学界或业界-学界合作使用的更大,并且增长更快。研究运用参数数量(所需算力的关键决定因素之一)来代替模型中使用的计算能力。2021 年,业界模型的平均规模是学界的 29 倍,突显出两组计算能力的巨大差异。

业界雇佣人才和利用更大算力的能力很可能是造成 AI 研究成果差异的原因。虽然公共和私营部门在 AI 方面的投资都在大幅增加,但业界的投资更大、增长更快。2021 年,非国防的美国政府机构在 AI 行业拨款 15 亿美元。同年,欧盟委员会计划支出 10 亿欧元。

相比之下,同年全球范围内,业界在 AI 上的支出超过了 3400 亿美元,大大超过了公共投资。例如,2019 年,谷歌母公司 Alphabet 在其子公司 DeepMind 上花费了 15 亿美元,这只是其 AI 投资的一部分。在欧洲,这一差距较小,但仍然存在;AI Watch 估计,「私营和公共部门分别占欧盟 AI 投资的 67% 和 33%」。

开展 AI 研究所需资金规模的一个例子来自 OpenAI,它最初是一个非营利组织,声称「不受产生财务回报的约束」,旨在「造福整个人类」。四年后,OpenAI 将其定位改为「有上限的营利组织」,并宣布这一改变将使他们「迅速增加对算力和人才方面的投资」。

业界在 AI 研究中日益占据主导地位


如今,业界对 AI 输入的主导地位表现在 AI 成果的日益突出,尤其是在研究发布、创建最大模型和超越关键基准方面。在主要 AI 会议上,由一位或多位业界联合作者撰写的研究论文从 2000 年的 22% 增长到 2020 年的 38%;业界在最大的 AI 模型中所占份额已从 2010 年的 11% 上升到 2021 年的 96%。

在 AI 基准方面,纵观图像识别、语义分析、语言建模、语义分割、对象检测和机器翻译 6 个方面,以及涵盖机器人和常识推理等领域的另外 14 项基准,在 2017 年之前,业界单独或与大学合作,有 62% 的时间处于领先地位。自 2020 年以来,这一比例已上升到 91%。

因此,通过在领先的研究机构发表文章、建立最先进的 AI 模型以及超越关键基准三个方面衡量,分析表明,业界在 AI 产出方面的地位越来越突出。

业界的压倒性优势带来隐患


业界对 AI 的投资不断增加,可能通过技术的商业化为社会带来巨大利益。公司可以创造更好的产品,使消费者受益——机器翻译有利于国际贸易,并能简化流程降低成本。业界对 AI 的投资还产生了对整个社区有价值的工具。例如,学界广泛使用的 PyTorch 和 TensorFlow,促进深度学习模型高效训练的硬件如 TPU,以及可公开访问的预训练模型——Meta 的 OPT 模型。

与此同时,AI 在业界中的集中也令人担忧,业界的商业动机促使他们关注以盈利为导向的话题。如果所有的前沿模型都来自业界,就会出现不存在具有公共意识的替代品的情况。换句话来说,「优先部门的 AI 研究人员倾向于专注于数据要求高和计算密集的深度学习方法」是以「涉及其他 AI 方法的研究、考虑 AI 的社会和伦理影响的研究以及在健康等领域的应用」为代价的。

AI 的发展轨迹如何?谁来控制它?AI 会替代人类吗并引发不平等吗?一些研究人员担心,「我们可能正走向社会次优轨迹,它更侧重于替代人类劳动,而不是增强人类能力。」一些人展开想象:业界和学界可能会形成与其他学科类似的分工:基础研究主要由大学完成,而应用研究和开发则主要由业界完成。

然而,在 AI 领域,产学的明确分工并不存在。业界所使用的应用模型往往是那些突破基础研究边界的模型。例如,transformer 是由谷歌大脑研究人员于 2017 年开发的一种深度学习架构,使得基础研究向前迈出重要一步,并且几乎立即应用于业界使用。尽管这意味着学术工作可以直接惠及业界,但是应用工作的业界主导权也赋予了它决定基础研究方向的权力。

鉴于 AI 工具可以在整个社会中得到广泛的应用,这种情况将使少数技术公司在社会发展方向拥有巨大的权力。对于世界上许多人来说,这种担忧进一步加剧,因为这些组织对他们来说是「外国公司」。例如,生命未来研究所认为,「欧洲公司没有开发通用 AI 系统,而且由于他们与美国和中国公司相比在竞争上处于相对劣势,不太可能很快开始开发」。

学界重塑 AI 前沿的可行之路


通过对业界 AI 的审查或外部监督,监管可能是解决方案。例如,2018 年,学者 Joy Buolamwini 和 Timnit Gebru 记录了商业人脸识别系统中的性别和种族偏见。然而,如果学界不能接触到业界的 AI 系统,或者没有资源来开发竞争模型,他们解释业界模型或提供公共利益的替代方案的能力将受到限制。

这既是因为学界无法建立尖端性能所需的大型模型,也是因为 AI 系统的一些有用的能力似乎是「涌现」的——系统只有在特别大的时候才能获得这些能力。模型的一些负面特征似乎也随着规模的增加而扩大。例如,AI 生成的语言中的毒性以及刻板印象。在任何一种情况下,没有足够资源的学者都无法对这些重要领域做出有意义的贡献。

在全球范围内,这种对学界在 AI 研究中的资源劣势的担忧正在被认识到,并开始出现政策应对措施。在美国,NAIRR 工作组提议创建公共研究云和公共数据集。在加拿大,国家高级研究计算平台一直在为该国的学界服务,自从近十年前启动以来,一直被超额使用。

对许多国家来说,这类投资所需的规模可能令人望而生畏。在这种情况下,决策者面临的关键问题将是,他们是否能够与志同道合的合作者一起筹集足够的资源,以达到创建反映自己优先事项的 AI 系统所需的规模。

算力并不是提供补救措施的唯一领域,构建公共数据集将非常重要。但是,这并非易事,因为现代 AI 训练数据集可以是数十亿份文档。特别值得关注的是,创建没有直接商业利益的重要数据集,以及提供资源让顶尖 AI 研究人员留在学界。例如,加拿大研究主席计划(CRCP)通过提供工资和研究基金吸引加拿大顶尖人才。

对于致力于这一问题的决策者来说,目标应该是确保有足够的能力来帮助审查或监控业界模型,或生产出符合公众利益的替代模型。

有了这些能力,学界可以继续塑造现代 AI 研究的前沿,并为负责任的 AI 制定基准。若没有这些能力,重要的公众兴趣 AI 工作将被抛弃。

参考资料:
https://www.science.org/doi/10.1126/science.ade2420




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
Science:成功利用合成的基因振荡器显著延缓细胞衰老减肥竟能如此简单?Science:不运动、不打针,这样吃饭能让你变瘦且健康!Science:为什么多吃鱼能让大脑更聪明?Science:为何有些癌症患者对免疫疗法没反应?其体内或缺少特殊的关键免疫细胞!世界正在变得更坏吗?想进入业界和学界,选博士项目分别有何注意事项?| iWanna资讯抖音直播:那些赚钱的直播间都在输出情绪!WPP收购北美数字机构Fēnom Digital;凯捷旗下The Works公司公布新任命(广告狂人日报)Science:为什么癌症在年轻人中呈上升趋势?Science:新冠溯源最关键的数据被公布,指向这里、及这种动物 - 竟是九年前就被福尔摩斯拍过照的貉!根风也问一下,是选UCLA CS还是 UCB Data Science世界正在进入最危险时刻,形势远比我们想象的更为严峻!science:发福,不是因为新陈代谢变慢Science:吃鱼真的可以变得更聪明!浙江大学研究团队找到背后机制......失去了终身爱好世界正面临一场特殊的竞赛继承彼得遗志 信仰的颠覆(七十二)选校:dartmouth,cornell (art and science), Stern, GeorgetownAI for Science:追求人类智能最光辉的一面希腊风景Science:自身免疫性疾病的免疫重置3个月备考倒计时:留学生必打竞赛,化学界小霸王【CCC】!Science:重大进展!发现大脑中一个新的膜层保护和监测大脑Science:首次绘制出昆虫大脑图谱文革初五十多天邓小平疯狂镇压武契奇:对世界正在发生的事情感到“非常害怕”Science:肠道微生物对哺乳动物大脑健康有关键作用Science:AI竞赛,学术界输了蛋白设计新时代!Science: 开发出基于强化学习的蛋白结构设计方法友山十年 | 友山基金成功举办“学界-业界面对面:经济学对话金融投资--新发展、新征程、新十年”主题活动AIGC:新世界正在到来|真格投资人专栏世界正在发生3年来最大变局,可惜只有10%的人知晓Science:揭示细胞凋亡的严格调控对于预防癌症和神经变性发生的重要性iScience:科学家发现炎症的“致命要害” ,有望开发出靶向性抗炎症疗法小留 data scientist/analyst /MS data science 找工作难,求建议Science:科学家识别出与机体昼夜时钟相关基因表达的性别和年龄差异西方的独立思想,自由精神与民主制度为什么患这种癌的年轻人越来越多?Science:揭示早发性结直肠癌的复杂性马里兰录的不是CS而是letter and science南外、上中国际、深国交,学霸们都在“卷”的写作竞赛,凭什么?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。