斯坦福2023 AI Index回顾十年进展：大模型作者一半来自美国机构、中国期刊论文领先

公众号新闻

2023-04-04 16:04

MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

转载自 | 机器之心

该报告从八个方面展开：研究与开发、技术性能、AI技术伦理、经济、教育、政策和治理、多样性以及舆论。

在人工智能领域，由斯坦福大学发起的人工智能指数（AI Index）是一个追踪 AI 动态和进展的非营利性项目，旨在全面研究 AI 行业状况，促进基于数据的 AI 广泛交流和有效对话。

现在，2023 AI Index 年度报告新鲜出炉。

报告地址：https://aiindex.stanford.edu/wp-content/uploads/2023/04/HAI_AI-Index_Report_2023.pdf

AI Index 表明 AI 世界正在进入一个新的发展阶段。在过去的一年里，大量 AI 工具已经成为主流，从 ChatGPT 等聊天机器人到 Midjourney 等图像生成软件。但是关于如何部署这项技术以及如何平衡风险和机会的决定权牢牢掌握在企业参与者手中。AI Index 还指出，多年来，学术界在开发最先进的 AI 系统方面处于领先地位，但现在工业界已经牢牢接管。

AI Index 共分为八章，下面我们看看报告的主要内容。

1. 研究与开发

本章主要介绍 AI 研发趋势。分为 AI 出版物，包括期刊文章、会议论文和存储库，然后介绍大型语言模型和多模态模型等。

图 1.1.1 展示了全球 AI 出版物的数量：从 2010 年到 2021 年，总数量翻了一番多，数据显示从 2010 年的 20 万增长到 2021 年的近 50 万。

按照专业方向来分，图 1.1.3 表明模式识别和机器学习方面的出版物在过去五年中增长最快。自 2015 年以来，模式识别方面的论文数量大约翻了一番，而机器学习论文的数量大约翻了两番。

跨国合作：图 1.1.6 和 1.1.7 描述了 2010 年至 2021 年最大规模的跨国 AI 合作。结果表明，过去 12 年中中美合作次数最多，自 2010 年以来增长了大约四倍。然而，从 2020 年到 2021 年，中美合作总数仅增长了 2.1%。2021 年，美国和中国之间的合作数量是英国和中国的 2.5 倍。

AI 期刊论文的发表数量，中国始终保持领先地位，2021 年为 39.8%，其次是欧盟和英国（15.1%），然后是美国（10.0%）。

被引次数：自 2010 年以来，中国在 AI 期刊出版物中的引用份额逐渐增加，而欧盟和英国以及美国的引用份额则有所下降 (图 1.1.12)。

AI 会议出版物：AI 出版物数量在 2019 年达到峰值 (图 1.1.13)。2021 年 AI 会议的出版物总数为 85094 篇，略高于 2010 年的 75592 篇。

2021 年，中国在全球 AI 会议出版物中所占份额最大，为 26.2%，2017 年开始超过欧盟和英国，美国以 17.2% 排在第三位 (图 1.1.15)。

模型参数趋势（按照学术、工业等划分）：参数是模型在训练过程中学习到的数值。随着时间的推移，参数的数量一直在稳步增加，自 2010 年以来，这一增长变得尤为明显。

过去五年里，重要的人工智能机器学习系统使用的计算量呈指数级增长（图 1.2.11）：

自 2010 年以来，在所有机器学习系统中，语言模型需要最多的计算资源：

下图是对大型语言模型和多模态模型作者的国家从属关系进行了分析，这些研究人员主要来自美国机构 (54.2%)(图 1.2.13)。

图 1.2.14 提供了自 GPT-2 以来发布的大型语言模型和多模态模型的时间线视图，以及发布这些模型的研究人员的国家隶属关系。

随着时间的推移，新发布的大语言和多模态模型的参数数量大幅增加。例如，2019 年发布的第一个大型语言和多模态模型 GPT-2 只有 15 亿参数。谷歌在 2022 年发布的 PaLM 有 5400 亿，是 GPT-2 的近 360 倍。在大语言和多模态模型中，参数的中位数随时间呈指数增长 (图 1.2.15)。

此外，大型语言和多模态模型的训练计算量也在稳步增加（图 1.2.16）：

AI Index 研究团队对训练成本进行了估算 (图 1.2.17)。这些估计是基于模型作者披露的硬件和训练时间完成的。例如 GPT-2 于 2019 年发布，被认为是第一个大型语言模型，拥有 15 亿个参数，估计需要 50,000 美元的训练费用。仅仅三年后，PaLM 推出了 5400 亿个参数，估计耗资 800 万美元。不仅仅是 PaLM：从整体上看，大型语言和多模态模型正变得越来越大、越来越昂贵。

2. 技术性能

本章总结了计算机视觉、语言、语音、强化学习和硬件方面的进展。

图像分类：截至 2022 年，ImageNet 数据集上的 top-1 准确率已经达到 91.0%：

人脸检测与识别：许多模型在面部识别系统准确率接近 100%，即使是在具有挑战性的数据集上：

语言：在 SuperGLUE 基准上，模型拿到 91.3 ，比人类基线高出 1.5 个百分点：

模型在文本摘要上的表现：

此外，达到基准饱和的速度正在增加。然而，新的、更全面的基准测试套件，如 BIG-bench 和 HELM 正在发布。

在提交给 MLPerf 的硬件系统使用的加速器数量的数据表明，更强的硬件正在为减少训练时间提供动力 (图 2.7.2)：

图 2.7.7 展示了从 2003 年到 2022 年发布的不同 GPU 的 FP32 性能。FLOP/s 越高，硬件越好。图 2.7.8 显示了按发布日期划分的新 GPU 单项性能中值，该值逐年上升。

3. 关于伦理方面的研究

机器学习中的公平、偏见和道德仍然是研究人员和从业者感兴趣的话题。随着创建和部署生成式人工智能系统的技术门槛大幅降低，围绕人工智能的道德问题也变得更加明显。

根据追踪人工智能道德滥用相关事件的 AIAAIC 数据库，从 2012 年开始，人工智能事件和争议的数量增加了 26 倍。这种增长既证明了对人工智能技术的更多使用，也证明了对滥用可能性的认识。

对这部分内容感兴趣的读者可以参考原报告。

4. 经济

AI 系统技术能力的提高使得企业、政府和其他组织的人工智能部署率更高。人工智能与经济的高度融合既令人兴奋又令人担忧。本章使用来自 Lightcast、LinkedIn、McKinsey、Deloitte 和 NetBase Quid 以及国际机器人联合会 (IFR) 的数据来研究与 AI 相关的经济趋势。

图 4.1.1 显示了在一些职位中，需要某种 AI 技能的百分比。在 2022 年，按照这一指标排名前三的国家是美国 (2.1%)、加拿大 (1.5%) 和西班牙 (1.3%)。

图 4.1.2 展示了自 2010 年以来美国劳动力市场最受欢迎的 AI 技能集群。最受欢迎的技能集群是机器学习 (1.0%)，其次是人工智能 (0.6%) 和自然语言处理 (0.2%)。

图 4.1.3 和 4.1.4 展示了与 2010-20122 年相比，2022 年 AI 职位发布所需的十大专业技能。就绝对水平而言，与十年前相比，现在对几乎所有专业技能的需求都更大。对 Python 的需求增长尤为显着，这证明它作为一种 AI 编码语言越来越受欢迎。

5. 教育

人工智能专业越来越多。美国大学计算机科学类博士毕业生中 AI 专业的比例从 2010 年的 10.2% 到 2020 年的 14.9% 跃升至 2021 年的 19.1%。

AI 博士毕业生越来越多地前往业界工作。2011 年，AI 博士毕业生在学界 (41.6%) 与业界 (40.9%) 的就业比例大致相同。之后，大多数 AI 博士毕业生都进入业界工作。2021 年，65.4% 的 AI 博士在业界就业，是在学界就业的 28.2% 的两倍还多。

北美 CS、CE 和信息系新聘用教职员工的比例基本持平。

具体来说，过去十年，北美计算机科学 (CS)、计算机工程 (CE) 和信息系新聘用的教职员工总数目有所下降：2021 年的聘用总数为 710 人，而 2012 年为 733 人。同样， tenure-track 招聘人数在 2019 年达到顶峰，为 422 人，然后在 2021 年降至 324 人。

美国私立和公立教育机构计算机科学系在外部研究资金方面的差距继续扩大。2011 年，美国私立和公立 CS 系用于计算研究的外部资源总支出的中位数大致相同。从那以后，差距越来越大，私立计算机科学系获得的额外资金比公立大学多出数百万美元。2021 年，私立大学的支出中位数为 970 万美元，而公立大学的支出中位数为 570 万美元。

美国和世界其他地区对 K-12 人工智能和计算机科学教育的兴趣都在增长。2021 年，美国学生共参加了 181040 次 AP 计算机科学考试，比上年增长 1.0%。2021 年 AP 计算机科学考试的数量增加至 2007 年的九倍。

截至 2021 年，包括比利时、中国和韩国在内的 11 个国家 / 地区已正式认可并实施 K-12 AI 课程。

6. 政策与治理

政策制定者对人工智能的兴趣正在上升。AI Index 对 127 个国家 / 地区的立法记录进行了分析统计，通过并成为法律的人工智能相关法案数量从 2016 年的 1 项增加到 2022 年的 37 项。

对 81 个国家 / 地区关于 AI 的议会记录的分析同样显示，自 2016 年以来，全球立法程序中提及 AI 的次数增加至原来的 6.5 倍。

美国通过了比以往更多的人工智能法案。2021 年，美国所有联邦 AI 法案中只有 2% 通过成为法律。这一数字在 2022 年跃升至 10%。类似地，2022 年所有州级 AI 法案中有 35% 获得通过成为法律。

此外，自 2017 年以来，美国政府与人工智能相关的合同（Contract）支出增长至原来的 2.5 倍。

法律界审理了更多人工智能相关案件。2022 年，美国各州和联邦法院审理了 110 起与人工智能相关的法律案件，大约是 2016 年的 7 倍。

这些案件大部分发生在加利福尼亚州、伊利诺伊州和纽约州，涉及民事法、知识产权法、合同法。

7. 多样性

北美计算机科学专业的学士、硕士和博士生的种族越来越多样化。尽管白人学生仍然占多数，但其他种族的学生也越来越多，包括亚裔、西班牙裔、黑人或非裔美国人。例如 2011 年，71.9% 的 CS 学士毕业生是白人。到 2021 年，这一数字下降到 46.7%。

在性别比例方面，AI 博士仍然绝大多数是男性。2021 年，78.7% 的 AI 博士毕业生是男性。只有 21.3% 是女性，比 2011 年增加了 3.2 个百分点。人工智能高等教育仍然存在性别失衡。

女性在 CS、CE 和信息系教职员工中所占比例越来越大。自 2017 年以来，新招聘的 CS、CE 和信息系女教师的比例从 24.9% 增加到 30.2%。尽管如此，北美大学中的大多数 CS、CE 和信息系教师都是男性 (75.9%)。

值得一提的是，美国 K-12 计算机科学教育在性别和种族方面变得更加多样化。女性学生参加 AP 计算机科学考试的比例从 2007 年的 16.8% 增加到 2021 年的 30.6%。

与上一年同期相比，亚裔、西班牙裔、拉丁裔等种族的学生参加 AP 计算机科学考试的比例也有所增加。

8. 舆论

AI Index 借用 2022 IPSOS 的调查数据，分析了人们对人工智能产品和服务的看法。

中国人是对人工智能产品和服务看法最积极的人群之一。在 2022 年的 IPSOS 调查中，78% 的中国受访者（在接受调查的国家/地区中比例最高）同意使用人工智能产品和服务利大于弊的观点。其次，来自沙特阿拉伯（76%）和印度（71%）的受访者对人工智能产品的看法比较积极。而美国受访者中只有 35% （在接受调查的国家/地区中比例最低）的人同意使用 AI 产品和服务利大于弊的观点。

另外，男性往往比女性对人工智能产品和服务的看法更积极。

值得注意的是，近期有几个大模型爆火的自然语言处理处理领（NLP）域，大多数研究者都认为 NLP 领域存在一些普遍问题。

感兴趣的读者可以参考 2023 AI Index 原文，了解更多报告细节。

技术交流群邀请函

△长按添加小助手

扫描二维码添加小助手微信

请备注：姓名-学校/公司-研究方向（如：小张-哈工大-对话系统）即可申请加入自然语言处理/Pytorch等技术交流群

关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名的机器学习与自然语言处理社区，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。

社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章