李飞飞、吴恩达、LeCun联名抗议加州AI限制法案！

就在这两天，一场AI科学家的复仇者联盟集合了！

集结的原因是美国参议院之前提出的 SB-1047 的法案即将立法，这个法案扬言是“为大规模人工智能系统的开发和部署设立严格安全标准，以确保其安全性并防止潜在重大危害。”

SB-1047 法案全称是Safe and Secure Innovation for Frontier Artificial Intelligence Act，中文翻译为《前沿人工智能模型安全创新法案》。

但是！这个法案可以说非常非常非常的不科学，因此大量的科学家联名开始公开反对！

“绊脚石”法案？

加州参议院今年2月首次提出了这个SB-1047法案，法案在州参议院和相关委员会获得广泛支持，几乎未遇到反对。5月21日，它在加州参议院获得两党通过，目前正在众议院审议中。近期，法案经历了多次修订和听证。预计将在8月进行最终投票。若获通过并得到州长签署，SB-1047将正式成为加州法律。

原文链接：
https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047

要知道，加州是毫无疑问是全球人工智能的中心。

斯坦福大学、加州理工学院、伯克利大学、南加州大学和加州大学洛杉矶分校等顶尖学府坐落于此，而Meta、谷歌、微软等科技巨头以及OpenAI、Anthropic这些业内领军企业的总部也设在加州。

这项法案被科学家们一致认为，比起说AI安全，更贴切地可以说是自断前程，其中比较引起大家强烈反对的内容奶茶搬运过来了：

市面上绝大部分的“大”模型都被定义为“风险”

该法案选定的监管范围主要针对模型层面的成本阈值、训练规模：

1、使用超过 10^26 次整数或浮点运算的计算能力进行训练的人工智能模型，其成本超过一亿美元（100,000,000 美元），该成本是根据开发者合理评估的训练开始时云计算的平均市场价格计算得出的。

2、利用等于或大于 10^25 次整数或浮点运算三倍的计算能力，对范围内的模型进行微调而创建的人工智能模型。

法案这样画圈的话，那执法范围基本全部覆盖了现在市面上绝大部分主流的大型模型，这些模型都因为“规模、成本大”而被定义为存在「潜在危险」或需要额外监督。

对下游应用严格限制

法案中还提到，要求所有开发者都必须进行部署前的安全评估，实施强有力的网络安全保护，具备紧急关停模型的能力，提交年度合规认证，72小时内上报安全事件等，并且要对模型下游应用负责。但凡有人用你的模型做了“坏事”，你就要“连坐受罚”～

在开始训练之前，开发者需要保证他们的模型不会被用来或提供"危险能力"，并实施一系列保障措施来防止未经授权的访问或滥用。

为执行新法律,将成立"前沿模型部门"作为监管机构,负责制定安全标准并就AI法律提供建议。向该机构提供虚假信息可能导致开发者因伪证入狱。

限制开源开发

法案还要求所有超过特定门槛的模型必须包含“紧急停止装置”，即一种可以随时关闭程序的机制。如果开发者担心他们的程序没办法“紧急停止”，他们将必须更慎重地编写代码，以及考虑开源的形式。

鼓励内部举报

法案还提到了一个吹哨人保护条款,鼓励AI企业内部举报不合规行为,保护举报者免受报复。

全部信息必须备案

在客户购买算力资源训练模型时，卖方必须要收集客户的身份信息、支付方式和联系方式，包括相关金融机构、信用卡号码、账户号码、交易标识符或虚拟货币钱包地址等。并且保留客户的IP地址和访问记录长达七年，每年对用户行为和意图进行评估，也要在海关、边境总署备案。

汗流浃背了老铁！！！

科学家联盟

为了反对SB-1047的立法，加州大学 7 个校区的师生以及来自其他 20 多个机构的研究人员共同起草并签署了一封反对 SB-1047 的公开信：

• 法案对开源模型发展的潜在影响：该法案对"前沿模型"的安全审核和控制要求可能会对开源模型的发展造成阻碍。这些规定对商业实体来说较易执行，但对非营利组织或学术机构可能构成挑战。审核标准的模糊性和潜在高成本可能会推动开发者将项目转移到其他地区，从而影响学术研究的进展。

• 人工智能风险评估方法的科学性质疑：目前，学术界对语言模型及其他先进AI系统可能带来的公众威胁尚未形成共识，这使得法案中的评估建议缺乏坚实的科学基础。

• 开源模型保护措施的不足：鉴于AI技术的快速发展，没有强有力的保护机制，开源模型可能很快面临不利影响。此外，法案中的修正案可能无法充分缓解对开源模型发布的负面影响。

• 对学生就业前景的影响：SB-1047可能会影响学生对AI领域的兴趣，并可能阻碍新人才进入计算机科学等关键领域。

除了公开信，还有一些研究者选择在社交媒体发声。其中，一位系统生物学家的论点非常有意思：SB-1047 就像在我们还不知道病原体是什么、何时会感染我们以及感染会发生在哪里之前就激活了炎症反应。

李飞飞：加州本意良好的AI法案将损害美国的生态系统

“AI教母”李飞飞率先发声：

虽然这项法案本意是好的，但它不仅很难达到它的目的，还会深深伤害人工智能学术界、开源社区等

人工智能是一项文明技术，将对每个人产生深远的影响。人工智能政策必须鼓励创新，设置适当限制，并减轻这些限制的影响；否则，最好的结果是达不到目标，最坏的情况下是导致可怕甚至是意想不到的后果。

吴恩达：法律将扼杀人工智能

吴恩达表示：

对SB-1047法案深感担忧，法案可能会使人工智能大模型的构建者承担责任，如果该法案以目前的形式通过，它将扼杀人工智能模型构建者，尤其是开源开发者。安全性是应用程序的属性，而不是技术或模型的属性。监管机构应该监管应用而不是技术。例如，电动机就是一项技术。当我们将其放入搅拌机、电动汽车、透析机或制导炸弹中时，它就成为了一种应用。想象一下，如果法律规定，当任何人以有害的方式使用电机时，电机制造商都要承担责任。那电机制造商要么停产，要么将电机制造得非常小，以至于对大多数应用来说毫无用处。如果我们通过这样的法律，可能会阻止人们制造炸弹，但我们也会失去搅拌机、电动汽车和透析机。相反，如果我们关注特定的应用，就可以更合理地评估风险并判断如何确保它们的安全，甚至禁止某些类型的应用。

LeCun：法案基于完全假设的科幻小说场景

杨立昆（Yann LeCun）也认为SB-1047搞错重点了：

监管机构应该监管应用，而不是技术，规范基础技术会阻碍创新。让技术开发人员为不良使用承担责任，只会阻止技术发展。最奇怪的是，所有这些规定都是基于完全假设的科幻小说场景，这些监管将杀死整个人工智能生态系统，而且SB-1047 的责任制将使开源 AI 平台面临极大风险。没有开源 AI，就没有 AI 初创公司生态系统，也没有大模型的学术研究。Meta 会没事，但 AI 初创公司将会死亡。在我看来，这才是末日景象。

而SB-1047的推动者之一Hendrycks在Yann LeCun转发的这则采访中指出：人工智能将“从执行日常任务到摧毁整个宇宙”，它虽不懂人类是什么，但会寻求权力并表现得”自私”，而美国加大AI监管也会“一举两得”地扼制中国人工智能发展。

额，确定这能扼制到中国人工智能发展吗。。。你真的这样觉得吗？

Daniel Jeffries：中国的AI可是跑的很快啊！

Kentauros AI CEO 、前Red Hat高级架构师Daniel Jeffries：

这根本不是一项AI安全法案，而是一匹“特洛伊木马”。真正目的是让一小撮反AI极端分子拥有关闭先进AI的权力，同时给加州的科技产业制造麻烦。不要让模型对别人的犯罪负责。没人因为安然公司有人用Excel诈骗投资者就惩罚微软，该惩罚的是安然的骗子。若法案在加州成功很可能引发其它州效仿，与此同时其它地区的AI正在高速发展。例如中国就已经有了媲美Sora的先进视频生成模型，量产的无人驾驶出租车，和广泛部署用于交通控制的阿里巴巴城市大脑。

结语

SB-1047真的是都是批评的声音无一人赞美（除了发布者）。

网友们也觉得里面槽点不断，比如“1亿美元训练成本”的界定模糊不清。例如，这是否包括研究人员的薪资？是计算历代模型还是仅最终版本？模型对齐的人类反馈费用如何计算？如果模型是基于其他模型微调的，基础模型的成本是否包含在内？这些问题都没有明确答案，给小型开发者带来了巨大的应对负担。

还有最荒谬的22603条款，要求开发者在训练模型前就必须采取措施防止滥用，而且开发人员每年都要请有关部门重新评估安全措施，提交合规证明。此外，还要如果模型的使用者出现任何安全事故、犯罪行为，第一开发者将负连带责任。

大家怎么看呢～欢迎评论区和我们一起讨论～

参考资料