2024.07.26

本文字数：5861，阅读时长大约10分钟

---

导读：AI企业进入欧盟市场最应关注高风险AI系统的划定和要求，该法案影响波及医疗健康、人力资源、公共安全和交通运输行业。

作者 | 第一财经 郑栩彤 刘晓洁 周颖

8月1日，欧盟《人工智能法案》（下称《AI法案》）将在欧盟范围内正式生效，并将在未来三年分阶段实施。这是全球第一部全面监管人工智能的法案，影响力不可低估。

与人工智能企业切身利益相关的是，《AI法案》对多类在欧盟区域开展业务的海外公司有所约束，影响波及域外地区。这部法案已经引起法律界和业界广泛重视，大家都在等待欧盟对一些条例提供进一步的详细说明和配套设施。

以数据合规相关内容为例，全球机器学习和增长营销解决方案公司 Moloco亚太区产品总监刘连波告诉第一财经，“隐私政策这件事情并不是针对某个一家公司，是对所有参与其中的partner（合作方）或者所有的player（玩家）都是相关的。这个行业大家面对的挑战总是一样的，我不认为会对出海生意的趋势有本质的影响，因为这个行业会共享这个挑战。”他认为首先重要的是合规，其次是正确收集数据而不滥用，这最终也会促使我们调整算法模型来进行应对。“我们会仔细跟踪和研究该法案对我们出海客户的具体挑战，然后我们会和客户一起去研究落实解决方案。”

“国内出海至欧盟的企业最需要关注的是高风险系统AI系统。如果不符合规定，企业将面临高额罚款和法律风险。” 垦丁（广州）律师事务所创始合伙人、主任律师，W&W国际法律团队创始人王捷告诉第一财经记者，参考国内科技企业在欧盟地区开展业务的情况，主要受影响的行业包括医疗健康、人力资源、公共安全和交通运输等。

另有业界人士告诉记者，对于《AI法案》中的一些规定，企业要遵守并不容易，且做到合规预计将带来企业成本上升。

罚款可达3500万欧元

ChatGPT 2022年年底意外爆火带来了人工智能立法的急迫性。在欧盟紧锣密鼓的筹备下，《AI法案》今年3月在欧洲议会通过，并于今年5月获得欧盟理事会批准。今年8月1日该法案正式生效。

《AI法案》在全球范围内的影响力不可小觑，一定程度上是因为，《AI法案》的管辖范围包括一些在欧盟区域外设立的相关公司。6个月后，总则和关于不可接受风险AI系统的禁令将适用；12个月后，高风险AI系统的部分章节、通用人工智能模型等章节将适用；24个月后，除高风险AI系统分类规则等部分内容外，其余部分适用；36个月后，高风险AI系统分类规则等部分内容也适用。

该法案规定，条例适用于将AI系统投放到欧盟市场或为欧盟提供AI系统服务的提供商，或是将通用人工智能模型投放到欧盟市场的提供商，无论这些提供商设立地或所在地是在欧盟还是在第三国。也适用于设立地或所在地在欧盟的AI系统部署商，以及AI系统进口商和分销商、以自己名义或商标将AI系统与产品一起投放市场或投入使用的产品制造商、位于欧盟的受影响人员等。

这意味着，只要海外AI相关公司将AI系统投放到欧盟市场，或带上了自己的商标，或影响到欧盟地区的人员，便可能在该法案规制范围内。违反规定的企业最高将被处以3500万欧元或最高年收入7%的行政罚款（以较高者为准）。

关于该法案的价值和后续影响，法律界和学界多有讨论。

此前欧盟发布的《通用数据保护条例》（GDPR）已显现“布鲁塞尔效应”，意即欧盟通过单方面市场规制能力将其法律制度推广至境外，让受监管实体在欧盟之外也遵守欧盟法律。这种效应能否在《AI法案》上再次体现，出现了不同的声音。

“《AI法案》是一个‘石破天惊’的法案，在权利、义务、责任之外，它往前探了一步，抓住‘风险’这个牛鼻子。以往立法从来没有提出对新技术的整套规制方法。”同济大学法学院副教授陈吉栋告诉记者，欧盟通过大量问卷调查和报告来支撑法案中几个简单的条文，投入巨大的立法成本，前期研究十分透彻。在AI发展优先和监管优先两端之间，欧盟希望在中间做平衡，监管并没有太早。这部法案并非一劳永逸的完美法案，还会根据AI发展改进。《AI法案》在国内已被学习参考。美国则体现了实用主义者的选择，采取动态监管方案。

在金杜律师事务所合伙人赵新华看来，《AI法案》非常全面，在全球性问题治理上，欧盟立法走在前面。结合2018年的GDPR以及近年的数字服务法、数字市场法等，欧盟为进入数字经济时代做了多年铺垫。该法案积极的一面是对AI监管起到很好的示范，“就像GDPR出台后，全球监管框架基本上都在借鉴GDPR，《AI法案》出台也必定会对全球AI治理提供有益的借鉴和参考。”

北京师范大学法学院副教授、中国互联网协会研究中心副主任吴沈括认为，这会对跨国企业带来非常重大的影响，影响业务研发模式、合规流程设计、市场运营策略，其优点在于明确的规则和细化的制度设计。

另有声音认为，《AI法案》推出可能过早过严，而全球不同地区对AI产业发展的态度并不相同。

吴沈括也认为，短期来看《AI法案》存在阻碍当地AI布局的这个可能性。这是监管和产业企业之间互动博弈的过程，需要一个相互增强认知的过程。中长期看，如果在确定性和监管力度上有所平衡的话，可能存在反弹机会。

AI初创企业波形智能计划出海欧洲，创始人姜昱辰曾在瑞士攻读人工智能博士学位。她认为，欧盟严监管不是一个新问题，欧洲向来在数据隐私方面较严。“这次只是针对AI出了相应的隐私条款，但隐私条款本身严格这件事情不这么新，是欧洲市场一直存在的固有挑战。”

至于《AI法案》对市场的影响，姜昱辰认为会有一些，但对私有化部署的影响较小，对大模型公司影响可能更大，“尤其大模型公司提供闭源的API有较大风险，但给企业做私有化部署或做保障的软件，这个市场反倒更大。”当隐私监管较强时，隐私保障较好的产品及公司会获益。

高风险系统划分引关注

《AI法案》对企业的影响细化在“风险分级”监管中。

具体看，《AI法案》采取“风险分级”监管模式，将AI系统分为四个风险级别，分别为被禁止的、高风险、有限风险和最低风险，每个级别都有相应合规要求。法案规定，不可接受风险的AI系统被彻底禁止投入市场，高风险AI系统只有在符合某些强制性要求的情况下才能投放欧盟市场、投入服务或使用，有限风险AI系统的规制较少。

一些法律界人士认为，AI企业进入欧盟市场最应关注的是高风险AI系统的划定和要求。

美国奥睿律师事务所巴黎办公室合伙人Julia Apostle告诉记者，根据《AI法案》规定，高风险AI系统开发者有最重的合规负担，包括需要证明符合法律的要求。任何在欧洲开发或投放AI系统的公司都应该审查其AI系统是否为高风险。从AI实际应用看，开发可能影响个人权利、安全和自主权的AI系统公司，受该法案影响较大。

“高风险AI系统涉及关键领域，如教育和职业培训、就业、重要的私人和公共服务（如医疗保健、银行业）等，这些领域受到严格监管和合规要求。而医疗健康、人力资源、公共安全和交通运输等行业使用的AI系统大多属于高风险类别。”王捷表示。

据欧盟推动制定《AI法案》之初的预计，高风险AI系统占AI系统的比例约5%~15%。王捷判断，不直接影响人身安全、健康或基本权利的应用场景相对影响较小，如聊天机器人、个性化内容推荐等，一般不会被认为是高风险系统。Julia Apostle认为，多数AI系统不会受该法案太大影响，而对高敏感领域，如医疗保健、职业场景，将会有进一步的立法关注。

但陈吉栋判断，高风险AI系统涉及广泛，现在欧盟把大多数AI系统都纳入高风险系统中。例如自动驾驶汽车、人脸识别都可能涉及高风险。

值得注意的是，《AI法案》明确了AI系统相关的多类主体，包括AI系统提供者、部署者、授权代表、进口商和产品制造商。据上海段和段律师事务所律师团队近期发布的一篇文章，AI系统提供者的义务要求最繁多，大约涉及29条条例，这些义务涉及系统设计、开发、测试、部署、监控等多环节，明显多于部署者、授权代表、进口商涉及的条例。

王捷表示，AI系统提供者负责开发人工智能系统或通用人工智能模型并将其投放市场，这意味着需要投入更多资源来确保合规性。AI系统提供者需承担最多义务、也承担较高合规成本。

此外，《AI法案》也对通用人工智能系统施以颇大关注。该法案称，具有至少10亿个参数并使用大规模自我监督用大量数据训练的模型应被视为具有显著通用性。而当通用人工智能模型用于训练的累积计算量大于10的25次方每秒浮点运算次数FLOPs时，将被认为具有高影响能力，进而可能被认定为具有“系统性风险”，需满足一些额外要求。

大模型合规成本或超出17%

对人工智能相关企业而言，要满足这样一部全面且复杂的法案的要求，随之而来的可能是合规成本上升。

海外智库Center for Data Innovation在2021年欧盟推动《AI法案》制定之初便预计，该法案将使未来五年内欧盟经济损失310亿欧元。一家部署高风险AI系统的欧洲中小企业将承担高达40万欧元的合规成本。《AI法案》将导致所有人工智能支出额外17%的开销。

CEPS（欧洲政策研究中心）同年澄清，超300亿欧元损失的估计被夸大，支出17% 额外开销仅适用于未满足任何监管要求的公司。在CEPS的研究中，要建立一个全新的质量管理体系（QMS）的成本可能在19.3万欧元至33万欧元之间，每年的维护费用估计为7.14万欧元，一旦QMS建立起来，成本会降低，且QMS只是针对高风险AI系统提供者的要求。

以上关于合规成本的讨论发生在两三年前，当时大模型还未成为主流，如今情况可能发生了改变。

Julia Apostle认为，提出的17%这个数字，是基于非常低的AI系统基础成本的估计，未反映训练一个基础模型的成本。“合规成本还无法完全估算，因为还不知道全部细节。高风险AI系统和通用人工智能模型的提供者的成本将是最大的。法律依赖于对技术标准的采纳，由公司实施这些标准，实施过程须经过认证。而这些标准内容尚未正式确定，但肯定涉及政策、程序和具体产品要求的采纳。”Julia Apostle表示，由于该法案对AI的监管不止于欧盟，企业因该法案而离开欧盟似乎不太可能。

王捷认为，对该法案，国内大模型厂商若要在短期内快速且低成本实现合规可能有难度，特别是对于数据复杂的大模型。大模型厂商的挑战可能是适应欧盟对于数据管理、模型透明度和可解释性的高标准要求。

吴沈括认为，对于风险的分类、分级，特别是关于AI研发的披露度问题，是比较大的合规挑战，这与人工智能算法一定的黑箱属性具有较强烈和明显的冲突。赵新华则认为，《AI法案》涉及一些更高的合规标准和要求，企业进入欧盟市场前要考虑能不能接受合规成本，以及可能面临的不合规责任。

“如果说欧盟完全不在乎对经济的限制，也不准确。”赵新华表示，从《AI法案》规定范围、内容看，欧盟也在试图消除规定对创新的影响，如对一些较少风险AI系统的管理相对宽松。例如支持创新的措施中专门设了人工智能监管沙盒，供企业测试创新性产品、服务、商业模式和交付机制，避免企业因从事相关活动而立即招致监管后果，这是针对技术创新的柔性监管制度，给了小企业较多发展空间。该法案有较大灵活性，风险管控循序渐进、逐步匹配，预计对经济造成负面的冲击较小。

具体条例看，业界和法律界仍在关注哪些具体要求可能增加合规成本。

《AI法案》对高风险AI系统的要求非常细致，涉及风险管理系统、数据和数据治理、技术文件、记录保存、透明度和向部署商提供信息、人为监督、准确性、稳健性及网络安全。具体要求包括但不限于建立、实施、记录和维护与高风险AI系统相关的风险管理系统；拟定技术文件并向国家主管部门和认证机构提供必要的信息；训练、验证和测试数据集的数据准备处理工作包括各种注释、清理、更新等，并采取措施发现、预防和减轻可能发生的某些偏差。

《AI法案》对通用人工智能模型提供商的要求则包括拟定并随时更新技术文件、向拟集成该模型的AI系统提供商更新信息和文档、制定遵守欧盟版权法的政策、起草并公开一份关于通用人工智能培训内容的足够详细的摘要。被认定为具有“系统性风险”的通用人工智能模型需额外履行一些义务。

一名国内互联网大厂研发负责人向记者表示，对高风险AI系统的要求中，较可能导致成本增加的是对数据进行处理、预防某些偏差，因为涉及专门做数据处理并微调模型来避免模型输出不合法内容。国内大模型在这方面肯定做过工作，但各地标准不同，要符合新标准需重新做工作。

赵新华则表示，高风险AI系统提供者是指AI系统由某个企业提供并投入欧盟市场，法案专章列出提供者的义务，包括编制相应技术文件、证明符合法案要求，并对符合欧盟的相关规定做符合性声明，还要增加CE合格证认证。高风险AI系统投放市场前需完成合格性评估程序。

“这些规定非常具体，对提供者、部署者、进口商和分销主体设定不同的义务。”赵新华表示，如果大模型公司在欧盟市场提供服务，除了需要请律师在合规层面及法律方面做评估和建议外，还涉及通过第三方进行合格性评估程序等，有些企业加CE标志也需找第三方认证机构。此外，《AI法案》还要求将AI系统算法的主要技术数据做摘要，这可能涉及公司内部商业、技术团队，及外部第三方主体。

成本之外，人工智能企业是否愿意为了进入欧盟市场而满足《AI法案》的要求也是问题。

《AI法案》对通用人工智能模型在预训练和训练中使用数据的透明度提出要求，模型提供商应起草并公开用于训练通用人工智能模型内容的足够详细的摘要。在适当考虑保护商业秘密和机密商业信息必要性的同时，摘要内容应总体全面。

”现在公开的大模型技术文件对预训练数据方面大多一笔带过，但其实这部分内容应该最多。”一名国内头部大模型研发人员告诉记者，大模型效果如何，80%跟训练数据有关。之所以不公开训练数据的细节，是因为训练数据在一定程度上是企业核心机密。同时，很多大模型的训练数据来自网上各种渠道，如果不披露可能不会有人发现数据来源，一旦披露则可能暴露版权问题。

以上技术人员告诉记者，需向外提交的技术文档如果有详细的要求，大模型公司也不一定愿意提供，这并非成本的问题，而是因为公司可能希望对技术保密。

《AI法案》还将分阶段实施，目前也有不少模糊或需厘清的问题。陈吉栋告诉记者，要划定高风险系统还是比较难，企业面对高风险AI系统需承担的诸多义务时，会倾向于不把自身划定在高风险范围内。欧盟或相关方还需要提供一套后台配套基础设施来支撑法律顺利运行。

吴沈括认为，从可能的缺点来看，该法案对于产业研发和应用的逻辑是否有足够强的匹配性，还需要进一步的观察。

“模糊和争议点主要集中在定义和具体合规要求上，如高风险AI系统精确界限、基础模型和应用模型的区分等。如何有效评估和监控AI系统透明度和公平性也存在不确定性。”王捷认为。

“我认为国内有些大企业已经做好了合规的准备，但大部分还没做系统准备，维持观望态度。是否做好合规准备，更多取决于战略认知。企业要从本质上认识到人类已进入人工智能高风险时代，对其风险进行管控已成为共识。”陈吉栋表示。