科技伦理审查：AI研发应用的新关卡

一、背景

2023年10月，科技部、教育部等十部委共同发布《科技伦理审查办法（试行）》。这让“科技伦理”不再只是一个光鲜亮丽的名词，而是成为一套需要在AI研发机构内部落地生根的制度。

对于AI研发机构来说，科技伦理审查制度虽然是一项相对陌生的制度，但需要投入更多的资源以确保AI的安全，因为AI的科技伦理审查制度已经与算法备案等制度共同成为AI研发环节中的必答题，难以跳过。

二、谁需要关注

重点是科技活动。在AI领域，《科技伦理审查办法（试行）》的适用对象是从事涉及个人信息数据的科学研究、技术开发活动的单位或个人。但这并不意味着所有受《科技伦理审查办法（试行）》规制的单位和个人都需要建立科技伦理（审查）委员会。毕竟在AI研发领域，个人无论如何作为一个委员会。

《科技伦理审查办法（试行）》仅要求从事生命科学、医学、AI等科技活动的单位，研究内容涉及科技伦理敏感领域的，设立科技伦理（审查）委员会。

我们可以更进一步来探讨《科技伦理审查办法（试行）》的适用，对企业来说，并非涉及AI就需要开展科技伦理审查，比如企业如果只是将现成的AI用于日常办公或客服，那么将不构成从事科技活动，因此无须开展科技伦理评估。

但如果企业从事AI的研发，比如《互联网信息服务深度合成管理规定》中的技术支持者，就可能需要就AI的研发进行科技伦理审查。此外，如果研发机构使用AI技术对个人信息数据、生物样本、实验动物数据等数据进行统计、分析（比如把实验数据导入AI寻求规律），或AI技术可能在生命健康、生态环境、公共秩序、可持续发展等方面带来伦理风险挑战，那么也可能需要就该科技活动开展科技伦理审查。

三、AI伦理的治理框架

传统上，伦理审查更常见于涉及人的医疗健康领域，但随着大量新兴技术的科研活动正在对伦理形成颠覆性的挑战，科技伦理也在传统健康领域的基础上，将审查范围扩展到AI、脑机接口等领域。因此，我国也颁布了一系列关于科技伦理与人工智能伦理的法规与文件：

在《科技伦理审查办法（试行）》中，适用范围包括多项可能与AI相关的科学研究、技术开发等科技活动，主要包括：1）涉及个人信息数据科技活动，以及；2）可能在生命健康、生态环境、公共秩序、可持续发展等方面带来伦理风险挑战的科技活动。

在《科技伦理审查办法（试行）》中，未履行科技伦理相关义务的处罚力度尚不明确。但根据《科学技术法》，如果相关研发机构或个人违背科研诚信和科技伦理的科学技术研究开发和应用活动，可能面对的处罚包括：

目前科技部关于科技伦理的行政处罚还较为罕见，但考虑到《科学技术部行政处罚实施办法》在2023年4月20日方才施行，科技部可能会在未来强化科技伦理的检查与执法工作。而在此基础上所产生的舆情风险，更加值得AI研发机构警惕。

此外，《科技伦理审查办法（试行）》拟采取清单管理的模式，要求研发机构针对清单内的科技活动完成本单位的初步审查后，报请所在地方或相关行业主管部门组织开展专家复核，相当于增加了额外的审批流程。当前被纳入清单的AI相关科技有：

1. 具有舆论社会动员能力和社会意识引导能力的算法模型、应用程序及系统的研发。

2. 面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发。

根据我国AI与算法监管的相关法规，具有舆论属性或者社会动员能力的算法本身就需要在上线后完成算法备案，因此需要做好两项制度的衔接。

四、科技伦理（审查）委员会

科技企业设立专门的AI伦理委员会已经成为常态，Facebook、Google、索尼、微软、SAP等科技巨头均设立有自己的伦理委员会。在国内、阿里巴巴、商汤、海康威视等企业也设立了科技伦理委员会，以确保AI技术的合规发展与使用。

根据此次《科技伦理审查办法（试行）》，研发机构内部的科技伦理（审查）委员会将成为研发机构内部AI治理核心机构。该委员会并非只是研发机构内部的自治组织，而是需要于设立后30日内在国家科技伦理管理信息登记平台进行登记，登记的内容包括：委员会的组织、章程、工作制度等。而清单内科技活动的审批也应当进行登记。如果审查结果涉及清单管理的项目，那么也需要进行登记。此外，科技伦理实行登记制，即单位需要在每年第一季度提交上一年度的科技伦理（审查）委员会工作报告、纳入清单管理的科技活动实施情况报告等。

该机构将负责：

1. 制定完善科技伦理（审查）委员会的管理制度和工作规范；

2. 提供科技伦理咨询，指导科技人员对科技活动开展科技伦理风险评估；

3. 开展科技伦理审查，按要求跟踪监督相关科技活动全过程；

4. 对拟开展的科技活动是否属于高风险科技活动清单范围作出判断；

5. 组织开展对委员的科技伦理审查业务培训和科技人员的科技伦理知识培训；

6. 受理并协助调查相关科技活动中涉及科技伦理问题的投诉举报；

7. 按管理部门要求进行登记、报告，配合地方、相关行业主管部门开展涉及科技伦理审查的相关工作。

因为研发机构的科研活动是持续进行的，因此科技伦理（审查）委员会需要作为一个常设机构，对研发机构内部的科研活动提供持续支持，如果无法作为常设机构，也应当有能力提供及时的响应。对此研发机构应当提供场地、经费的支持。

在人员组成方面，科技伦理（审查）委员会人数应不少于7人，设主任委员1人，副主任委员若干。委员任期为5年，可以连任。委员会成员应由不同背景的委员组成，可以从专业、性别、年龄等维度实现组成人员的多元化，在民族地区还应当考虑民族因素。

因为科技伦理（审查）委员会具备一定的门槛，因此未设立该委员会的单位或无单位人员可以书面委托其他单位的委员会开展审查工作，以满足法规要求。但委托其他单位进行AI伦理审查，意味着商业秘密泄露的风险更高，审查结果也会有更多的不可预见性。

五、审查程序

科技伦理的审查分为审查与复核双重程序。审查程序具体分为一般程序、简易程序与应急程序三类，而复核程序适用于清单内科技活动的进一步审查。

六、审查内容

对AI研发机构涉及数据和算法的科技活动，重点审查项目将包括：

数据方面的审查，可以主要以《数据安全法》《个人信息保护法》等法律法规为审查的基础。算法方面的审查，可以结合算法备案的所需填写的内容，在科技伦理审查中用户符合科技伦理的论证。

七、影响与合规应对

科研、产品上市周期需要重新规划。因为中国将AI伦理审查作为强制程序，要求研发机构的AI研发活动得到研发机构内部科技伦理（审查）委员会的批准，并且可能需要报请主管部门复核。这意味着产品的科研、投入周期可能会延长，研发机构需在新技术研发伊始就将科技伦理的审查、复核流程纳入规划，避免因为伦理审查延误产品进程。引入伦理审查机制以后，一个新的AI框架或产品是否能够面世将不只是取决于市场、资金、技术等因素，还要考虑伦理因素。可以想象，以后在AI科技产品的发布会上，创始人不只会讲自己的技术如何领先，还会讲我们的科技伦理审查编号是XXX，如何比竞品更符合伦理规范。

AI研发机构的内部治理架构也可能需要针对伦理审查的要求进行调整。鉴于中国的AI伦理审查将成为强制性的要求并且持续跟踪科技项目，AI伦理（审查）委员会在研发机构内部的地位也会相较于海外更高，拥有对具体项目的否定权，并且受上级机关直接监督。因此，任命哪些人员全职或兼职担任委员将会是考验研发机构治理能力的新科目。2014年在Google收购DeepMind时，DeepMind的一个条件就是收购后设立人工智能伦理理事会，以确保人工智能技术不被滥用。我们可以预见，未来围绕着人工智能研发机构开展的交易与投融资中，科技伦理（审查）委员会成员的任命权或提名权会越来越频繁地出现在交易条款中。

跨国企业在其他国家审查结果并不能直接适用。因为各国（地区）的伦理、道德、法规并不一致，其他国家符合伦理的科研活动未必符合我国的要求。对于跨国合作，《科技伦理审查办法（试行）》第12条要求“国际合作科技活动……应通过合作各方所在国家规定的科技伦理审查后方可开展。”因此，如果中国企业在境外研发中心开发AI项目或训练模型，希望在中国投入测试或实用，除了关注进口管制方面的监管要求，也需要通过我国的科技伦理审查。

品牌方将AI嵌入自己的产品可能被认定为技术开发，需要开展科技伦理审查。研发机构在委托开发的过程中，需要在技术开发合同中约定提供方的科技伦理审查义务，如约定AI提供方协助完成AI伦理审查，或由AI提供方的伦理（审查）委员会负责新产品的审查。

通过科技伦理审查可能或成为AI采购的前置条件。品牌方采购AI产品或服务，可能会要求AI的研发方提供已经通过科技伦理审查的材料。

AI科技伦理审查应当与其他机制做好衔接。AI的研发部署，会同时涉及隐私设计、个人信息保护影响评估、算法安全评估、算法备案等多项制度。此外，AI科技活动中个人信息处理的合法合规本身也是伦理审查内容之一，这些审查项目互为表里。因此，研发机构需要合理规划不同审查、评估、备案的时间线要求。

个人信息保护合规审计上海班