OpenAI 运营着一些大型的 AI 训练超级计算机，使我们能够在推进 AI 前沿技术的同时提供在功能和安全性方面都领先业界的模型。我们的使命是确保先进的 AI 能够惠及每个人，而这项工作的基础是为我们的研究提供动力的基础设施。

为了安全地完成这一使命，我们会优先考虑这些系统的安全性。在本文中，我们概述了为大规模模型提供安全训练支持的架构和基础设施，包括在 AI 创新环境中保护敏感模型权重的措施。虽然这些安全特性会随着时间的推移而发生变化，但我们认为，将我们当前对研究基础设施安全性的看法分享出来是有价值的。我们希望这一见解能够帮助其他 AI 研究实验室和安全专家们保护他们自己的系统。

考虑到研究实验所需的工作负载的多样性和快速变化的性质，研究基础设施在安全性方面面临一些独特的挑战。

研究基础设施包含了几类重要资产，这些资产必须得到很好的保护。其中，未发布的模型权重是最重要的，因为它们代表了核心知识产权，需要防止未经授权的发布或泄露。

为此，OpenAI 为大模型的开发和安全性构建了一系列研究环境。研究基础设施必须能够保护模型权重、算法秘钥和其他用于开发大模型的敏感资产，保护它们免受未经授权的泄露。与此同时，研究人员必须有足够的资源和底层计算基础设施来提升生产力和效率。

我们的研究基础设施位于 Azure 上，并使用 Kubernetes 进行编排。我们用它们来实现一个安全的架构，在保证与我们的威胁模型合规的同时为研究提供支持。

我们的身份验证使用了 Azure Entra ID（以前的 Azure Active Directory）。Azure Entra ID 集成了内部身份验证和授权框架。Azure Entra ID 支持基于风险的会话创建验证、身份验证令牌以及异常登录检测。这些功能在识别和阻止潜在威胁方面可以作为我们内部检测工具的补充。

我们使用 Kubernetes 来编排和管理基础设施中的工作负载。对于研究工作负载，我们遵循最小特权原则，由 Kubernetes 基于角色的访问控制（RBAC）策略提供保护。Admission Controller 策略为工作负载设置了安全基准，通过控制容器权限和网络访问来降低风险。

我们依靠现代 VPN 技术为我们的研究环境提供安全的网络。网络策略定义了工作负载如何与外部服务通信。我们采用默认拒绝出站策略，并显式地将授权的外部通信路径列入白名单中。我们大规模使用专用链路网络路由，消除到互联网的必要路由，并保持白名单尽可能短。

对于一些高风险的任务，我们使用了 gVisor，这是一个提供额外隔离的容器运行时。这种纵深防御措施确保了健壮的安全性和工作负载的高效管理。

凭据、秘钥和服务帐户之类的敏感数据需要得到额外的保护。我们使用密钥管理服务来存储和管理研究基础设施中的敏感信息，并使用基于角色的访问控制来限制对秘钥的访问，只有授权的工作负载和用户才能检索或修改它们。

IAM 对于如何管理研究人员和开发人员对上述系统的访问来说至关重要。任何 IAM 解决方案的安全目标都是在资源上实现有时限的“最小特权”访问策略、高效管理以及可审计性。

为此，我们构建了一个叫作 AccessManager 的服务，作为一种可扩展的机制来管理内部授权并实现最小特权授权。这个服务将访问管理决策与由策略定义的审批者联合起来，确保授予对敏感资源（包括模型权重）的访问权限的决策是由具有适当监督的授权人员做出的。

AccessManager 策略可以根据资源需求进行严格或灵活的定制。请求并获得对敏感资源（如包含模型权重的研究环境中的存储）的访问权限需要多方批准。对于敏感资源，AccessManager 授权会在指定的时间段后过期，如果不续订，权限将降低到无特权状态。通过实施这些控制，我们降低了未经授权的内部访问和员工帐户泄露的风险。

我们将 GPT4 集成到 AccessManager 中，以此来简化最低权限角色分配。用户可以在 AccessManager 中搜索资源，它将使用我们的模型来建议可以授予对资源访问权限的角色。将用户与具体的角色联系起来，可以避免对其他通用和过度授权的角色的依赖。人工干预环节降低了模型在请求初始角色以及在多方审批中建议错误角色的风险。

我们的基础设施团队使用持续集成和持续交付（CI/CD）管道来构建和测试我们的研究基础设施。我们在保护基础设施 CI/CD 管道方面投入了很多，使它们对潜在威胁更具弹性，同时保持我们的开发和部署流程的完整性以及为我们的研究人员和工程师提供交付速度上的支持。

我们对创建、访问和触发与基础设施相关的管道的能力进行了限制，防止访问 CI/CD 服务可用的秘钥。对 CI/CD Worker 的访问也同样受到限制。将代码合并到部署分支需要多方审批，这增加了一个额外的监督和安全层。我们采用了基础设施即代码（IaC）范式，可以一致、可重复和安全地大规模配置基础设施。预期的配置由 CI 在对基础设施做出更改时执行，通常每天会执行多次。

与此同时，研究工作需要推动前沿发展。这可能需要我们对基础架构进行快速迭代，以支持不断变化的功能需求和约束。这种灵活性对于实现安全性和功能需求都至关重要，在某些情况下需要通过适当的补偿控制来实现这些目标。

保护模型权重，避免从研究环境的泄露出去，这需要使用一种包含多层安全性的深度防御方法。这些定制的控制措施是为了保护我们的研究资产免受未经授权的访问和盗窃，同时确保它们仍然可供研究和开发目的使用。这些措施可能包括：

授权：访问包含敏感模型权重的研究环境的存储帐户的授权需要多方审批。访问：用于存储研究模型权重的资源通过专有链路接入 OpenAI 的环境中，减少对互联网的暴露，并且需要通过 Azure 进行身份验证和授权才能访问。出站控制：OpenAI 的研究环境使用网络控制，只允许出站流量流向特定的预先定义的互联网目标。流向不在白名单中的主机的网络流量将被拒绝。检测：OpenAI 维持着一系列检测控制来支持这个架构。

OpenAI 使用内部和外部红队（在安全领域中模拟攻击方或敌手的团队）来模拟对手，并测试我们对研究环境的安全控制。我们已经让一家领先的第三方安全咨询公司对我们的研究环境进行了渗透测试，并且我们的内部红队对我们的优先级事项进行了深入评估。

我们正在为我们的研究环境探索合规性制度。由于保护模型权重是一个专有的安全性问题，因此建立一个合规性框架来应对这一挑战将涉及到一些定制。目前，我们正在评估现有的安全标准，以及专门保护 AI 技术的自定义控制措施，可能包括针对 AI 的安全和监管标准，以应对保护 AI 系统的独特挑战，例如云安全联盟的 AI 安全倡议或美国国家标准与技术研究院 SP 800-218 AI 更新。

保护日益发展的 AI 系统需要持续的创新和调整。正如我们在“为高级 AI 重新构想安全基础设施”一文中所概述的那样，我们处于开发新安全控制措施的最前沿。我们在研发方面的承诺确保我们能够跑赢新出现的威胁，并继续加强我们 AI 基础设施的安全性。

声明：本文由 InfoQ 翻译，未经许可禁止转载。

原文链接：

https://openai.com/index/securing-research-infrastructure-for-advanced-ai/