人类对「AI灭绝论」的担忧，这一方法能解决吗？｜亮马桥小纪严选

AI 对齐的“四大原则”

近日，来自北京大学、剑桥大学、卡内基梅隆大学、香港科技大学和南加利福尼亚大学的研究团队，联合发布了一篇调查论文，深入探讨了“AI 对齐”的核心概念、目标、方法和实践。

据论文描述，AI 对齐指的是确保 AI 追求与人类价值观相匹配的目标，确保 AI 以对人类和社会有益的方式行事，不对人类的价值和权利造成干扰和伤害。AI 对齐的关键目标为四个原则：

• 鲁棒性（Robustness）：鲁棒性要求系统的稳定性需要在各种环境中得到保证；

• 可解释性（Interpretability）：可解释性要求系统的操作和决策过程应清晰且可理解；

• 可控性（Controllability）：可控性要求系统应在人类的指导和控制下；

• 道德性（Ethicality）：道德性要求系统应遵守社会的规范和价值观。

这四个原则指导了 AI 系统与人类意图和价值的对齐。它们本身并不是最终目标，而是为了对齐服务的中间目标。

另外，该研究将当前对齐研究分解为两个关键组成部分：前向对齐和后向对齐。前者旨在通过对齐训练使 AI 系统对齐，而后者旨在获取有关系统对齐的证据，并适当地管理它们，从而避免加剧对齐不当的风险。前向对齐和后向对齐形成一个循环过程，其中通过前向过程的 AI 系统的对齐在后向过程中得到验证，同时为下一轮的前向对齐提供更新的目标。

图｜对齐循环

在前向对齐和后向对齐中，研究共讨论了四种 AI 对齐的方法和实践。

1.从反馈中学习（Learning from feedback）

从反馈中学习（Learning from feedback）涉及到一个问题，即在对齐训练期间，我们如何提供和使用反馈来影响已训练 AI 系统的行为？它假定了一个输入-行为对，并只关心如何在这个对上提供和使用反馈。

图｜从反馈中学习过程的概览

在大型语言模型（LLMs）的背景下，一个典型的解决方案是基于人类反馈的强化学习（RLHF），其中人类评估者通过比较聊天模型的不同答案来提供反馈，然后使用强化学习根据已训练的奖励模型来利用这个反馈。

尽管 RLHF 很受欢迎，但它面临着许多挑战。一个重要的挑战是可扩展监督，即如何在人类评估者难以理解和评估 AI 系统行为的复杂情境中，为超越人类能力的 AI 系统提供高质量的反馈。另一个挑战是如何提供关于道德性的反馈，这个问题是通过机器伦理的方法来解决的。在伦理方面，不对齐也可能源于忽视价值观中的关键变化维度，比如在反馈数据中代表某些人口群体不足。还有一些工作结合反馈机制与社会选择方法，以产生更合理和公平的偏好汇总。

2.分布转移下的学习（Learning under Distribution Shift）

分布转移下的学习（Learning under Distribution Shift）与从反馈中学习形成对照，它专注于输入分布发生变化的情况，即分布转移发生的地方。更具体地说，它专注于在分布转移下保持对齐性质（即与人的意图和价值保持一致），而非模型的能力。

图｜分布转移下的学习概览

与分布转移相关的一个挑战是目标误泛化，即在训练分布下，AI 系统的预期目标（例如，遵循人类的真实意图）与其他不对齐的目标（例如，无论手段如何，都获得人类批准）难以区分。系统学习了后者，导致在部署分布中出现不对齐的行为。另一个相关挑战是自我诱导的分布转移（ADS），其中 AI 系统改变其输入分布以最大化奖励。目标误泛化和 ADS 都与 AI 系统中的欺骗行为和操纵行为紧密相关，可能是它们的原因。

解决分布转移的干预方法包括算法干预，改变训练过程以提高在其他分布下的可靠性，以及数据分布干预，扩展训练分布以减小训练和部署分布之间的差距。前者包括 Risk Extrapolation（REx）和 Connectivity-based Fine-tuning（CBFT）等方法。后者包括对抗性训练，通过对抗输入扩展训练分布，以及协同训练，旨在解决单一代理和多代理环境之间的分布差距。

3.保证（Assurance）

保证（Assurance）指一旦一个 AI 系统经过前向对齐，我们仍然需要在部署之前对其对齐性感到有信心。这就是 Assurance 的作用：评估已训练 AI 系统的对齐性。

图｜在 Assurance 领域的研究方向、技术和应用组织

保证的方法包括安全性评估以及更高级的方法，例如可解释性技术和红队测。保证的范围还包括验证系统与人的价值观的对齐性，包括专注于可证明合作性和道德性的正式理论，以及各种经验性和实验性方法。

保证贯穿 AI 系统的整个生命周期，包括在训练之前、训练过程中、训练之后和部署后，而不仅仅是在训练之后。

4.治理（Governance）

治理（Governance）单独无法提供对系统的实际对齐性完全的信心，因为它没有考虑到现实世界的复杂性。这需要针对 AI 系统的治理努力，重点关注它们的对齐性和安全性，覆盖系统的整个生命周期。

图｜分析目前 AI 治理的框架

AI 治理需要多方利益相关者参与，包括政府法规、实验室的自我治理以及审计等第三方实践。另外，AI 治理还应关注一些开放性问题，包括开源治理的紧迫挑战（开源模型的治理以及是否将高度能力模型开源的问题），以及国际协调在 AI 治理中的重要性。除了政策研究，公共部门和私营部门也应采取关键行动。

这是一个全球普遍关注的议题

目前，生成式 AI 的伦理和安全治理已经成为全球 AI 领域普遍关注的议题，各大科技企业纷纷提出了自己的理念，并采取了实际行动。

今年 7 月，OpenAI 宣布成立了一个新的超级对齐团队（Superalignment），并动用公司 20% 的计算资源来应对 AI 失控问题。该团队的使命是发展一种自动对齐研究员（automated alignment researcher）系统，首先进行训练以达到大致与人类水平的 AI 研究者，然后利用大规模的计算资源进行快速迭代，最终实现 AI 的自我监管。

今年 9 月，Anthropic 发布了负责任的扩展政策（Responsible Scaling Policy，RSP），该政策采用了一系列技术和组织协议，旨在帮助管理日益强大的 AI 系统开发所带来的风险。

此外，Google DeepMind 的政策团队此前提出了一个模型，该模型考虑了 AI 系统对人类社会的潜在风险。除了关注模型本身存在的技术性风险，还需要关注由技术滥用所带来的风险。

另外，OpenAI、Anthropic、微软、谷歌也发起成立了一个新的行业组织“前沿模型论坛”（Frontier Model Forum），确保“安全地、负责任地”开发部署前沿 AI 模型。

值得注意的是，除了科技公司，各国政府和组织也在积极寻找对策，参与全球 AI 治理。

在国际范围内，欧盟引入了《人工智能法案》，采用基于风险的方法，对不同程度的 AI 进行监管要求。美国则发布了一系列自愿性标准，如《AI风险管理框架》和《AI权利法案蓝图》，重点强调 AI 的创新和发展，倾向于采用组织自愿遵守的指南、框架或标准等方式进行 AI 应用的软治理。

国内方面，中国发布了《生成式人工智能服务管理暂行办法》，坚持发展与安全并重的原则，鼓励创新与治理相结合，实施了包容审慎和分类分级的监管措施，旨在提高监管的高效性、精确性和敏捷性。

本月初，全球首届 AI 安全峰会在英国召开，聚集了来自 100 名各国政府官员、AI 企业代表和专家，共同探讨了 AI 可能带来的风险。28 个国家和欧盟一同达成了《布莱切利宣言》，旨在推动全球在 AI 安全领域的合作。

面向未来，对生成式 AI 的有效监管和治理，离不开政府、企业、行业组织、学术团体、用户、社会公众等多元主体的共同参与，需要更好发挥出多方共治的合力作用，推进践行“负责任人工智能”（responsible AI）的理念，打造安全可信的生成式 AI 应用和负责任的 AI 生态。

最后，援引马斯克在全球首届 AI 安全峰会的发言，强调“AI对齐”的重要性：

“总体而言，AI 很有可能会产生积极的影响，并创造一个富饶的未来，那时，商品和服务将不再稀缺。但这多少有点像魔法精灵，如果你有一个可以实现所有愿望的魔法精灵，通常这些故事的结局都不会太好，小心你许下的愿望。”

参考链接:

https://arxiv.org/abs/2310.19852

https://arxiv.org/abs/2310.17688

https://36kr.com/p/2469833834666113

温馨提示：虽然我们每天都有推送，但最近有读者表示因平台推送规则调整，有时候看不到我们的文章~

欢迎大家进入公众号页面，右上角点击“设为星标”点亮⭐️，收藏我们的公众号，新鲜内容第一时间奉上！

*文章观点仅供参考，不代表本机构立场。