谷歌砸了4亿刀的Anthrophic：AI模型训练计算量5年增加1000倍！

---

  新智元报道  

自从发现缩放定律以来，人们认为人工智能的发展会像坐火箭一样迅速。

2019年的时候，多模态、逻辑推理、学习速度、跨任务转移学习和长期记忆还是会有减缓或停止人工智能进展的 「墙」。在此后的几年里，多模态和逻辑推理的「墙」都已经倒下了。

鉴于此，大多数人已经越来越相信，人工智能的快速进展将继续下去，而不是停滞不前或趋于平稳。

现在，人工智能系统在大量任务上的表现已经接近人类水平，而且训练这些系统的成本远远低于哈勃太空望远镜、大型强子对撞机这类「大科学」项目，所以说，AI未来的发展潜力巨大。

不过随之发展所带来的的安全隐患问题也越来越凸显。

对于人工智能的安全问题，Anthropic分析了三种可能性：

乐观情况下，先进的人工智能因安全故障而产生灾难性风险的可能性非常小。已经开发的安全技术，如从人类反馈中强化学习（RLHF）和宪法人工智能（CAI），已经基本上足以应对风险。

主要风险是故意滥用，以及由广泛的自动化和国际权力动态的转变等导致的潜在危害，这将需要人工智能实验室和第三方，如学术界和民间社会机构，进行大量的研究，来帮助政策制定者驾驭高级人工智能带来的一些潜在的结构性风险。

不好也不坏的情况下，灾难性的风险是先进的人工智能发展的一个可能甚至是合理的结果，我们需要大量的科学和工程努力来避免这些风险，例如通过Anthropic所提供的「组合拳」，我们就能规避风险。

Anthropic目前正在各种不同的方向上工作，主要分为三个领域：AI在写作、图像处理或生成、游戏等方面的能力；开发新的算法来训练人工智能系统的对齐能力；评估和理解人工智能系统是否真的对齐、效果如何，以及其应用能力。

机制可解释性，即试图将神经网络逆向工程变成人类可以理解的算法，类似于人们对一个未知的、有可能不安全的计算机程序进行逆向工程。

在许多方面，技术一致性问题与检测人工智能模型的不良行为的问题密不可分。

如果在新情况下，也能稳健地检测出不良行为（例如通过 "阅读模型的思想"），那么我们就能够找到更好的方法来训练模型，不去表现出这些故障模式。

Anthropic相信，通过更好地了解神经网络和学习的详细工作原理，可以开发出更广泛的工具来追求安全。

将语言模型转化为统一的人工智能系统，需要大量的高质量反馈来引导它们的行为。主要是人类可能无法提供必要的准确反馈，来充分训练模型在广泛的环境中去避免有害的行为。

因此，Anthropic认为提供必要的监督的唯一方法，是让人工智能系统部分地监督自己或协助人类监督自己。以某种方式，将少量高质量的人类监督，放大为大量高质量的人工智能监督。

这个想法已经通过RLHF和宪法人工智能等技术显示出了希望，语言模型已经在预训练中学习了很多关于人类价值观的知识，可以期待更大的模型对人类价值观有更准确的认识。

可扩展监督的另一个关键特征，特别是像CAI这样的技术，是允许自动进行红队（又称对抗性训练）。也就是说，他们可以自动向人工智能系统生成有潜在问题的输入，看看它们如何反应，然后自动训练它们以更诚实和无害的方式行事。

除了CAI，还有人类辅助监督、AI-AI辩论、多Agent RL的红队，以及创建模型生成的评估等多种可扩展的监督方法。通过这些方法，模型可以更好地理解人类的价值观，行为也会更符合人类价值观。以此，Anthropic可以训练出更强大的安全系统。

在这个过程中，智能体的策略完全由期望的结果决定，将趋向于选择一些低成本的策略，让它实现这一目标。

更好的学习方式通常是让专家指导你，去了解他们获得成功的过程。在练习回合中，你的成功可能并不重要，重要的是，你可以专注于改进你的方法。

随着你的进步，你可能会与你的教练协商，去寻求新的策略，看看它是否对你更有效。这叫做「过程导向的学习」。在以过程为导向的学习中，最终的结果不是目的，掌握过程才是关键。

机制性的可解释性工作对神经网络所进行的计算进行了反向工程。Anthropic还试图对大型语言模型（LLM）的训练程序有一个更详细的了解。

一个关键的问题是，先进的人工智能可能会发展出有害的突发行为，例如欺骗或战略规划能力，而这些行为在较小和能力较弱的系统中是不存在的。

Anthropic研究的一个关键支柱，是通过建立工具、测量，批判性地评估和理解人工智能系统的能力、限制和潜在的社会影响其潜在的社会影响。

人工智能会在未来十年内，对世界产生前所未有的影响。计算能力的指数级增长和人工智能能力的可预测改进表明，未来的技术要比如今的先进得多。