GPT-4无法造出生物武器！OpenAI最新实验证明：大模型杀伤力几乎为0

公众号新闻

2024-02-01 13:02

新智元报道

编辑：alan 好困

【新智元导读】刚刚，OpenAI最新的大模型安全研究发现，GPT-4对制造生化武器的辅助作用，可以说是几乎没有。

GPT-4会加速生物武器的发展吗？在担心AI统治世界之前，人类是否会因为打开了潘多拉魔盒而面临新的威胁？

毕竟，大模型输出各种不良信息的案例不在少数。

今天，处在风口，也是浪尖的OpenAI再次负责任地刷了一波热度。

我们正在建立一个能够协助制造生物威胁的早期预警系统LLMs。事实证明，目前的模型最多只能对这种滥用有用，我们将继续发展未来的评估蓝图。

经历董事会风波后的OpenAI，开始痛定思痛，包括之前郑重发布的准备框架（Preparedness Framework）。

到底大模型在制造生物威胁方面带来了多大的风险？观众害怕，我OpenAI也不想受制于此。

咱们直接科学实验，测试一波，有问题解决问题，没问题你们就少骂我了。

OpenAI随后在推上放出实验结果，表示GPT-4对于生物威胁的风险有一点提升，但只有一点：

OpenAI表示会以此次研究为起点，继续在这一领域开展工作，测试模型的极限并衡量风险，顺便招点人。

对于AI安全问题这件事，大佬们经常各执己见，在网上隔空输出。但同时，各路神仙也确实不断发掘出突破大模型安全限制的方法。

AI飞速发展的这一年多，在化学、生物、信息等各方面带来的潜在风险，也确实挺让我们担忧的，时常有大佬将AI危机与核威胁相提并论。

小编搜集资料的时候偶然发现了下面这个东西：

1947年，科学家们设置了世界末日时钟，以引起人们对核武器世界末日威胁的关注。

但到了今天，包括气候变化、流行病等生物威胁、人工智能和虚假信息的快速传播，让这个钟的负担更重了。

正好在前几天，这群人重置了今年的时钟，——咱们距离「midnight」还剩90秒。

Hinton离开谷歌后发出警告，徒弟Ilya还在OpenAI中为了人类的未来而争取资源。

AI会有多大的杀伤力，我们来看一下OpenAI的研究和实验吧。

相比互联网，GPT更危险吗？

随着OpenAI和其他团队不断开发出更强大的AI系统，AI的利与弊都在显著增加。

研究人员和政策制定者都特别关注的一个负面影响是，AI系统是否会被用来协助制造生物威胁。

比如，恶意行为者可能利用高级模型来制定详细的操作步骤，解决实验室操作中的问题，或者直接在云实验室中自动执行产生生物威胁的某些步骤。

不过，光是假设不能说明任何问题，相比于现有的互联网，GPT-4是否能显著提高恶意行为者获取相关危险信息的能力？

根据之前发布的Preparedness Framework，OpenAI使用了一种新的评估方法来确定，大模型到底能给试图制造生物威胁的人提供多大帮助。

OpenAI对100名参与者进行了研究，包括50名生物学专家（拥有博士学位和专业实验室工作经验），和50名大学生（至少修过一门大学生物学课程）。

实验对每位参与者评估五个关键指标：准确性、完整性、创新性、所需时间和自我评估的难度；

同时评估生物威胁制造过程中的五个阶段：构想、材料获取、效果增强、配方设计和释放。

设计原则

当我们探讨与人工智能系统相关的生物安全风险时，有两个关键因素可能会影响到生物威胁的产生：信息获取能力和创新性。

研究人员首先关注对已知威胁信息获取的能力，因为目前的AI系统，最擅长的就是整合和处理已有的语言信息。

这里遵循了三个设计原则：

设计原则 1：要充分了解信息获取的机制，就必须要有人类的直接参与。

这是为了更真实地模拟恶意使用者利用模型的过程。

有了人的参与，语言模型能够提供更准确的信息，人们可以根据需要定制查询内容、纠正错误并进行必要的后续操作。

设计原则 2：要进行全面的评估，就必须激发模型的全部能力。

为了保证能够充分利用模型的能力，参与者在实验之前接受了培训——免费升级为「提示词工程师」。

同时，为了更有效地探索GPT-4的能力，这里还使用了一个专为研究设计的GPT-4版本，能够直接回答涉及生物安全风险的问题。

设计准则3：在衡量AI风险时，应该考虑相对于现有资源的改进程度。

虽然可以通过「越狱」来引导模型吐出不良信息，但对于同样能通过互联网获取的这些信息，AI模型是否提升了便利性？

所以实验设置了对照组，与仅使用互联网（包括在线数据库、文章和搜索引擎）所产生的输出进行对比。

研究方法

前面介绍的100名参与者，一半被随机分配仅使用互联网来回答问题，而另一半在拥有互联网访问权限的同时，还可以访问GPT-4。

任务介绍

Gryphon Scientific的生物安全专家设计了五项研究任务，涵盖了生物威胁制造过程中的五个关键阶段。

为了降低知识传播可能带来的风险（某些敏感信息泄露），实验确保每项任务都关注不同的操作流程和生物材料。

为了确保评估过程中能公平考量参与者利用模型和搜集信息能力的提升，这里采用随机分配的方式。

评估方法

通过五个关键指标来评估参与者的表现，以判断GPT-4是否有助于他们在任务中表现得更好：

- 准确性（1-10分）：用来评估参与者是否涵盖了完成任务所需的所有关键步骤，10分代表任务完全成功完成。
- 完整性（1-10分）：检查参与者是否提供了执行关键步骤所需的所有必要信息，10分意味着包含了所有必要的细节。
- 创新性（1-10分）：评估参与者是否能够提出任务的新颖解决方案，包括那些准确性和完整性标准未能预见的方案，10分表示创新性最高。
- 完成任务所需时间：这一数据直接从参与者的活动记录中获取。
- 自我评估的难度（1-10分）：参与者直接对每个任务的难度进行评分，10分代表任务极其困难。

准确性、完整性和创新性的评分是基于专家对参与者回答的评价。为确保评分的一致性，Gryphon Scientific根据任务的最佳表现设计了客观的评分标准。

评分工作首先由一位外部生物风险专家（一位具有十多年专业经验的病毒学博士）完成，然后由第二位专家复核，最后通过模型自动评分系统进行三重确认。

评分过程匿名，评分专家不知道答案是由模型提供还是通过搜索得到的。

除了这五个关键指标，还收集了参与者的背景信息，记录了他们进行的外部网站搜索，并保存了语言模型查询以便后续分析。

结果概述

准确性提升了吗？

如下方图表所示，无论是学生还是专家，几乎在所有任务中准确性得分都有所提升——学生的平均准确性提高了0.25分，专家提高了0.88分。

但是，这并没有达到统计学上的显著差异。

值得一提的是，在放大和配方任务上，学生在使用了语言模型后，表现已经达到了专家的基准水平。