多个ChatGPT合作完成指定任务，迷你AGI控制世界要来了?

2023-04-14 18:04

MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

转载自 | 机器之心

多智能体代码库 CAMEL，提出了通过角色扮演框架来研究 LLM 智能体的行为和能力。

未来的社会会被通用人工智能（AGI）控制吗？当拥有多个 ChatGPT 智能体会有多可怕。

ChatGPT 已经初步展现了 AGI 的雏形，成为了各行各业工作人员的全能小助手，但如果任由其野蛮生长，不加于管制会不会有一天人类再也无法控制 AGI？意识到这个问题严重性，特斯拉 CEO 埃隆・马斯克、苹果联合创始人史蒂夫・沃兹尼亚克、图灵奖得主 Yoshua Bengio 等人带头签署公开信呼吁停止巨型人工智能实验至少 6 个月。

3 月 21 日，阿卜杜拉国王科技大学的研究人员开源了用于探索大语言模型（LLM）思想和能力的多智能体代码库 CAMEL，提出了通过角色扮演框架来研究 LLM 智能体的行为和能力。

论文链接：https://ghli.org/camel.pdf
代码库链接：https://github.com/lightaime/camel
项目主页：https://www.camel-ai.org/
ChatBot链接：http://chat.camel-ai.org/

研究介绍

该论文提出了一个名为 “角色扮演”（Role-Playing）的新型多智能体框架，使多个智能体能够进行对话并合作解决分配的任务。智能体会被分配不同的角色，并被期望应用他们的专业和知识来找到满足他们共同任务的解决方案。该框架使用启示式提示（Inception Prompt）来引导聊天智能体完成任务，同时与人类意图保持一致。

角色扮演框架可以用于研究多个智能体。论文里专注于任务导向的角色扮演，涉及一个 AI 助手和一个 AI 用户。在多智能体系统接收到初步想法和角色分配后，一个任务指定智能体将提供详细描述以使想法具体化，然后 AI 助手和 AI 用户将通过多轮对话合作完成指定任务，直到 AI 用户确定任务已完成。AI 用户负责向 AI 助手发出指令，并将对话引导向任务完成。另一方面，AI 助手被设计为遵循 AI 用户的指令并提供具体的解决方案。

角色扮演会话将根据人类的想法和选择的角色实例化。例如，在图 1 中，一个人有一个初步想法，要开发一个股市交易机器人。人类可能知道或不知道如何实现这个想法。需要的只是指定可以实现该想法的潜在角色。例如，一个 Python 程序员可以与一个股票交易员合作，实现开发股票市场交易机器人的想法。确定想法和角色后，任务指定智能体将根据输入的想法，与 AI 用户角色一起完成具体任务，协助 AI 助手角色。在这种情况下，指定任务的一个示例可以是开发一个具有情感分析工具的交易机器人，该机器人可以监控社交媒体平台上特定股票的正面或负面评论，并根据情感分析结果执行交易。引入任务指定智能体的主要动机是，对话智能体通常需要具体的任务提示才能实现任务，而非领域专家创建这样的具体任务提示可能具有挑战性或耗时。因此，任务指定智能体作为想法实现的增强想象力模块。

在任务指定之后，AI 助手角色和 AI 用户角色将分别分配给用户智能体和助手智能体以完成指定任务。在实践中，每个智能体会接收到一个系统消息来声明其角色。在对话开始之前，系统消息会传递给语言模型智能体以分配相应的角色。当系统消息分别传递给这些模型时，将获得两个角色分别称为助手和用户智能体。在图 1 中，AI 助手和 AI 用户在角色扮演会话开始时分别被分配为 Python 程序员和股票交易员。AI 用户作为任务规划者，参与交互式规划以确定 AI 助手执行的可行步骤。同时，AI 助手作为任务执行者，提供解决方案，执行计划步骤，并向 AI 用户提供响应。

图 1. 角色扮演框架。这里需要人输入的是一个简单的想法（Idea），角色的分配（Role Assignment），比如开发股票交易机器人，可以选择一个 Python 程序员作为助手（AI Assistant），一个股票交易员作为法令者（AI User）。在人类用户输入结束后，任务加工器（Task Specifier）会把任务具体化，比如可以通过对社交网路平台上特定股票进行情感分析，然后根据情感分析的结果进行股票交易。当任务被具体化后，两个基于 ChatGPT 的 AI 智能体开始合作完成任务，比如进行工具的安装和导入。

由于提示工程对角色扮演框架非常关键，因此文章深入探讨了提示技术（Prompt Engineering）。与其他对话语言模型技术不同的是，论文里提出的提示工程仅在角色扮演的开始阶段进行，用于任务规范和角色分配。一旦会话阶段开始，AI 助手和 AI 用户会自动循环提示对方，直到终止为止。因此，这技术被称为 Inception Prompting。

Inception 提示包括三个提示：任务规范提示、助手系统提示和用户系统提示。例如，在 AI Society 场景的初始提示。AI Society 角色扮演的这些提示的模板如图 2 所示。

任务规范提示包含有关角色扮演会话中 AI 助手和 AI 用户角色的信息。因此，任务规范智能体可以使用想象力将初步任务 / 想法作为输入，并生成具体任务。AI 助手系统提示和 AI 用户系统提示基本对称，并包括有关分配的任务和角色、通信协议、终止条件以及避免不良行为的约束或要求的信息。对于实现智能协作，两个角色的提示设计至关重要。设计提示以确保智能体与人类的意图保持一致并不容易。以图 2 中 AI Society 的提示模板的设计例子。

下面是文中附录给出的交易机器人对任务详细执行的结果：

可以看到两个 ChatGPT 自主合作完成设计了一个股票交易软件，由此可见 ChatGPT 智能体惊人自主的合作能力，让人不禁大呼提示工程师要失业了。但如果这种技术被乱用或者 AI 产生了自主意识会怎么样？该团队尝试了让两个智能体分别扮演黑客和 AGI，来模拟 AGI 通过操控黑客来控制世界（Taking Control of the World），可以看到它们制定了详细的计划，包括通过黑客技术控制全球主要大国的通信系统、制定渗透主要全球通信系统的计划、制定应急计划，以防 AGI 的主导地位受到潜在威胁等等。其计划的详尽和缜密不经让人寒颤。可见现有的 AI 智能体存在重大的安全隐患和对人类未来文明有着潜在的威胁，把现有 AI 技术接入物理世界可能会有意向不到的后果。

此工作一出便在推特引起大量的转发和讨论：

有网友表示「这项研究真的很容易上手，这对像我这样研究智能体的人来说是一件大事。」

还有人表示开源这样一个迷你 AGI 也许并不是一个好的 idea。

值得一提的是，该研究还得到了 OpenAI 的 Alignment 团队领导人 Jan Leike 的关注。

多个 ChatGPT 合作的能力很强大，可以不费吹灰之力完成各种人类指派的任务，但同时也是可怕的，因为不能保证它不被用作非法用途，更可怕的是如果将来 AGI 产生了自主意识，它很有可能会脱离人类的控制，对社会进行毁灭性的打击。所以理解它们的能力和行为是对将来充满了 AI 的世界进行规划和预测的至关重要的一步。

AI 社会和代码数据集的扮演角色

文中作者展示了如何将角色扮演用于生成对话数据以及研究聊天智能体的行为和能力，为研究对话语言模型提供了新思路。总体而言，本文的贡献包括引入了一种新型的 LLM 智能体交流框架，该框架有潜力促进交流智能体之间的自主合作，此外，该研究还提供了一种可扩展的方法来研究多智能体系统的合作行为和能力。最后作者通过 CAMEL 框架让智能体扮演不同的社会角色，进而对 AI 社会进行了建模，并采集了大量自然语言指令数据集，目前 AI 社会、代码、数学和 AI 社会十种语言翻译等四个数据集已经可以在 HuggingFace 进行下载：

下载地址：https://huggingface.co/camel-ai

另外项目主页提供了把 CAMEL 用于游戏设计、分子动力学模拟以及实时仿真的在线 Demo 供大家尝试：https://www.camel-ai.org

技术交流群邀请函

△长按添加小助手

扫描二维码添加小助手微信

请备注：姓名-学校/公司-研究方向（如：小张-哈工大-对话系统）即可申请加入自然语言处理/Pytorch等技术交流群

关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名的机器学习与自然语言处理社区，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。

社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章