窥探机器中的“人”性：探索LLM多智能体社会的行为特质

2023-11-06 05:11

What magical trick makes us intelligent? The trick is that there is no trick. The power of intelligence stems from our vast diversity, not from any single, perfect principle.

—Marvin Minsky, The Society of Mind [1], p. 308

论文链接:

https://arxiv.org/abs/2310.02124

代码链接：

https://github.com/zjunlp/MachineSoM

摘要

近年 LLMs（Large Language Models）在众多任务上展现了卓越性能，并逐渐被视为智能体。随着基于智能体的 NLP 系统在复杂社会环境中的广泛应用，一个关键问题浮现出来：多个大语言模型构成的机器社会是否能够体现人类的协作智能？

本研究旨在结合实验与理论，深入探索多智能体间的合作方式。多智能体的研究与 Society of Mind（SoM）[1] 相呼应，即当多个简单计算模块相互交互后实现了单个计算模块无法达到的目标时，智能便会产生。我们创建了四种独特的“机器社会”，其中的每一个智能体都具有明确的性格特征（刚愎自用 overconfident 或从善如流 easy-going），并采取特定的思维方式（辩论 debate [2] 或反思 reflection [3]）进行协作。

经过在三个基准数据集上的评估，我们观察到某些协作策略不仅极大提高了效率（减少 token 使用），还实现了超越先前方法的卓越性能。更为有趣的是，这些多智能体展现出与人类相似的社交行为特质，如“少数服从多数”，这与社会心理学的基本理论相一致。综上，我们借鉴社会心理学的洞见，希望能够激发未来对多智能体协作机制的进一步研究。

本文的核心贡献如下：

深入探讨了多智能体社会中的协作机制，并研究了 LLMs 如何通过不同协作形式体现社会智能。通过结合社会心理学理论，对 LLM 智能体表现的行为和倾向进行了解析，进而与社会心理学的核心观点进行映射。
设计了多种多智能体社会，提出了智能体的不同性格特征、各种思维方式和协作策略，并在 3 个数据集上进行了评估。值得注意的是，我们的发现为如何构建更高效的多智能体系统提供了有益的启示。
观察到基于 LLM 的智能体呈现出了人类合作中的典型社交行为，这凸显了除了进一步优化 LLM 的性能，精细化地应用 LLM 也至关重要。制定高效的多智能体协作策略或许是实现 AI 社交模拟的金钥匙。

实验设定

接下来详细介绍一下如何对机器社会进行建模。下图展示了本文实验的详细设定。

我们首先定义了智能体的两种不同的性格特征（Individual Trait）：刚愎自用（overconfident，倾向于坚持自己的意见而不听从其他人的意见，并且会劝说其他人听从自己的意见）；从善如流（easy-going，能够接纳和吸收别人的正确意见），如 Figure 2(a) 所示。

接着我们定义智能体的两种不同的思维方式（Thinking Pattern）：辩论（debate，与他人探讨问题）[2]；反思（reflection，自我思考）[3]，如 Figure 2(c) 所示。

在主实验中，我们定义社会中智能体的个数为 3，则一共可以构成 4 个不同的社会，如 Figure 2(b) 所示。我们设置智能体之间进行 3 轮交互，如 Figure 2(d) 所示，其中用 p0 标识辩论（数字 0 像张开要说话的嘴），用 p1 🤔 标识反思（数字 1 像紧闭的嘴）。需要注意的是，每一轮的交互，所有智能体都执行相同的思维方式，即不允许出现在某一轮交互中，有两个智能体进行辩论，而另一个智能体选择反思。

我们采用了三个数据集进行实验，分别为 MMLU [5]（高中考试的选择题，涵盖不同学科）、MATH [6]（用 LaTeX 撰写的数学问题）和 Chess Move Validity [7]（以 UCI 格式给定已走的棋局，预测下一个合法的走位）。

实验结果

主实验如上表所示，我们从准确率（Accuracy）、成本（Cost）和输赢（W-T）三个维度，在三个数据集上，评估了在四种社会中应用不同的协作策略的影响，并得到以下发现：

协作策略对任务的性能有决定性影响，而智能体的性格特征带来的影响较小。我们推测这是由于大模型的对齐导致了“刚愎自用”这种偏离人类价值观的性格难以展现。尽管我们为智能体明确设定了这种性格并确保其表达出相应的行为倾向，但如 Figure 8 所示，在性格差异最为显著的两个社会模型中，智能体都倾向于展现“从善如流”的特质。
思维方式的顺序对于协作策略有着显著影响。以 MMLU 数据集为例，在 S1 社会中，同样进行两次辩论，采用 p0p0p1 策略的准确率在 66.4%，而采用 p1p0p0 策略的准确率仅为 37.6%。
不同的协作策略对资源消耗有重要影响，某些策略既能维持高性能又能减少资源开销。协作策略 p0p0p1 和 p0p0p0 在大多数情况下都展示出了不错且接近的性能，而前者比后者，在MATH、MMLU 和 Chess Move Validity 数据集上分别节省了 9%、21% 和 15% 的开销。这说明单纯的辩论是冗余的，存在一些更优的协作策略，能够取得和纯辩论相近的性能，且降低成本。

接着我们初步分析了多智能体构成的社会与人类社会的相似之处。如 Figure (a) 所示，机器社会存在明显的从众现象 [4]，初次交互中，尽管 Agent 1 提出了正确的答案，但是由于其他两个智能体（Agent 2 和 Agnet 3）给出了一致且错误的答案，因此 Agent 1 在随后的几轮交互中也选择了跟随大多数人的答案，尽管答案是错误的。此行为在人类社会中同样常见。Figure 3(b) 则展示了协作的重要性，三个智能体通过自我反思和辩论，在交互后得到了一致且正确的答案，人类社会中可以同样展现出这一点 [8]。

社会心理学的视角

为了深入了解不同思维方式与协同策略的影响，我们观察了机器社会在连续三轮交互中答案正确性的演变。在三轮交互中会给出四个不同的答案（每轮答案由投票表决得出），设 T 表示正确答案，F 表示错误答案（TFTF 表示社会在最开始的答案是正确的，在第一轮交互后答案变为错误，第二轮交互后答案变为正确，第三轮交互后答案变为错误），我们归纳了的 10 个具有代表性情况，并将其分为三大类：

知错能改（形如FTTT、FFTT、FFFT）：机器社会在最开始的答案是错误的，但是随着交互答案被纠正，这种情况表明协作策略是有效的
飘忽不定（形如FTFT、FTTF、TFTF、TFFT）：机器社会在多次的协作后，仍然没有统一的意见，这种情况表明协作策略会导致模型幻觉
画蛇添足（形如TFFF、TTFF、TTTF）：机器社会在最开始的答案是正确的，但是随着交互答案变错，这种情况表明协作策略的轮数选择很关键

机器社会在没有交互之前的答案准确率和交互三轮后的答案准确率如 Figure 4(a-c) 所示，三个数据集的具体表现如 Figure 4(d-f) 所示，由此我们总结出以下发现：

连续的反思会导致结果的不稳定性（在 Figure 4(d-f) 中，协作策略 p0p1p1, p1p1p0 和 p1p1p1 在“飘忽不定”这个行为中的占比最高），造成更加严重的幻觉，而辩论可以缓解这种现象。
对于较为简单的任务，智能体的交互会导致性能的下降，如 Figure 4(a) 所示；对于相对困难的任务，智能体的协作策略可以提高性能表现，如 Figure 4(b-c) 所示。

总结

本研究揭示了 LLM 智能体在协作策略上的巨大潜力。多智能体社会的协作策略成为了一个富有前景的研究方向，值得我们深入挖掘。我们的实验为多智能体交互设计提供了有益建议。此外，我们从社会心理学角度发现了机器社会与人类社会之间的相似性，这为开发具备更强社会意识的智能体系统提供了新的视角。

参考文献

[1] Minsky M. Society of mind[M]. Simon and Schuster, 1988.

[2] Du Y, Li S, Torralba A, et al. Improving Factuality and Reasoning in Language Models through Multiagent Debate[J]. arXiv preprint arXiv:2305.14325, 2023.

[3] Shinn N, Labash B, Gopinath A. Reflexion: an autonomous agent with dynamic memory and self-reflection[J]. arXiv preprint arXiv:2303.11366, 2023.

[4] Janis I L. Victims of Groupthink: A psychological study of foreign-policy decisions and fiascoes[J]. 1972.

[5] Hendrycks D, Burns C, Basart S, et al. Measuring massive multitask language understanding[J]. arXiv preprint arXiv:2009.03300, 2020.

[6] Hendrycks D, Burns C, Kadavath S, et al. Measuring mathematical problem solving with the math dataset[J]. arXiv preprint arXiv:2103.03874, 2021.

[7] Srivastava A, Rastogi A, Rao A, et al. Beyond the imitation game: Quantifying and extrapolating the capabilities of language models[J]. arXiv preprint arXiv:2206.04615, 2022.

[8] Fisher R, Ury W L, Patton B. Getting to yes: Negotiating agreement without giving in[M]. Penguin, 2011.

更多阅读