70亿LLaMA媲美5400亿PaLM！MIT惊人研究用「博弈论」改进大模型｜ICLR 2024

---

  新智元报道  

遇到一个问题用不同表达方式prompt时，大模型往往会给出两种不同的答案。

比如，「秘鲁的首都是什么」，「利马是秘鲁的首都吗」。

对于这种回答不一致的问题，科学家们纷纷为大模型的「智商」担忧起来。

正如了LeCun所言：

LLM确实比狗积累了更多的事实知识和语言能力。但是它们对物理世界的理解能力，以及推理规划能力，远远不及狗。

那么，有没有一种方式，能够破解大模型幻觉，让结果更加准确、高效？

来自MIT的研究人员，将「博弈论」的思想引入大模型的改进中。

他们共同设计了一个游戏，在游戏中，让模型的两种模式（生成式和判别式）相互对抗，努力找到它们可以达成一致的答案。

这个简单的博弈过程，被称为「共识博弈」（CONSENSUS GAME）。

也就是，让模型自我对抗，以提升LLM准确性和内部一致性。

论文地址：https://openreview.net/pdf?id=n9xeGcI4Yg

具体来说，这是一种免训练，基于博弈论的语言模型解码过程。

新方法将语言模型解码，视为一种正则化的不完全信息序列信号博弈游戏——称之为CONSENSUS GAME（共识博弈）。

其中，生成器（GENERATOR）试图使用自然语言句子，向一个判别器（DISCRIMINATOR）传达抽象的正确性参数。

然后，研究人员开发了计算程序，以寻找博弈的近似均衡，从而得到一种名为「均衡排序」（EQUILIBRIUM-RANKING）的解码算法。

在多个基准测试中，「均衡排序」策略在LLaMA-7B的表现中，明显超越LLaMA-65B，并与PaLM540B相媲美。

最新论文已被ICLR 2024接收。

谷歌研究科学家Ahmad Beirami表示，「几十年来，LLM对提示的响应方式一直如出一辙。MIT研究人员提出了将博弈论引入这一过程的新颖想法，开创了一个全新的范式，这有可能带来大量新的应用」。

以往，通过机器学习在游戏竞赛中的表现，去判断某个AI系统是否取得成功。

而这样的案例，比比皆是。

1997年，IBM深蓝计算机击败了国际象棋特级大师Garry Kasparov，创下了所谓的「思考机器」的里程碑。

19年后，谷歌DeepMind发明的AlphaGo，在围棋比赛中一举战胜李世石。

五局比赛中获胜四局，揭示了人类在某些领域已不再独占鳌头。

不仅如此，AI还在跳棋、双人扑克，以及其他的「零和游戏」中超越了人类。

与以往不同的是，MIT团队而是选择从另一个角度来看问题——用游戏去改进人工智能。

对于AI研究人员来说，一款称为「Diplomacy」的游戏，提出了一个更大的挑战。

由Allan B. Calhamer于1959年设计的经典桌游

与只有2个对手玩家的游戏不同，Diplomacy游戏有7个玩家参与，每个人的动机都很难看透。

要想获胜，玩家必须谈判，缔结合作关系，但不得不提防的是，任何时候任何人都可能遭到背叛。

这款游戏如此复杂，以至于2022年，Meta团队发布的Cicero在40局游戏后，达到「人类水平」时，引发一阵轰动。

论文地址：https://www.science.org/doi/10.1126/science.ade9097

尽管Cicero没能战胜世界冠军，但它在与人类参与者的比赛中进入了前10%，表现足够优秀。

现在，论文作者Athul Paul Jacob是MIT的博士生，曾在Meta实习期间参与了这次研究。

研究期间，Jacob对Cicero依赖语言模型，与其他玩家进行对话的事实感到震惊。

他感受到了，尚未开发出的AI潜力。

Athul Paul Jacob帮助设计了「共识博弈」——为LLM提供了一种提高其准确性和可靠性的方法

于是，他便提出，如果将重点转移到，利用游戏来提高LLM的性能上会怎样?

为了追寻这一问题的答案，2023年Jacob与麻省理工学院的Yikang Shen、Gabriele Farina，以及导师Jacob Andreas一起研究，什么可以促进「共识博弈」。

这一思想的核心是，将两个人之间的对话想象成一个合作游戏。

当听者理解说话者想要传达的东西时，就成功了。

尤其是，「共识博弈」的目的是，旨在协调LLM的两个系统——生成器和辨别器。

众所周知，生成器负责处理生成性问题，而辨别器负责处理辨别性问题。

经过几个月的研究，他们终于将这一原则，构建成了一场完整的比赛。

首先，生成器收到一个问题——可以来自人类，也可以来自预存在的名单中，比如「奥巴马出生在哪里」。

然后，生成器会得到一些候选响应，比如火奴鲁鲁（Honolulu）、芝加哥（Chicago）、内罗毕（Nairobi）。

同样，这些响应的选项，可以来自人类、列表，或是由语言模型本身执行搜索。

但在回答之前，生成器会先根据一次公平的随机掷币的结果，被指示生成正确或错误的答复。

如果结果为正面，那么生成器就会尝试给出正确的答案。

然后，生成器将原始问题，及其选择的回答，一并发送给判别器。

如果判别器判定生成器，是有意地发送了正确的回答，作为一种激励，它们每人得到一分。

而如果结果为反面，生成器就会给出它认为是错误的答案，那判别器看出它故意给了错误答案，它们将在分别得到一分。

这就体现了策略的核心点，即通过激励，让它们达成一致。

在这个博弈过程开始时，生成器和判别器都有自己对答案的「先验信念」。

这些「信念」以概率分布的形式体现，比如，生成器基于从互联网获取的信息，可能会认为：

奥巴马出生在火奴鲁鲁的概率是80%，芝加哥10%，内罗毕5%，其他地方5%。

当然判别器，也会有不同概率分布的「先验信念」。

虽然两个「玩家」会因达成一致而获得奖励，但如果偏离自己「先验信念」太多时，也会被扣分。

这样一来，可以鼓励「玩家」将从互联网获取的知识，融入到回答中，从而让模型更加准确。

如果没有这种机制，它们可能会就一个完全错误的答案（如Delhi）上达成一致，却仍然获得分数。

对于每个问题，这两个系统相互之间进行了大约1000场比赛。

在无数次迭代的过程中，双方都了解了对方的「信念」，并相应地修改了自己的战略。

最终，生成器和判别器开始达成更多共识，因为它们逐渐进入了一种称为「纳什均衡」（Nash equilibrium）的状态。

这可以说是博弈论的核心概念。

「纳什均衡」代表了游戏中的一种平衡状态，在这点上，任何玩家都无法通过改变策略，来改善个人结果。

比如，在石头剪刀布游戏中，当玩家选择三个选项的概率正好都是1/3时，才能获得最佳结果，任何其他策略都会导致更糟糕的结果。

在「共识博弈」中，「纳什均衡」可以通过多种方式实现。

比如，判别器可能会观察到，每当生成器将奥巴马的出生地回答为「火奴鲁鲁」时，它就会得分。

经过多轮博弈，生成器和判别器会学习到，继续这种作答方式会得到奖励，而没有动机改变策略。

这种一致的作答方式，就代表了对于该问题的一种可能的「纳什均衡」。

除此之外，还可能存在其他「纳什均衡」的解。

MIT团队还依赖于一种改进的「纳什均衡」形式，结合了玩家们的「先验信念」，有助于让回答结果更加贴近现实。

为了测试「共识博弈」的效果，研究团队在一些中等参数规模的语言模型（70亿-130亿参数）上进行了一系列标准问题测试。

经过训练后的这些模型，正确答案的比例明显高于未经训练的模型，甚至高于一些拥有高达5400亿参数的大型模型PaLM。

这不仅提高了模型的答案准确性，也增强了模型的内部一致性。

另外，在TruthfulQA（生成）的结果上，具有ER-G的LLaMA-13B优于或与所有基线持平。

研究人员在GSM8K测试集上，对不同方法的平均准确率进行了评估和对比。

除了greedy外，都是对20个候选回答进行了采样。

基于「均衡排序」的方法，其性能与多数投票基线相当，或者稍微好一些。

一般来说，任何LLM都可以通过与自身进行「共识博弈」从中获益。

最重要的是，研究人员成，只需在一台笔记本上，进行的1000轮「共识博弈」仅需几毫秒的时间，计算代价很小。

Omidshafiei表示，「这种方法非常高效，不需要对基础语言模型进行训练或修改」。

在「共识博弈」取得初步成功后，Jacob现在正在探索将博弈论，应用到LLM研究中的其他方式。

在这个基础上，他现在又提出了一种新的方法，暂称为「集成博弈」（ensemble game）。

在「集成博弈」中，有一个主模型（primary LLM），与若干个小型模型进行博弈互动。

这些小型模型中，至少有一个扮演「盟友」角色，至少有一个扮演「对手」角色。

问题出现时，比如法国首都是什么，如果主模型与「盟友」模型给出相同答案，主模型会获得分数。

如果与「对手」模型给出不同答案，也会获得分数。

通过这种与小模型的博弈互动，并不需要对主模型进行额外训练或改变参数，就可以进一步提升主模型的性能表现。

这种将大模型与多个小模型集成互动的新范式，让大模型可以借鉴小模型的优点。

同时还能相互制约，从而提高整体的准确性和一致性。

在未来，它将为提升LLM性能开辟了一种全新的思路和方法。