顺序决策与基础模型如何交叉互惠？谷歌、伯克利等探讨更多可能

2023-05-19 02:05

机器之心报道

编辑：王强

预训练基础模型和顺序决策的研究越来越频繁地出现交叉，那么如何将两个领域的研究交融，让二者都从交叉研究中受益？这篇论文对这一问题进行了深入探讨。

在广泛数据集上基于自监督学习的预训练基础模型，已经展现出将知识迁移到不同下游任务的优秀能力。因此，这些模型也被应用到长期推理、控制、搜索和规划等更复杂的问题，或者被部署在对话、自动驾驶、医疗保健和机器人等应用中。未来它们也会提供接口给外部实体和智能体，例如在对话应用中，语言模型与人进行多轮交流；在机器人领域，感知控制模型在真实环境中执行动作。

这些场景为基础模型提出了新的挑战，包括：1) 如何从外部实体（如人对对话质量的评价）的反馈中学习，2) 如何适应大规模语言或视觉数据集中不常见的模态（如机器人动作），3) 如何在未来进行长期的推理和规划。

这些问题一直是传统意义上顺序决策的核心，涵盖了强化学习、模仿学习、规划、搜索和最优控制等领域。与基础模型使用数十亿图像和文本 token 的广泛数据集进行预训练的范式相反，以往关于顺序决策制定的工作主要集中在任务特定或具有有限先验知识的白板设置上。

尽管缺少或没有先验知识让顺序决策看起来很难，但是对顺序决策的研究已经在多个任务上超越了人类表现，如玩棋盘游戏、雅达利（Atari）电子游戏以及操作机器人完成导航和操作等。

然而，由于这些方法学习从零开始解决任务而没有来自视觉、语言或其它数据集的广泛知识，因此通常在泛化和样本效率方面表现不佳，例如需要 7 块 GPU 运行一天才能解决单个雅达利游戏。直觉上，类似于基础模型所用的广泛数据集也应该对顺序决策制定模型有用。举例而言，互联网上有无数关于如何玩雅达利游戏的文章和视频。同样地，有关对象和场景属性的大量知识对于机器人非常有用，关于人类愿望和情感的知识也可以改善对话模型。

虽然由于应用和关注点不同，基础模型和顺序决策的研究大体上是不相交的，但交汇的研究也越来越多。在基础模型方面，随着大语言模型的出现，目标应用从简单的零样本或少样本任务扩展到现在需要长期推理或多次交互的问题。相反在顺序决策领域，受到大规模视觉和语言模型成功的启发，研究人员开始为学习多模型、多任务和通用交互式智能体准备越来越大的数据集。

两者领域之间的界线变得越来越模糊，一些最近的工作研究了预训练基础模型（例如 CLIP 和 ViT）在视觉环境中 bootstrap 交互式智能体的训练，而其他工作则研究了基础模型作为通过强化学习和人类反馈进行优化的对话智能体。还有一些工作还调整大型语言模型以与外部工具交互，例如搜索引擎、计算器、翻译工具、MuJoCo 模拟器和程序解释器。

最近，谷歌大脑团队、UC 伯克利和 MIT 的研究者撰文表示，基础模型和交互式决策研究相结合会让彼此受益。一方面，将基础模型应用于涉及外部实体的任务中，可以从交互式反馈和长期规划中受益。另一方面，顺序决策可以利用基础模型的世界知识更快地解决任务并进行更好的泛化。