Open AI 八年前的设想被谷歌突破啦！DeepMind官宣SIMA，动动嘴就能完成复杂游戏任务

2024-04-02 23:04

MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

转载自 | 夕小瑶科技说

作者 | 智商掉了一地

八年前，OpenAI 提出了一个前卫的设想：创建一个能够能在复杂环境中执行任务的 AI，让 AI 智能体能够像人类一样使用计算机。

就在昨天（3月13日），Google 的 DeepMind 团队宣布了他们的最新研究成果，他们的全能 AI 智能体 SIMA（Simulation-to-Anything）已经将这一设想变为现实。这是一个可扩展、可指导的多世界智能体，能够在多样化的 3D 虚拟环境中执行多种任务。

它能够遵循自然语言指令，在各种视频游戏设置中执行各种复杂任务，不需要任何 API 和其他信息输入，只靠观察游戏画面和你的指令即可执行任务，并且还能将某个游戏中习得的技能带到新游戏中应用和继续学习！

众所周知，视频游戏是 AI 系统的重要试验场。DeepMind 团队的这项新研究不仅旨在让 AI 学会玩游戏，更重要的是将抽象语言转化为实际行动，让智能体学会在多种游戏环境中遵循指令。视频游戏作为一个沙盒，提供了一种安全、可访问的测试方法，这可能会解锁更多用于各种环境的实用 AI 智能体。

如果能在这一研究领域中，攻克将抽象的语言命令转化为具体的、可执行的物理动作的难题，这对于推动 AI 技术的边界，尤其是在智能机器人和交互式 AI 系统的开发上，具有深远的意义。

与 OpenAI 在 2016 年推出的 Universe 相比，SIMA 更侧重于研究多智能体系统的行为和动态。它提供了一个灵活且可定制的平台，让研究人员能够深入探索多智能体系统的各个方面。SIMA 的这些能力展示了利用语言驱动的 AI 智能体在多种 3D 虚拟环境中实现复杂交互和任务执行的潜力，为开发更通用、更有帮助的 AI 系统开辟了可能性。

SIMA 技术报告:
https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/sima-generalist-ai-agent-for-3d-virtual-environments/Scaling%20Instructable%20Agents%20Across%20Many%20Simulated%20Worlds.pdf

Deepmind：SIMA

以往的方法通常是为特定任务设计特定的模型，这限制了其在其他任务上的适用性。因此，DeepMind 团队提出了开发通用 AI 智能体的理念，使其能够在不同类型的环境中执行各种任务。

他们设计的 SIMA 能够遵循自然语言指令，在各种视频游戏设置中执行各种复杂任务。SIMA 包括预训练的视觉模型以及一个具备内存的主模型，后者能够输出键盘和鼠标动作。

SIMA 的核心挑战在于如何在多个模拟 3D 环境中实现语言与具身行为之间的连接，即必须克服如何将语言理解和物理行动有效结合的难题，确保两者之间的无缝对接与协同工作。这种连接不仅是构建未来通用具身人工智能的关键，而且与谷歌目前正在研究的具身智能项目 Robotic Transformer2（RT2）的目标紧密相关。

SIMA 的设计灵感源自生物学和心理学。与以往的程序不同，SIMA 并不是针对特定任务进行优化的，而是通过学习和适应来解决各种任务。这种方法使其能够适应不同的环境和任务，并在执行中不断改进和优化自己的表现。

SIMA 在 600 个基本技能上进行了评估，涵盖寻路、物体互动和菜单使用，具有多种特点和功能，在多种情况下都表现出色。其中包括自适应性、通用性、灵活性和高效性。这些特点使得 SIMA 能够在各种不同的 3D 虚拟环境中执行任务，根据语言指令的操纵，从简单的导航到复杂的问题解决，都能够胜任。

SIMA 特点

玩多个游戏：SIMA 不只是在一个游戏里能找到东西、走路或建造物品，它能够跨越多种不同的游戏平台，掌握并应用相应的技能。
理解自然语言：可以用日常交流的语言告诉 SIMA 要做什么，它能够准确理解并执行任务，无需任何复杂的编程语句，就像你告诉朋友给你帮忙一样。
无需特殊接口：SIMA 无需深入了解游戏的内部机制，它通过观察游戏画面和听取语音指令来操作，仿佛是一个真人玩家那样使用键盘和鼠标。
跨游戏学习泛化：SIMA 通过在众多游戏和研究环境中的训练，展现了其卓越的跨游戏学习与泛化能力。SIMA 在很多游戏中学习后，甚至能在一些它没玩过的新游戏里表现得很不错，因为它能从一个游戏学到的技能应用到另一个游戏中。
高级策略规划：这也是它的局限所在，目前 SIMA 主要处理能在大约 10 秒内完成的短时间简单任务，但其未来的目标是能够处理更为复杂的任务，这些任务需要复杂的策略规划和多个子任务的协同完成，比如“搜集资源并建造一个营地”。
语言驱动的性能：SIMA 的表现依赖于语言训练和指令。控制实验显示，在缺乏语言训练或指令的情况下，SIMA 虽能展现出基本行为，但缺乏目的性，这证明了语言对于其功能发挥的关键作用。

DeepMind 团队还讨论了 SIMA 在各种领域的应用前景，包括虚拟现实、游戏开发、智能助手等。他们表示，SIMA 的结果展示了开发新一代通用、语言驱动 AI 智能体的潜力。而它的发布标志着对智能体技术的一次重大进步，为未来智能系统的发展开辟了新的可能性。

游戏智能体这个概念，让小编也想起了 OpenAI 在第一代 GPT 出现在大众视野前开发的一个平台——Universe，接下来，我们就简单回顾一下。

OpenAI：Universe

OpenAI Universe 是 OpenAI 团队早期鲜为人知的作品，是他们在 2016 年开发的一个开放源码平台。该平台得到了包括微软、英伟达在内的多家知名公司的支持与参与，用来训练和评估 AI 智能体在现实世界任务中的性能。

然而，随着 OpenAI 的 GPT 系列模型的问世，其研究重心转向了自然语言处理领域。在成功推出 Universe 平台的首个版本后，OpenAI 似乎减少了在该平台上进一步开发的力度，转而专注于语言模型的研究与开发，以及相关技术的创新。

尽管如此，Universe 在当时对于推动 AI 在复杂任务中的应用和发展仍具有重要意义。这一版的 Universe 能够模拟各种游戏和应用程序，并允许用户训练和测试他们的智能体在这些环境里的表现。

Universe 的设计目标是让 AI 智能体能够像人类一样使用计算机，通过观察屏幕像素并操作虚拟键盘和鼠标来完成任务。使其灵活地应用其过去的经验，并快速掌握陌生而困难的环境，从而实现更广泛的智能和适用性。它通过模拟计算机上运行的各种程序和游戏，为智能体提供了丰富多样的环境。

其中各种各样的仿真环境，包括 Flash 游戏、浏览器任务等，智能体可以通过观察屏幕像素和模拟键盘和鼠标操作与这些环境进行交互。

通过 Universe 平台，研究者可以用人类的表现作为算法性能的基准，并记录人类在这些环境中的表现，以供算法评估之用。使得研究人员可以在各种仿真环境中测试他们的算法，并比较它们的性能。

总结

当然，上述这两个产品都不会局限在游戏和虚拟世界。在游戏中的测试，也是为了更好地在现实世界中迈向通用智能时代。SIMA 通过在各种模拟环境中进行研究，为未来的现实中的“具身”机器人应用提供了有益的经验。

总的来说，OpenAI 先前推出的 Universe 更专注于创建智能体与真实世界交互的环境，更趋于一个评估的平台，而 SIMA 更侧重于研究多智能体系统的行为和动态，是为了探索 AI 智能体的未来应用而诞生。

相信 DeepMind 的 SIMA 智能体也是 AI 领域的一次大进步，通过其通用性和灵活性，能够在多样化的 3D 虚拟环境中遵循语言指令执行各种任务。期待未来的研究能够通过深入探索并克服这些挑战，为 AI 领域带来一场革命，使得机器不仅能理解人类的指令，还能以自然和适应性强的方式在复杂环境中执行任务，从而开启智能技术与人类生活更紧密融合的新篇章，推动智能系统在各个领域的应用，为未来的 AI 领域技术在现实世界中的发展带来新契机~

参考资料

[1]https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/?utm_source=twitter&utm_medium=social&utm_campaign=SIMA/
[2]https://openai.com/research/universe
[3]https://twitter.com/GoogleDeepMind/status/1767918524641554899

技术交流群邀请函

△长按添加小助手

扫描二维码添加小助手微信

请备注：姓名-学校/公司-研究方向（如：小张-哈工大-对话系统）即可申请加入自然语言处理/Pytorch等技术交流群

关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名的机器学习与自然语言处理社区，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。

社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章