Eureka！NVIDIA 研究突破为机器人学习注入新动力

AI 智能体利用 LLM 自动生成奖励算法，训练机器人完成复杂任务。

NVIDIA Research 开发的一款名为 Eureka 的新型 AI 智能体可以教机器人复杂的技能，它教会了机器人手快速转笔，并且第一次转得像人类一样好。

上面视频中所展示的令人惊叹的“魔术”是机器人通过 Eureka 学会熟练完成的近 30 项任务之一，Eureka 可以自动编写奖励算法来训练机器人。

Eureka 还教会了机器人完成打开抽屉和柜子、抛接球、操作剪刀等任务。

于 10 月 20 日发布的这一 Eureka 研究包含一篇论文和该项目的 AI 算法，开发者可以使用 NVIDIA Isaac Gym（一款用于强化学习研究的物理模拟参考应用）进行实验。Isaac Gym 基于 NVIDIA Omniverse 而构建，后者是一个用于基于 OpenUSD 框架构建 3D 工具和应用的开发平台。Eureka 自身是由 GPT-4 大型语言模型驱动的。

NVIDIA AI 研究高级总监、Eureka 论文作者之一的 Anima Anandkumar 表示：“在过去十年，强化学习取得了空前成功，但依然面临许多挑战，比如奖励设计需要不断试错才能完成。Eureka 是朝着开发将生成式和强化学习方法结合以解决这些艰巨的任务的新算法迈出的第一步。”

点击视频，观看 Eureka 用 LLM 训练机器人灵巧操作

据该论文介绍，Eureka 生成的奖励程序（可让机器人进行试错学习）在超过 80% 的任务上优于人类专家编写的程序，这使得机器人的平均性能提高了 50% 以上。

该 AI 智能体使用 GPT-4 LLM 和生成式 AI 编写软件代码，为机器人进行强化学习提供奖励。它不需要任何特定任务提示或预定义的奖励模板，并且能够随时结合人类的反馈改进其奖励，使结果更加精准地符合开发者的愿望。

利用 Isaac Gym 中的 GPU 加速模拟，Eureka 能够快速评估大批奖励候选者的质量，从而提高训练效率。

Eureka 随后会基于训练结果汇总关键统计数据，并指导 LLM 改进其奖励函数的生成。通过这种方式，AI 可以自我完善。Eureka 教会了各类机器人，包括四足机器人、双足机器人、四旋翼机器人、灵巧手、协作机器人臂等，来完成不同类型的任务。

该研究论文对 20 个 Eureka 训练任务进行了深入评估，这些任务基于开源的灵巧性基准，要求机器人手展示一系列复杂的双手任务。

这些来自九个 Isaac Gym 环境的测试结果通过使用 NVIDIA  Omniverse 生成的可视化进行了展示。

该项目的贡献者之一、NVIDIA 高级研究科学家 Linxi “Jim” Fan 表示：“Eureka 是一个独特的组合，将大型语言模型与 NVIDIA GPU 加速的模拟技术相结合，可以实现灵巧的机器人控制，并且为艺术家提供了一种制作物理逼真动画的新方法。”

除了 NVIDIA Research 最近取得的进展（比如使用 GPT-4 构建的能够自主玩 《我的世界》的 AI 智能体 Voyager）之外，这项突破性的研究成果也必将让开发者们脑洞大开。

NVIDIA Research 由全球数百名科学家和工程师组成，团队专注于 AI、计算机图形学、计算机视觉、自动驾驶汽车、机器人学等领域的研究。

了解 Eureka 与 NVIDIA Research 的更多信息，请查看：