Redian新闻
>
瑜伽球上遛「狗」!入选英伟达十大项目之一的Eureka有了新突破

瑜伽球上遛「狗」!入选英伟达十大项目之一的Eureka有了新突破

公众号新闻
机器之心报道
编辑:陈萍


机器狗在瑜伽球上稳稳当当的行走,平衡力那是相当的好:


各种场景都能拿捏,不管是平坦的人行道、还是充满挑战的草坪都能 hold 住:


甚至是研究人员踢了一脚瑜伽球,机器狗也不会歪倒:


给气球放气机器狗也能保持平衡:


上述展示都是 1 倍速,没有经过加速处理。


  • 论文地址:https://eureka-research.github.io/dr-eureka/assets/dreureka-paper.pdf
  • 项目主页:https://github.com/eureka-research/DrEureka
  • 论文标题:DrEureka: Language Model Guided Sim-To-Real Transfer

这项研究由宾夕法尼亚大学、 NVIDIA 、得克萨斯大学奥斯汀分校的研究者联合打造,并且完全开源。他们提出了 DrEureka(域随机化 Eureka),这是一种利用 LLM 实现奖励设计和域随机化参数配置的新型算法,可同时实现模拟到现实的迁移。该研究展示了 DrEureka 算法能够解决新颖的机器人任务,例如四足机器人平衡和在瑜伽球上行走,而无需迭代手动设计。

DrEureka 是基于 Eureka 完成的,后者还被评为 2023 年英伟达十大项目之一。了解 Eureka 更多内容可参考《有了 GPT-4 之后,机器人把转笔、盘核桃都学会了》。

在论文摘要部分,研究者表示将在模拟中学习到的策略迁移到现实世界是一种大规模获取机器人技能的有前途的策略。然而,模拟到现实的方法通常依赖于任务奖励函数以及模拟物理参数的手动设计和调整,这使得该过程缓慢且耗费人力。本文研究了使用大型语言模型 (LLM) 来自动化和加速模拟到现实的设计。

论文作者之一、英伟达高级科学家 Jim Fan 也参与了这项研究。此前英伟达成立 AI 实验室,领队人就是 Jim Fan,专攻具身智能。Jim Fan 表示:

「我们训练了一只机器狗能在瑜伽球上保持平衡并行走,这完全是在模拟中进行的,然后零样本迁移到现实世界,无需微调,直接运行。

对机器狗来说,走瑜伽球任务尤其困难,因为我们无法准确模拟弹力球表面。然而,DrEureka 可以轻松搜索大量模拟真实配置,并让机器狗能够在各种地形上操控球,甚至横着走!

一般来讲,从模拟到现实的迁移是通过域随机化实现的,这是一个繁琐的过程,需要机器人专家盯着每个参数并手动调整。像 GPT-4 这样的前沿 LLM 拥有大量内置的物理直觉,包括摩擦、阻尼、刚度、重力等,借助 GPT-4,DrEureka 可以熟练地调整这些参数并很好地解释其推理。」


论文介绍

DrEureka 流程如下所示,其接受任务和安全指令以及环境源代码,并运行 Eureka 以生成正则化的奖励函数和策略。然后,它在不同的模拟条件下测试该策略以构建奖励感知物理先验,并将其提供给 LLM 以生成一组域随机化 (DR) 参数。最后,使用合成的奖励和 DR 参数训练策略以进行实际部署。
 

Eureka 奖励设计。奖励设计组件基于 Eureka,因为它简单且具有表现力,但本文引入了一些改进,以增强其在模拟到真实环境中的适用性。伪代码如下:


奖励感知物理先验(RAPP,reward aware physics prior)。安全奖励函数可以规范策略行为以固定环境选择,但本身不足以实现模拟到现实的迁移。因此本文引入了一种简单的 RAPP 机制来限制 LLM 的基本范围。


LLM 用于域随机化。给定每个 DR 参数的 RAPP 范围,DrEureka 的最后一步指示 LLM 在 RAPP 范围的限制内生成域随机化配置。具体过程参见图 3:


该研究使用 Unitree Go1 来实验,Go1 是一个小型四足机器人,四条腿有 12 个自由度。在四足运动任务中,本文还系统地评估了 DrEureka 策略在几个现实世界地形上的性能,发现它们仍然具有鲁棒性,并且优于使用人类设计的奖励和 DR 配置训练的策略。


了解更多内容,请参考原论文。





© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
史上首次!AI驾驶战机成功与人类飞行员空中「狗斗」【七绝】 相思单思说 (十一尤)美国的制裁反而帮了中国大忙?四分之一的俄罗斯人做了新存款决定放弃电动汽车后,苹果或将投入这个重大项目《穿越春天的花海》&《当爱在靠近》Nature:人工智能赋能,影像和病理诊断获得新突破Nature子刊:超声新突破:超分辨率超声定位显微镜,捕捉超早期心脏疾病的蛛丝马迹一夜暴富50亿,老黄新晋「流量明星」!英伟达市值破3万亿,超越苹果成全球第二陈行甲遇好夫人走出抑郁症;异地恋女友往男友包里偷塞200块钱和纸包的零食传马斯克 AI 公司将获 60 亿美元融资;谷歌一季度净利润增 57%;「喷火机器狗」开售,1 万美元抱回家 | 极客早知道为子女鞠躬尽瘁,服了!改变始于目之所及 |5Y News Monthly史上最高颜值「瑜伽背心」!聚拢美胸+美背,运动/日常穿都好看!全球半导体TOP 25:英伟达仅第四,中国大陆一家入选吃瓜! 贝佐斯vs.马斯克, 互掐长达十几年..中国又要搞世界级大项目了!个人感慨之110 脸都不要了太丑了「世界最丑狗狗」俄勒冈京巴犬赢得冠军!Nature的编辑们将大规模罢工!或将导致Nature在155年间首次发生缺刊!并且除了Nature,还有超60本期刊将联合罢工快手上线自研文生图大模型“可图”,参数规模达十亿级Nature:mRNA疫苗治疗罕见病获得新突破,早期临床试验展示了极具前途的结果名单公布!入选“双一流”高校,翻番睡眠如何精炼大脑为新的一天做准备?Nature|大脑仅在夜间睡眠的前半段会削弱清醒时形成的新突触全球市值第一的宝座,英伟达能坐多久?「狗屁工作」可以带来的14种快乐英伟达成全球市值第一公司/华为高管称昇腾 AI 算力已超英伟达 A100/马斯克称未来人形机器人普及程度将是汽车10倍依托英伟达,Recursion开发AI药物发现超级计算机,速度比原版本快4倍顶配 iPhone 16 售价或将突破两万元/华为高管称昇腾 AI 算力已超英伟达 A100/realme 回应手机运输被盗一事Nature:mRNA疫苗新突破,癌症疫苗“私人定制”时代宇宙人(1510期)国家大基金三期来了,注册资本3440亿元;常导高速磁浮领域取得新突破;软银计划向AI项目投资近90亿美元;看懂网飞版「三体」!Reka Core登场:挑战GPT-4、Claude 3Nature:靶向CTLA-4免疫疗法终于有了新进展!这次是通过IL-23驱动肠道ILC3。。。全球最大开源项目之一——Kubernetes诞生十周年沙特超级大项目,找到了中国1个芯片顶英伟达3个?这个偏爱印度的创始人爆肝8年,终于等来抢英伟达泼天富贵的一天!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。