Redian新闻
>
Meta推出MoDem世界模型:解决视觉领域三大挑战,LeCun转发

Meta推出MoDem世界模型:解决视觉领域三大挑战,LeCun转发



  新智元报道  

编辑:Joey
【新智元导读】MetaAI这次发布的MoDem解决了视觉强化学习领域的三个挑战,无需解码器,效率最高提升250%,一起看看它有多牛。


12月27日,MetaAI 负责视觉和强化学习领域的A



截止27日晚间,这篇推文的阅读量已经达到73.9k。



他表示,仅给出5个演示,MoDem就能在100K交互步骤中解决具有稀疏奖励和高维动作空间的具有挑战性的视觉运动控制任务,大大优于现有的最先进方法。


有多优秀呢?


他们发现MoDem在完成稀疏奖励任务方面的成功率比低数据机制中的先前方法高出150%-250%



Lecun也转发了这一研究,表示MoDem的模型架构类似于JEPA,可在表征空间做出预测且无需解码器。



链接小编就放在下面啦,有兴趣的小伙伴可以看看~


论文链接:https://arxiv.org/abs/2212.05698

Github链接:https://github.com/facebookresearch/modem


研究创新和模型架构


样本效率低下是实际应用部署深度强化学习 (RL) 算法的主要挑战,尤其是视觉运动控制。


基于模型的RL有可能通过同时学习世界模型并使用合成部署来进行规划和政策改进,从而实现高样本效率。


然而在实践中,基于模型的RL的样本高效学习受到探索挑战的瓶颈,这次研究恰恰解决了这些主要挑战。


首先,MoDem分别通过使用世界模型、模仿+RL和自监督视觉预训练,解决了视觉强化学习/控制领域的三个主要挑战:


  • 大样本复杂性(Large sample complexity)

  • 高维状态和动作空间探索(Exploration in high-dimensional state and action space)

  • 同步视觉表征和行为学习(Simultaneous learning of visual representations and behaviors)



这次的模型架构类似于Yann LeCun的JEPA,并且无需解码器。


作者Aravind Rajeswaran表示,相比Dreamer需要像素级预测的解码器,架构繁重,无解码器架构可支持直接插入使用SSL预训练的视觉表示。



此外基于IL+RL,他们提出了一个三阶段算法:


  • BC预训练策略

  • 使用包含演示和探索的种子数据集预训练世界模型,此阶段对于整体稳定性和效率很重要

  • 通过在线互动微调世界模型



结果显示,生成的算法在21个硬视觉运动控制任务中取得了SOTA结果(State-Of-The-Art result),包括Adroit灵巧操作、MetaWorld和DeepMind控制套件。


从数据上来看,MoDem在各项任务中的表现远远优于其他模型,结果比之前的SOTA方法提升了150%到250%。


红色线条为MoDem在各项任务中的表现


在此过程中,他们还阐明了MoDem中不同阶段的重要性、数据增强对视觉MBRL的重要性以及预训练视觉表示的实用性。


最后,使用冻结的 R3M 功能远远优于直接的 E2E 方法。这很令人兴奋,表明视频中的视觉预训练可以支持世界模型。


但8月数据强劲的E2E与冻结的R3M竞争,我们可以通过预训练做得更好。



参考资料:
https://nicklashansen.github.io/modemrl/
https://twitter.com/aravindr93/status/1607483342580244480




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
老鸟也难逃一劫,Leetcode刷题家今年是真的惨!ChatGPT与搜索引擎合体,谷歌都不香了,LeCun转发|在线可玩[歪解] When life gives you lemons, make lemonade稀疏模型最新进展!马毅+LeCun强强联手:「白盒」非监督式学习|ICLR 2023ICML 2023禁止使用大型语言模型写论文!LeCun转发:中小型模型可以用吗?2023开年16天上岸谷歌,Leetcode刷题小抄背完,面试真的不一样…ChatGPT之后何去何从?LeCun新作:全面综述下一代「增强语言模型」婆婆住院了,大家帮忙看看得了什么病Meta版ChatGPT来了?小扎、LeCun官宣650亿参数SOTA大语言模型LLaMAPyTorch统治学术论文!TensorFlow只占4%,LeCun:还能为啥?ChatGPT爆火,LeCun心态崩了!称大语言模型是邪路,Meta模型3天惨遭下线李显龙感叹:国家虽小,却面临多项巨大挑战,太脆弱了ChatGPT封杀潮,禁入学校,AI顶会特意改规则,LeCun:要不咱把小模型也禁了?ChemElectroChem:基于配体调控构建高效电致化学发光锆基MOF材料库存高企,lululemon为啥还是在中国断货?ICML征稿禁止使用大型语言模型,LeCun转发:中小型模型可以用吗?世界动荡,大型科学合作项目遭遇巨大挑战装修厨房最麻烦最耗时间Logitech Z506 Surround Sound Home Theater Speaker System为啥ChatGPT让LeCun酸成柠檬精?谷歌、Meta、OpenAI聊天机器人大PK!无需新型token mixer就能SOTA:MetaFormer视觉基线模型开源,刷新ImageNet记录必应发狂了! LeCun马库斯齐喷ChatGPT:大语言模型果然是邪路?PyTorch统治学术论文,TensorFlow只占4%,LeCun:还能为啥?重磅!谷歌发布《深度学习调优手册》!Hinton转发点赞!2022出圈的ML研究:爆火的Stable Diffusion、通才智能体Gato,LeCun转推2022傅雷翻译出版奖获奖者揭晓 Le palmarès du Prix Fu Lei 2022 dévoilé史上最全Transformer合集!LeCun力推:给60个模型建目录,哪篇论文你错过了?一个女子师范学生投入抗战的经历FastTrack Universität 2023莱比锡大学公立语言项目招生简章癌症的一些切身体会(七)妈妈得了癌症谷歌推出深度学习调优手册,不到一天狂揽1200星,Hinton转发|GitHub上大学是一件很不容易的事情Can China’s Farmers Cut Out the Middlemen?Yann LeCun:ChatGPT缺乏创新,没什么革命性;网友:早点离开Meta做出点突破吧Recommend somebody to do something是错误说法吗?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。