机器人,才是AI世界模型的星辰大海
★ 除非我们有了世界模型,让机器可以教会自己理解世界运作的方式,否则我们在机器人技术方面不会取得重大的进展。当前机器人行业人士都在押宝并盼望AI能在这个方向上实现突破。
什么是世界模型
★ 我们每个人头脑中关于世界的图景只是一个模型,没有人能在头脑中描绘整个世界、政府或国家的图景,他所拥有的只是有选择的有限概念,以及概念之间的关系,并用他们来代表真实的世界。
世界模型是针对于一个智能体而言的,这个智能体可能是一个人,一个动物,一个AI Agent,或者是一个人形机器人(Humanoid)。
AI世界模型,需要通过感知模块从外界环境获取输入信号,并且高度抽象为一个智能体内部的表示
基于此,世界模型会规划下一步的行动,或是一系列的行动,并预测行动带来的结果,以决策下一采取的行动
再下一步就是采取行动并观察实际的行动结果,形成闭环。
Sora称得上是世界模型吗?
基于LLM的Agent,具备有限的世界模型
首先,它是存在于数字世界当中的一段智能化的程序,需要接收人的指令并和外部的数字世界进行交互(或许可以通过IoT连接到物理世界)。
大语言模型会依据一定的常识,对于一项指定的任务进行step-by-step的任务拆解规划。
任务拆解之后的具体的行动或者子任务的执行,是在一个有限的工具空间(tool space)中进行的,对应工具的就是一个一个实现具体功能的API。当然,在这个过程中,大模型也可以根据具体的需求通过coded interpreter,自动生成代码打造所需的工具。
而Agent对于外部世界的观测(Observation)也仅仅局限于,对于人的指令的接收以及调用工具之后返回结果信息的收集。
能够用于人形机器人的世界模型应该是怎么样的?
再看Meta的V-JEPA
Sora Technical Report. OpenAI A Path Towards Autonomous Machine Intelligence, Yann LeCun World Models, David Ha, Jurgen Schmidhuber V-JEPA: The next step toward Yann LeCun’s vision of advanced machine intelligence (AMI), Meta官网 Yann Lecun: Meta AI, Open Source, Limits of LLMs, AGI & the Future of AI, Lex Fridman Podcast
微信扫码关注该文公众号作者
戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章