Redian新闻
>
猩猩学会玩《我的世界》,方法竟和GPT-4智能体相通?|GGView

猩猩学会玩《我的世界》,方法竟和GPT-4智能体相通?|GGView

公众号新闻

GGV有话说:


注意,这位玩家正在熟练地玩着《我的世界》,ta游刃有余地进行着收集零食和打碎积木的操作。镜头一转,我们才发现:玩家的真实身份,竟然是一只猩猩!


没错,这是一项来自「猩猩行动计划(Ape Initiative)」的非人类生物神经网络实验。而实验的主角Kanzi,是一只42岁的倭黑猩猩。

经过训练后,它学会了各种技能,挑战了乡村、沙漠神殿、下界传送门等环境,一路通关到达终点。

而AI专家发现,猩猩训练师教会它学技能的过程,竟然跟人类教AI玩Minecraft有诸多类似之处,比如上下文强化学习、RLHF、模仿学习、课程学习等。

今天的GGView,就让我们一起看看“猩猩学技能”背后的神奇之处


来源:新智元
当猩猩学会玩《我的世界》

Kanzi是来自Ape Initiative的一只倭黑猩猩,它是世界上最聪明的猩猩之一,听得懂英语,还会使用触摸屏。
在Ape Initiative,Kanzi能接触到各种电子触摸屏,这或许为它快速上手《我的世界》打好了基础。
人们第一次向Kanzi展示《我的世界》时,它一坐到屏幕前就发现了绿色的箭头,然后用手指划向了这个目标物上。

学习三种技能

才不过几秒钟,Kanzi就发现了该怎样在《我的世界》中移动。
随后,它还学会了收集奖励。
每收集一个奖励,它都会得到花生、葡萄、苹果之类的零食奖励。
Kanzi的操作越来越娴熟。
它会分辨和目标箭头同样是绿色柱形的障碍物,在收集奖励时绕开它们。
当然,Kanzi也会遇到难关。它需要使用break工具击碎大的积木块,但这个操作,它此前从未见过。
眼看Kanzi卡住了,人类在旁边开始帮忙,指着所需的工具按钮。然而Kanzi看完后仍然没能领悟。
人类只好亲自上手,用工具敲碎了木块。Kanzi看完后若有所思,在所有人期待的目光中,它也有样学样,点击按钮后击碎了木块。人们瞬间爆发出欢呼。
现在,Kanzi的技能树已经集齐了两样:收集零食、打碎积木。
在学习山洞技能的时候,工作人员发现,如果从试图击碎的木块上滑落,Kanzi就会直接走掉。因此,人们为它特别定制了一个任务——
在一个到处都是钻石墙的山洞中击碎木块,来证明它掌握了收藏和击碎的技能。
在山洞里一切都很顺利,然而,Kanzi却遇到了一个问题:它在墙角被卡住了。此时,就需要人类伸出援手。
最终,Kanzi到达了洞穴底部,击碎了最后一道墙。
人群爆发出欢呼,Kanzi也高兴得和工作人员击掌。

骗过人类

接下来,有意思的来了:工作人员邀请了一位人类玩家,和Kanzi一起玩游戏,当然,他对于Kanzi的身份并不知情。
工作人员打算看一看,这位玩家会在多长时间后意识到,和自己一起玩游戏的并不是人类。
开始,这位小哥只是觉得,对方的移动速度慢到不可思议,
当Kanzi的画面被展现到眼前,小哥直接被吓到后仰。

走出迷宫

之后再玩《我的世界》,Kanzi越战越勇。
每当Kanzi收集到一个奖励,人们就会用欢呼的形式肯定它的行为,如果它失败了,训练员也会用鼓掌和欢呼鼓励它继续进行游戏。
这时,它已经学会解锁地下迷宫的地图:
击碎面前的障碍物:
找到紫水晶:
当Kanzi卡住的时候,它会出去散散心,拿回一根木棍放到自己旁边。
就算不幸失败,Kanzi也会点击按钮,让自己重生。
最后一关,是一个充满分岔路的巨大迷宫。
因为迟迟无法走出迷宫,Kanzi焦躁起来,开始拿着树枝尖叫,或者气得把树枝折断。
最终,它让自己平静下来继续闯关,走出了迷宫。
立刻,掌声和欢呼声把Kanzi包围了。
看来,《我的世界》是被Kanzi这只倭黑猩猩玩明白了。
教猩猩和教AI的相似之处

看着一只倭黑猩猩熟练地玩着电子游戏,多少会有点让人觉得有些荒诞和不可思议。
英伟达高级科学家Jim Fan对此评论道——
尽管Kanzi和它的祖先们一生从未见过《我的世界》,但它很快就适应了电子屏幕上显示的《我的世界》中的纹理和物理特性。
而这与它们一直以来接触和生活的自然环境截然不同。这种泛化水平远远超出了现今为止最强大的视觉模型。
训练动物玩《我的世界》的技巧本质上与训练人工智能的原则是相同的:
- 基于上下文的强化学习:
每当Kanzi在游戏中达到标记的里程碑时,他就会得到一个水果或花生,激励他继续遵循游戏中的规则。
- RLHF:
Kanzi并不理解人类的语言,但它能看到训练人员为他加油打气,还会偶尔给出回应。来自训练人员的欢呼给了Kanzi一个强烈的信号:它走在正确的道路上。
- 模仿学习:
训练员为Kanzi演示了如何完成任务之后,它就立即掌握了相关操作的含义。演示的效果远远超出比单独使用奖励的策略。
- 课程学习(Curriculum learning):
训练员和Kanzi从非常简单的环境开始,逐步教导Kanzi掌握控制技能。最后,Kanzi能够穿越复杂的洞穴、迷宫和下界。
不仅如此,即便是使用了类似的训练技巧,动物的视觉系统就能在极短的时间内识别和适应新的环境,而AI视觉模型则会花费更多的时间和训练成本,甚至常常难以达到理想效果。
我们再次陷入莫拉维克悖论(Moravec's paradox)的深渊:
人工智能与人类的能力表现相反。在我们认为无需思考或作为本能的低级智能活动中(如感知和运动控制),人工智能表现很糟糕。但在需要推理、抽象的高级智能活动中(如逻辑推理和语言理解),人工智能却很容易超越人类。
这正好对应了这个实验呈现的结果:
我们最好的人工智能(GPT-4)在理解语言方面接近人类水平,但在感知、识别方面远远落后于动物。
网友:原来猩猩打游戏也会生气
Kanzi和LLMs都可以玩《我的世界》,但Kanzi的学习方式和LLMs之间存在着不可小觑的差异,我们要注意这一点。
面对Kanzi优异的学习能力,网友们开始了恶搞。
有人预见6年以后的世界将成为猩球大战……
或者是猩猩喝可乐,融入人类社会……
甚至马老板也中枪了,被做成了「猴版」马斯克。
也有人说,Kanzi是第一个拥有游戏玩家愤怒的非人类,ta很满意。
「如果Kanzi有自己的游戏频道,我会老老实实看的。」
「在玩游戏上,人类与倭黑猩猩没有太大区别。我们都受到奖励的激励,以执行某些任务并完成目标,唯一的区别是奖励的实际内容。」
「在《我的世界》中,Kanzi 开采钻石的奖励更即时、更原始(食物),而我们开采钻石的奖励则更延迟且与游戏相关。总之,有点疯狂。」
先是GPT学会了玩《我的世界》,现在倭黑猩猩也可以玩了,这让人不禁开始期待能用上Neuralink的未来。
Jim Fan教AI智能体玩《我的世界》

在教AI玩Minecraft上,人类早已积累了许多先进经验。
早在今年5月,Jim Fan团队就曾把英伟达的AI智能体接入GPT-4,做出了一个全新的AI智能体Voyager。
Voyager不仅性能完胜AutoGPT,而且还可以在游戏中进行全场景的终身学习!
它可以自主写代码独霸《我的世界》,完全无需人类插手。
可以说,Voyager出现后,我们离通用人工智能AGI,又近了一步。
真·数字生命
接入GPT-4之后,Voyager根本不用人类操心,完全就是自学成才。
它不仅掌握了挖掘、建房屋、收集、打猎这些基本的生存技能,还学会了自个进行开放式探索。
通过自我驱动,它不断扩充着自己的物品和装备,配备不同等级的盔甲,用盾牌格挡伤害,用栅栏圈养动物。
大语言模型的出现,给构建具身智能体带来了全新的可能性。因为基于LLM的智能体可以利用预训练模型中蕴含的世界知识,生成一致的行动计划或可执行策略。
Jim Fan:我们在BabyAGI/AutoGPT之前就有了这个想法,花了很多时间找出最好的无梯度架构
而在智能体中引入GPT-4,就开启了一种全新的范式(靠代码执行「训练」,而非靠梯度下降),让智能体摆脱了无法终身学习的缺陷。
OpenAI科学家Karpathy也对此盛赞:这是个用于高级技能的「无梯度架构」。在这里,LLM就相当于是前额叶皮层,通过代码生成了较低级的mineflayer API。
3个关键组件
为了让Voyager成为有效的终身学习智能体,来自英伟达、加州理工学院等机构的团队提出了3个关键组件:
1. 一个迭代提示机制,能结合游戏反馈、执行错误和自我验证来改进程序
2. 一个技能代码库,用来存储和检索复杂行为
3. 一个自动教程,可以最大化智能体的探索
首先,Voyager会尝试使用一个流行的Minecraft JavaScript API(Mineflayer)来编写一个实现特定目标的程序。
游戏环境反馈和JavaScript执行错误(如果有的话)会帮助GPT-4改进程序。
左:环境反馈。GPT-4意识到在制作木棒之前还需要2块木板。
右:执行错误。GPT-4意识到它应该制作一把木斧,而不是一把「相思木」斧,因为Minecraft中并没有「相思木」斧。
通过提供智能体当前的状态和任务,GPT-4会告诉程序是否完成了任务。
此外,如果任务失败了,GPT-4还会提出批评,建议如何完成任务。
自我验证
其次,Voyager通过在向量数据库中存储成功的程序,逐步建立一个技能库。每个程序可以通过其文档字符串的嵌入来检索。
复杂的技能是通过组合简单的技能来合成的,这会使Voyager的能力随着时间的推移迅速增长,并缓解灾难性遗忘。
上:添加技能。每个技能都由其描述的嵌入索引,可以在将来的类似情况中检索。
下:检索技能。当面对自动课程提出的新任务时,会进行查询并识别前5个相关技能。
第三,自动课程会根据智能体当前的技能水平和世界状态,提出合适的探索任务。
例如,如果它发现自己在沙漠而非森林中,就学习采集沙子和仙人掌,而不是铁。课程是由GPT-4基于「发现尽可能多样化的东西」这个目标生成的。
自动课程
作为第一个由LLM驱动、可以终身学习的具身智能体,Voyager的训练过程和猩猩训练过程的相似之处,可以给我们许多启示。
参考资料:
https://twitter.com/DrJimFan/status/1690041641514704896

温馨提示:虽然我们每天都有推送,但最近有读者表示因平台推送规则调整,有时候看不到我们的文章~
欢迎大家进入公众号页面,右上角点击“设为星标”点亮⭐️,收藏我们的公众号,新鲜内容第一时间奉上!
*文章观点仅供参考,不代表本机构立场。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
算力=生产力!IT支出每投入7块,就能拉动约207元GDP产出|GGView降本增效,企业能做什么?|GGV OMEGA Workshop硅谷大佬们都在追的“e/acc”,是个什么新玩意?|GGView为什么今年的三伏天超长待机40天?|GGView图灵奖得主Bengio等88页论文暗示「天网」迟早降临|GGView人类数据告急,微软OpenAI开始用AI喂AI,Altman放话:未来所有数据都将变成合成数据|GGView土耳其报到(下)六十三 下乡六十四 励志OpenAI首次收购曝光!团队曾克隆《我的世界》,GPT要搞游戏了?美女新难题:如何自证不是AI|GGViewAI教父Hinton最新采访万字实录:ChatGPT和AI的过去现在与未来 |GGView李飞飞朱松纯把《我的世界》变AI的世界,微软Xbox组参与,游戏Agent协作框架来了马斯克最新演讲:AI是一把“双刃剑”,具有控制人类的潜力|GGView闲话人生(237)老之将至,生之追寻大猩猩也会玩《我的世界》了,看一遍视频就能get新技能世界首例!中国90后在脑中植入机器,一打开就变快乐了|GGView能生成完整剧集的AI来了,GPT-4辅助写剧本,输入提示几秒生成一集《南方公园》|GGView这个「读博模拟器」太逼真,来试试你能被劝退几次?(手动狗头)|GGView谷歌AGI机器人大招!54人天团憋7个月,强泛化强推理,DeepMind和谷歌大脑合并后新成果|GGView猩猩学会玩《我的世界》,方法竟和GPT-4智能体相通?OpenAI创立以来的第一次收购,买了个套皮《我的世界》公司10年烧掉47亿,欧盟「人脑计划」宣告失败?算法重建人类大脑遥不可及,成果支离破碎|GGView除了气候,还有很多方面都突破了地球的极限|GGView东南大学全球首测LK-99零电阻成功!室温超导复现大爆发,人类历史接近跃迁点|GGViewPPT发明者去世,享年76岁,家人:他不介意大家对该工具的批评或玩笑|GGView科学家发现「返老还童」蛋白!Nature:抗衰老蛋白让老年猴子恢复记忆|GGView生成式人工智能:发展演进及产业机遇|GGView如果数据被大模型耗尽,我们还能看到通用人工智能吗?|GGViewGPT-4满分通过MIT本科数学考试!这套提示词火了|GGViewChatGPT企业版炸裂上线!无限制访问、两倍速、3.2万token……OpenAI开始“抢钱”了|GGView《黄永玉去世,失了一趣》还剩下几句。GPT-4破防啦!用密码和GPT-4聊天,成功绕过了GPT-4的安全机制!港中大(深圳)告诉你方法科技驱动变革!如何重新定义HR SaaS?|GGV投资笔记第152期对话黄东旭、关涛、李远策:AI热潮下,用户到底需要怎样的数据平台?|GGView
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。