Redian新闻
>
GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作

公众号新闻
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

把GPT-4放进一个虚拟世界会怎么样?比如《我的世界》

英伟达开发最新方法Voyager,在游戏中点亮科技树的速度是此前方法的15.3倍,同时获得的独特物品是此前的3.3倍,探索范围是2.3倍。

更关键的是,Voyager目前完全借助游戏画面推理,一切操作与反馈通过文本和游戏的Javascript API进行。

被其他AI玩家视为噩梦的挖钻石也不在话下。

结合人类反馈,盖个房子也不是问题。

更不用说撸树、游泳、摸鱼……这些基础操作。

这项成果来自英伟达科学家Jim Fan(范麟熙)团队。

Voyager的出现甚至引发了一些网友的恐惧。

当GPT-4不再只是一款大语言模型,而拥有了与其他工具交互进行复杂动作的能力,学会推理和创造,真正的“人工智能”即将降临……

深度广度双双提升

团队将Voyager的表现与ReAct、Reflexion和AutoGPT进行了对比。

在地图探索距离上,Voyager达到了其他AI玩家的2.3倍。

而在科技树方面,只有Voyager成功解锁了钻石工具。

对于其他工具,Voyager解锁的效率也最高。

下表中,括号前的数字表示提示迭代的次数,越少说明效率越高;括号中的数字则表示在3次试验中AI玩家的成功率。

除了能点亮训练过的科技树,Voyager在零点测试中表现同样出色。

研究人员让这些AI玩家制造没有训练过的钻石镐、金剑、岩浆桶和指南针。

结果只有Voyager取得了100%的成功率,效率也比其他玩家更高。

如果有人工的帮助,给予评价或指导,Voyager还能构造建筑。

之所以需要人工,是因为在研发Voyager时GPT-4还不具备视觉能力。

如何实现

Voyager主要由三部分组成,即自动任务生成系统、技能库和迭代提示机制。

顾名思义,自动任务生成器负责根据宏观目标生成具体任务及操作游戏的代码并进行优化。Voyager使用的是一个流行的Javascript Minecraft 操作库 (Mineflayer)。

GPT-4根据Voyager发送的提示生成代码调用这个操作库,并根据JS运行情况和游戏反馈对代码中的错误进行修正。

Voyager发送给GPT的提示中主要包含四部分内容:

  • 一是鼓励GPT尝试多种方式,同时又加以限制的总方针。

  • 二是目前的状态,包括生命和饥饿值、持有物、位置和周围环境等。

  • 三是之前成功和失败的操作,反映目前的工作进展。

  • 四是额外信息,让GPT-3.5根据前述状态提问并调用知识库自答,将过程传给GPT-4。

说完了任务生成器,再看看Voyager的技能库。

通过让GPT-3.5(成本考虑)对生成的代码进行注释,并纳入技能库同时建立索引。

操作时则先用GPT-3.5生成操作说明,调用数据库中最匹配的五个。

然后,GPT-4将决定是调用数据库中的已有技能还是重新生成代码。

这一过程给GPT的提示则由五部分组成:

  • 一是代码生成的指导,如“你生成的代码将被反复使用”。

  • 二是控制API及相关技能。

  • 三是上一步中生成的代码,以及对应的运行状况和反馈。

  • 四是当前的状态,具体内容和代码生成器部分相同。

  • 五是利用思维链方式,让GPT生成代码前进行推理。

最后再来看看Voyager的迭代提示机制,这一机制用于Voyager的自我提升。

这一机制会收集环境反馈、运行错误等信息。

同时结合对任务成功与否的自我检测,对自身进行优化。

下图就展示了自我检测的几个实例。

消融测试结果显示,缺少这一环节会导致Voyager运行质量的显著下降。

论文地址:
https://arxiv.org/abs/2305.16291

项目主页:
https://voyager.minedojo.org

GitHub页面:
https://github.com/MineDojo/Voyager

参考链接:
[1]https://twitter.com/DrJimFan/status/1662115266933972993

[2]https://m.weibo.cn/status/4905873598054632

「AIGC+垂直领域社群」

招募中!

欢迎关注AIGC的伙伴们加入AIGC+垂直领域社群,一起学习、探索、创新AIGC!

请备注您想加入的垂直领域「教育」或「电商零售」,加入AIGC人才社群请备注「人才」&「姓名-公司-职位」。


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
PromptAppGPT重磅更新!AI助手0门槛开发+运行:几十行代码即可实现AutoGPT诡异举动! 拜登轻咬女童肩膀 遭嫌弃画面全球疯传!Python吞噬世界,GPT吞噬Python!ChatGPT 上线最强应用:分析数据、生成代码都精通二年级选课,忽闻一夜 GPT 来,千课 万课 AI 开那夜的邂逅---北京的春天看了10遍《楚门的世界》,总结出3条人生精华,句句戳心清华商汤最新AI,征服了《我的世界》英伟达把GPT-4塞进我的世界,打游戏快15倍:AI大佬沉默了0代码训练GPT-5?MIT微软证实GPT-4涌现自我纠错能力,智能体循环根据反馈让代码迭代!RTS玩法加上Mincraft,《我的世界:传奇》玩家评价为何刚刚及格?诡异举动!拜登轻咬女童肩膀,遭嫌弃画面全球疯传!美国2女乘皮划艇遭鲸鱼一口「吞下」 可怕画面全录能起飞能看画,这 4 款音箱,简直是氛围感天花板!深圳保姆白嫖事件曝光,监控画面全网热议:没有边界感的人,太可怕了英伟达把GPT-4塞进我的世界,打游戏快15倍!AI大佬沉默了...Python 吞噬世界,GPT 吞噬 Python!ChatGPT 上线最强应用:分析数据、生成代码都精通死亡数占全球30%以上!这种癌可防可控,为何我国新发病例还在快速攀升?加州2女乘皮划艇遭鲸鱼一口「吞下」 可怕画面全录加国情侣欲火焚身﹗轻轨上忘情大演活春宫﹗香艳火辣画面全被拍﹐不堪入目…5036 血壮山河之武汉会战 鏖战幕府山 5【糗事,笑话】包治百病商汤、清华发布通才智能体完全解锁《我的世界》,像人类一样生存,探索和创造英伟达把 GPT-4 塞进我的世界,打游戏快 15 倍:AI 大佬沉默了五一后社保挂靠代缴企业风险剧增 个人参保渠道有堵有疏诡异举动!拜登轻咬女童肩膀,遭嫌弃画面全球疯传……突发!纽约出了大事故,至少80人受伤;注意身体,纽约高温致死病例迅速攀升。闲话深圳女保姆白嫖事件曝光,监控画面全网热议:没有边界感的人,太可怕了人类被AI“毁灭”,一定是从教它玩《我的世界》开始的变态!加拿大15名女子Airbnb狂欢整晚,隔天惊觉大事不妙!淋浴画面全被偷拍美国战斗机中的丑八怪,却无所不能英伟达AI智能体接入GPT-4,完胜AutoGPT!自主写代码独霸我的世界,无需人类插手行为诡异!拜登轻咬女童肩膀,遭嫌弃画面全球疯传!7 Papers & Radios | 英伟达把GPT-4塞进我的世界;比Adam快2倍的大模型预训练优化器《平凡的世界》中最接地气的十句话,值得一读再读用ChatGPT和强化学习玩转《我的世界》,Plan4MC攻克24个复杂任务
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。