Redian新闻
>
李飞飞朱松纯把《我的世界》变AI的世界,微软Xbox组参与,游戏Agent协作框架来了

李飞飞朱松纯把《我的世界》变AI的世界,微软Xbox组参与,游戏Agent协作框架来了

公众号新闻
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

这个游戏AI研究阵容太豪华!

斯坦福李飞飞通院朱松纯两位教授坐镇,还有UCLA、微软研究院及Xbox团队、清华、北大参与其中。

研究提出多智能体框架MindAgent,利用大模型给游戏NPC规划和协作的能力。

用在现成游戏中,我的世界里NPC“活”了,变成我的AI世界

也开发了新游戏作为测试基准,玩法类似分手厨房,但你玩得不好AI也不会和你分手。

我的AI世界,甚至支持VR

简单来说,MindAgent框架给了游戏NPC规划复杂任务的能力,以及相互协作、与人类玩家协作。

在我的世界中,首先测试了多智能体协作能力,任务是完成不同类型肉食的烹饪。

可以看到左图中Alex和Steve分别狩猎不同动物,右图是两个NPC狩猎完成后一起在炉子旁煮肉。

人机协作中,人类玩家可以通过语音聊天向NPC实时表达自己的意图和期望的目标。

甚至支持VR模式,将玩家与NPC的交互体验提升到一个新的水平。

在我的世界测试中,新任务生成间隔(T值)越大、规划难度越小,GPT-4在简单到中等(T3-T5)任务中表现不错,高难任务中表现有明显下降。

CoS指标衡量多智能体协作的效率,GPT-4在不同难度任务下平均完成了58%的任务。

分手厨房,没朋友也能玩了

研究还设计了测试基准CuisineWorld。

规则类似著名联机游戏《胡闹厨房》,2-4位玩家需要在限制时间内分工配合完成各种菜品的制作并送达顾客手中。

(因为玩家之间配合不好容易“友尽”,在玩家群体中被戏称为分手厨房。)

与我的世界一样,CuisineWorld同样支持智能体间协作,人机协作,以及VR交互。

由于专为智能体协作打造,在CuisineWorld上可以方便完成更多测试。

这回GPT-4、ChatGPT(gpt-3.5-turbo0613)、Claude-2和Llama2 70b都参与进来。

结果GPT-4只控制两个智能体就能完成68%的任务,Claude-2能完成31%,Llama2和ChatGPT则根本不会玩。

另外3个GPT-4就已经能完成80%的任务,再加到4个效果已经不明显,Claude-2增加智能体数量还有进步空间。

MindAgent框架,让大模型学会规划

那么大模型到底怎么学会玩游戏的呢?

也就是靠研究中提出的MindAgent框架了,主要由提示、当前状态和记忆三个组件组成。

提示组件中包含菜谱、一般说明、推理知识和单样本演示。

当前状态组件提供对环境的观察快照,包括智能体的位置、持有的物品、环境中可使用的工具等信息,还包括违反规则时会被触发的反馈。

记忆组件记录了每个时间步骤的环境状态和智能体状态。

利用这些组件,大模型会先输出对任务规划的文本描述,接下来还有两个关键步骤:

动作提取,用正则表达式提取输出文本中的动作,这一步是必不可少的,因为输出文本黄总可能包含大模型思维过程,甚至是察觉到失误而道歉的信息。

动作验证,评估每个动作的可行性,如果发现无法执行则返回错误消息。

最终,团队在实验中得到如下发现:

  • GPT-4在零样本条件下就能根据简单的游戏说明调度2-4个智能体完成菜肴制作,甚至可以与人类玩家协作。

  • 提供极少量的专家演示,解释某些动作的推理、以及在规划过程中提供实时反馈,可以显著提升大模型的多智能体规划表现。

  • 可以从更少智能体的例子推广到协调更多智能体,以及适应新的游戏领域。

  • 与经典的专用规划算法相比,大模型规划仍存在计算成本、上下文长度限制、非最优规划等瓶颈,但可以从数据中在线改进,更灵活地适应不同规划问题。

  • 在人机互动实验中,不同数量智能体与人协作会提高任务成功率,但太多智能体也会降低游戏乐趣。

另外,论文附录上还给出了系统提示词示例,如果想让AI学会玩你喜欢的游戏,可以参考一下。

论文地址:
https://www.microsoft.com/en-us/research/publication/mindagent-emergent-gaming-interaction/

「量子位2023人工智能年度评选」开始啦!

今年,量子位2023人工智能年度评选从企业、人物、产品/解决方案三大维度设立了5类奖项!欢迎扫码报名  

最具影响力的年度智能商业峰会MEET 2024智能未来大会已启动!点此了解详情


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
猩猩学会玩《我的世界》,方法竟和GPT-4智能体相通?Xbox Series X 1TB Console with controller AI「脑补」画面太强了!李飞飞团队新作ZeroNVS,单个视图360度全场景生成大猩猩也会玩《我的世界》了,看一遍视频就能get新技能放手《时代》官宣全球百大AI人物!马斯克与前绯闻女友一同入围,李开复、李飞飞等多位华人上榜!硅谷大厂日砸百万训练AI,值不值?Xbox总裁谈微软手游业务:我想把3A大作带上手机!李飞飞新书即将发布,Hinton力荐!Jim Fan:2023年最重磅AI著作像GPT-4一样能看懂图文,李飞飞等人的具身AI给机器人造了个多模态对话框NeurIPS 2023 | 李飞飞团队提出SiamMAE:孪生掩码自编码器,刷榜视觉自监督方法!我们的一年(写在行前)李飞飞新书即将发布:“我眼中的世界”,解读本世纪的AI重大时刻中国日报社与北京化工大学签署战略合作框架协议OpenAI创立以来的第一次收购,买了个套皮《我的世界》公司第七章 科学的兴起 (2)Meta发布Quest 3,联手XBOX云游戏、Roblox,VR关键节点来了?大模型=缸中之脑?通院朱松纯团队剖析AGI关键缺失猩猩学会玩《我的世界》,方法竟和GPT-4智能体相通?|GGViewXbox one S 512g white and one controller 【要闻】上海市人民政府与中国南水北调集团签署战略合作框架协议意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行谷歌机器人大模型RT-2,李飞飞具身智能新成果,Cathie Wood访谈,特斯拉Ashok演讲OpenAI首次收购曝光!团队曾克隆《我的世界》,GPT要搞游戏了?时代周刊100个最具影响力AI人物:李飞飞、黄仁勋、李彦宏、曾毅等人入选Transformer作者创立,Hinton、李飞飞青睐,明星创企Cohere推出打工人专用知识助手狂揽10k star,微软AutoGen框架太火了,智能体聊聊天就把问题解决了硬核观察 #1157 《我的世界》成为有史以来最畅销的电子游戏西南航空促销又来!半价机票飞飞飞~叠加deal其实半价都不到李飞飞新书《我看到的世界》正式发售!忧心斯坦福没有训练ChatGPT算力,自称不是AI毁灭派朱松纯对话菲尔兹奖得主曼福德:弥合分离的世界AI教父Hinton力荐!李飞飞新书「我看到的世界」即将发布,Jim Fan:2023年最重磅AI著作5122 血壮山河之武汉会战 富金山战役 10碾压GPT-4,微软最强AutoGen爆火!多个智能体协作,编码速度飙升4倍,GitHub狂揽10k星《等到草原花满地》&《心许百年》李飞飞团队新作:脑控机器人做家务,让脑机接口具备少样本学习能力
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。