Redian新闻
>
AI好奇心,不只害死猫!MIT强化学习新算法,智能体这回「难易通吃」

AI好奇心,不只害死猫!MIT强化学习新算法,智能体这回「难易通吃」

公众号新闻



  新智元报道  

编辑:David
【新智元导读】MIT强化学习新算法,根据监督稀疏程度自动调整AI智能体「好奇心」,高低难度任务通吃。

人人都遇见过一个古老的难题。

周五晚上,你正试图挑选一家餐厅吃饭,但没有预定。你应该去你最爱的那家人满为患的餐厅排队等位,还是尝试一家新餐厅,希望能发现一些更好吃的惊喜?

后者确实有可能带来惊喜,但这种好奇心驱动的行为是有风险的:你去尝试的那家新餐厅的东西可能会更难吃。

好奇心作为AI探索世界的驱动力,实例已经不胜枚举了——自主导航、机器人决策、优化检测结果等等。

在某些情况下,机器使用「强化学习」来完成一个目标,在这一过程中,AI智能体从被奖励的好行为和被惩罚的坏行为中反复学习。

就像人类在选择餐厅时面临的困境一样,这些智能体也在努力平衡发现更好的行动(探索)的时间和采取过去导致高回报的行动(利用)的时间。

太强的好奇心会分散智能体的注意力,无法做出有利的决定,而好奇心太弱,则意味着智能体永远无法发现有利的决定。

为了追求使AI智能体具有「恰到好处」的好奇心,来自麻省理工学院计算机科学与AI实验室(CSAIL)的研究人员创造了一种算法,克服了AI过于「好奇」和被手头的任务分散注意力的问题。

他们研究出的算法会在需要时自动增加好奇心,如果智能体从环境中得到足够的监督,已经知道该怎么做,则降低好奇心。

论文链接:https://williamd4112.github.io/pubs/neurips22_eipo.pdf

经过60多个视频游戏的测试,该算法能够在不同难度的探索任务中取得成功,而以前的算法只能单独解决简单或困难难度。这意味着AI智能体可以使用更少的数据来学习决策规则,达到激励最大化。

「如果你很好地掌握了探索-开发之间权衡,就能更快地学习正确的决策规则,而任何不足之处都需要大量的数据,这可能意味着产生的结果是非最优的医疗方案,网站的利润下降,以及机器人没有学会做正确的事情。」

该研究带头人之一、麻省理工学院教授兼Improbable AI实验室主任Pulkit Agrawal说。

好奇心,不只害死猫!


我们似乎很难从心理学角度解释好奇心的心理基础,对于这种寻求挑战的行为的潜在神经学原理,我们一直没有深入理解。

有了强化学习,这个过程在情感上被「修剪」了,将这个问题剥离至最基本的层面,但在技术实现上却相当复杂。

从本质上讲,智能体只应该在没有足够的监督来尝试不同的事情时才会有好奇心,如果有监督,它必须调整好奇心,降低好奇心。

在测试游戏任务中,很大一部分是小智能体在环境中跑来跑去寻找奖励,并执行一长串的行动来实现一些目标,这似乎是研究人员算法的逻辑测试平台。

在《马里奥赛车》和《蒙特祖玛的复仇》等游戏实验中,研究人员将上述游戏分为两个不同类别:

一种监督稀疏的环境,智能体获得的指导较少,也就是「困难」的探索游戏;另一种是监督更密集的环境,即「简单」的探索游戏。

假设在《马里奥赛车》中,只删除所有的奖励,你不知道什么时候敌人杀了你。当你收集一个硬币或跳过管道时,不会得到任何奖励。智能体只有在最后才被告知其表现如何。这就属于稀疏监督环境,也就是困难任务。在这种任务中,激励好奇心的算法表现非常好。

而如果智能体处于密集监督环境,也就是说,跳过管道、收集硬币和杀死敌人都有奖励,那么,表现最好的就是完全没有好奇心的算法,因为经常得到奖励,只要照着走流程就行了,不需要额外探索就能收获颇丰。

这里如果使用激励好奇心的算法,学习速度会很慢。

因为好奇心强的智能体,可能会试图以不同的方式快速奔跑,到处乱逛,走遍游戏的每一个角落。这些事情都很有趣,但并不能帮助智能体在游戏中取得成功,获得奖励。

如前文所言,在强化学习中,一般用激励好奇心和抑制好奇心的算法,来分别对应监督稀疏(困难)和监督密集(简单)任务,不能混用。

这一次,MIT团队的新算法始终表现良好,无论是在什么环境中。

未来的工作可能涉及回到多年来令心理学家高兴和困扰的探索:好奇心的适当衡量标准--没有人真正知道从数学上定义好奇心的正确方法。

MIT CSAIL博士生Zhang Weihong说:

通过改进探索算法,为你感兴趣的问题调整算法。我们需要好奇心来解决极具挑战性的问题,但在某些问题上,好奇心会降低性能。我们的算法消除了调整「探索和利用」的平衡负担问题。

以前要花一个星期来解决的问题,新算法可以在几个小时内就得到满意的结果。

他与麻省理工学院CSAIL工程硕士、22岁的Eric Chen是关于这项工作的新论文的共同作者。

卡内基梅隆大学的教师Deepak Pathak说:

「像好奇心这样的内在奖励机制,是引导智能体发现有用的多样化行为的基础,但这不应该以在给定的任务中做得好为代价。这是AI中的一个重要问题,这篇论文提供了一种平衡这种权衡的方法。看看这种方法如何从游戏扩展到现实世界的机器人智能体上,将是很有趣的一件事。」

加州大学伯克利分校心理学特聘教授和哲学副教授Alison Gopnik指出,当前AI和认知科学的最大挑战之一,就是如何平衡「探索和利用」,前者是对信息的搜索,后者是对奖励的搜索。

「这篇论文使用了令人印象深刻的新技术来自动完成这一工作,设计了一个能够系统地平衡对世界的好奇心和对奖励的渴望的智能体,让AI智能体朝着像真正的儿童一样聪明的方向,迈出了重要一步。」他说。

参考资料:
https://techxplore.com/news/2022-11-bad-ai-curious.html
https://www.csail.mit.edu/news/ensuring-ai-works-right-dose-curiosity


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
《奇妙博物馆》,给孩子的好奇心找一位缪斯女神宏景智驾校招:图像算法工程师、决策规划算法工程师、SLAM建图算法工程师等分析一篇爆款文,来学习新冠知识好奇害死猫.gif令人惊叹的宇宙之美,《DK太空》满足孩子所有关于宇宙的好奇心,2000+太空实拍照片牛津大学甘家瑞课题组算法博弈论、多智能体系统方向博士生招募一时猜忌误终身 !西湖大学工学院机器智能实验室(脑认知+深度强化学习 交叉学科方向)招聘启事-博士后、科研助理超越CLIP!谷歌大脑多模态学习新作CLIPPO:仅从像素理解图像和语言毛泽东创建工农红军靠民主军纪荒芜的皇宫,两个中国人 奥匈帝国4日游(2)经合组织(OECD)在社会与情感能力方面的研究 | 学校应鼓励学生提升创造力和好奇心在《我的世界》里挖钻石把AI难哭了,DeepMind最新算法终于扳回颜面刚刚!诺贝尔化学奖揭晓!点击化学和生物正交化学是个啥?极氪智能科技校招:智能驾驶规控算法工程师、智能驾驶感知算法工程师、车联网安全研究员等离谱!Microsoft工程师用算法选人、Meta用算法裁员!如何守护和激发孩子宝贵的好奇心?《未解之谜》系列给你答案!如何满足娃的旺盛好奇心?这有一个把公园逛成动物园的小妙招!CCC VS UKCHO:化学竞赛内容难易有别,获奖率也不同!!今日神图 | 好奇心真的不能太重!MSRA智能多媒体组实习生招聘:计算机视觉、自然语言理解、强化学习多个方向秋日琐记Insight Time分享 | 基于序列决策和动作依赖的多智能体强化学习算法龙卷风健康快递 215渡十娘|幽默过日子:好奇心与天才再掀强化学习变革!DeepMind提出「算法蒸馏」:可探索的预训练强化学习TransformerDeepMind用「强化学习」训练「正能量」聊天机器人:再也不用担心AI乱说话了!DeepMind再登Nature封面!推出AlphaTensor:强化学习发现矩阵乘法算法AI居然「暗中」捣乱?港中大深圳联合西安交大发布后门学习新基准|NeurIPS 2022免费领 | 全球数百万儿童喜爱的《DK儿童海洋百科全书》,一次性满足孩子对海洋世界的好奇心!NeurIPS 2022 Oral | 离线强化学习新范式!京东科技&清华提出解耦式学习算法孩子知识面不够宽?这本趣味科普书,全面满足娃的好奇心!强化学习发现矩阵乘法算法,DeepMind再登Nature封面推出AlphaTensor
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。