OpenAI超级对齐负责人:“驾驭”超级智能的四年计划
随着AI领域的快速发展,OpenAI预言超级智能将在十年内出现。对人类而言,超级智能既是机遇也是挑战,它可以帮助人类解决很多重大问题,但也可能产生巨大风险,因此,超级智能对齐问题成为人们当下关注的重点,我们需要确保超级智能与人类整体意志保持一致,让它们理解和满足人类的愿望与需求。
近期,OpenAI承诺将目前为止获得的计算资源中的20%用于对齐超级智能,并成立了一个名为“超级对齐(Superalignment)”的团队,宣称将在四年内解决超级智能对齐问题。他们计划先训练一个大致与人类水平相当的AI自动对齐研究员,再借助自动对齐研究员解决超级智能对齐问题。
超级对齐团队由OpenAI联合创始人兼首席科学家Ilya Sutskever和Alignment负责人Jan Leike共同领导,后者此前在DeepMind工作四年,研究人类反馈的强化学习以及递归奖励建模。
在探讨AI风险的AXRP播客节目中,UC伯克利博士生Daniel Filan与Jan Leike探讨了OpenAI的超级对齐计划的具体内容以及挑战。
一、超级智能对齐的目标
二、自动对齐研究员能做什么?
三、如何让AI成为AI对齐研究员
四、寻找模型的不良行为和内部机制
六、超级对齐团队的四年之期
七、模型的泛化
八、与其他对齐实验室的不同
九、为何看好自动对齐研究员
来源:公众号【OneFlow】 转载请联系授权: https://axrp.net/episode/2023/07/27/episode-24-superalignment-jan-leike.html
微信扫码关注该文公众号作者
戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章