Redian新闻
>
四年、投入20%计算资源,OpenAI成立专门团队构建解决对齐问题的超强AI

四年、投入20%计算资源,OpenAI成立专门团队构建解决对齐问题的超强AI

公众号新闻


机器之心报道

编辑:小舟、梓文
OpenAI:人类管不了未来的 AI,我们要构建一个监督模型对齐的新 AI。


随着 ChatGPT、GPT-4、LLaMA 等生成式大模型的爆火,生成式 AI 技术成为一个值得关注和思考的重要话题。一方面,生成式 AI 能够大幅提升生产效率;另一方面,人们也看到了生成式 AI 技术背后隐藏的风险。


今年上半年,机器学习领域的专家、学者已经多次联合发表公开信,呼吁人们重视生成式 AI 的潜在风险,并限制构建生成式 AI 大模型。其中,图灵奖得主 Geoffrey Hinton 更是在 4 月从谷歌离职,警告人们生成式 AI 将「对人类构成威胁」。


OpenAI 作为 ChatGPT、GPT-4 等大模型背后的公司,无疑被推上了风口浪尖。


现在,OpenAI 开始自救,正式宣布成立一个新的研究团队 ——Superalignment 团队,由 OpenAI 联合创始人 Ilya Sutskever 和 Jan Leike 共同领导。值得注意的是,这个团队的主要任务是构建一个与人类水平相当的、负责模型对齐的「AI 研究员」。也就是说,OpenAI 要用 AI 来监督 AI。


OpenAI CEO Sam Altman 和 OpenAI 联合创始人 Ilya Sutskever。


四年投入 20% 算力


OpenAI 认为,人工智能技术正在飞速发展,影响全人类的超级智能(Superintelligence)看似遥远,但极有可能在十年内到来。


超级智能将是一把双刃剑,它可以帮助人类解决世界上许多重要问题,但它也可能导致人类丧失权力,威胁人类安全。


治理这些风险需要建立新的治理机构,并解决 AI 模型的对齐问题。一个显著的问题是:超级智能可能比人类更聪明,如何能让如此强大的 AI 系统遵循人类的意愿?


当前,将模型输出和人类偏好进行对齐最先进的方案是 RLHF,即以强化学习的方式依据人类反馈优化语言模型,本质上讲这种方法仍然依赖于人类监督 AI 的能力,将不适用于超级智能。


因此,OpenAI 宣布投入 20% 的计算资源,花费 4 年的时间全力打造一个解决超级智能对齐问题的超级对齐(Superalignment)系统。



为了构建超级对齐系统,开发团队需要做的工作如下:


1)开发一个可扩展的训练方法:

利用人工智能系统来协助评估其他人工智能系统,并将 AI 模型的监督能力泛化到人类无法监督的任务上。


2)验证系统:

为了验证系统的一致性,开发过程中会自动搜索有问题的行为(稳健性)和有问题的内部结构(可解释性)。


3)对整个对齐管道进行压力测试:

最后,使用未对齐的模型来测试整个流程,确保所提方法可以检测到最严重的未对齐类型(对抗性测试)。


团队信息


前文介绍过,Superalignment 团队由 OpenAI 联合创始人 Ilya Sutskever 和 Jan Leike 共同领导。从 OpenAI 今天推特公布的信息来看目前也已有多位成员。



Ilya Sutskever 大名想必大家都已经听过。


Sutskever 在多伦多大学获得了计算机科学学士、硕士和博士学位,导师是 Geoffrey Hinton。博士毕业后进入斯坦福大学,成为吴恩达的博士后。后担任 DNNresearch 的联合创始人。2013 年,Ilya Sutskever 与 Hinton 一起加入谷歌大脑团队。他后来离开谷歌加入 OpenAI,成为了联合创始人和首席科学家。


团队另一负责人 Jan Leike,2016 年博士毕业,后加入谷歌做人类反馈强化学习(RLHF)相关研究,2021 年加入 OpenAI 做对齐研究。



去年,Jan Leike 曾在 OpenAI 发博客介绍他们进行对齐研究的相关方法,感兴趣的读者可以详细了解下。


 

链接:https://openai.com/blog/our-approach-to-alignment-research


OpenAI 这种用 AI 来监督 AI 的方法将是一种新的尝试,我们很难预判这种方法的实际效果,有人发出疑问:「谁来管理这个『AI 监督员』呢?」



但毫无疑问的是,面对超级强大的人工智能模型,我们的确需要新的对齐方法来保证 AI 模型的可控性。OpenAI 的方案如何,我们拭目以待。


参考链接:https://openai.com/blog/introducing-superalignment#JanLeike


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
位于市中心的超强美本保底校:求职资源丰富、你值得拥有!万字长文概览大语言模型对齐(欺骗性对齐、可扩展的监管、机械可解释性、工具性目标趋同)海外陪读7年、全职妈妈7年、家庭分离7年,我承认,这个选择不完美......20年、60亿人民币、7000种蛋白质,SomaLogic蛋白质组数据库的构建之途解决食品和疫苗的过敏问题:日本团队敲除鸡「卵类黏蛋白」,构建无过敏原鸡蛋观点|王丛虎:构建公共资源交易发展新格局,推动公共资源交易高水平发展晨跑,小蝌蚪。爱美丽做的的video最高法《关于审理破坏森林资源刑事案件适用法律若干问题的解释》阿里巴巴第一财季营收2341.6亿元;58集团回应“售卖简历”:已成立专项调查小组;吉利百度合资成立汽车科技公司极与越……花园记事2023-芍药花开一周快讯丨杭州三大千亿母基金落地;长沙300亿母基金正式成立;社保基金出资设立专项基金谷歌披露量子计算机新突破:比世界最快的超级计算机快“47年”刚刚,利好来了!关于股市,香港成立专责小组!别有侥幸心理!最近严打!三分之一巴士乘客逃票! MTA宣布成立专组严打OpenAI 设立 Superalignment 团队:让 AI 对齐人类价值观,预防潜在风险OpenAI称找到解决AI“幻觉”的方法,可解决AI胡言乱语的问题EMI ‖ 姜世勃/陆路团队构建含有新冠病毒S2三功能区的重组蛋白作为泛冠状病毒入侵抑制剂或疫苗抗原Yelp 的 Apache Cassandra 集群重建解决方案特斯拉召回 110 万台车,彻底解决刹车问题;传终止芯片业务,OPPO:艰难决定;推特有了新的女CEO | 极客早知道记者采访竟遭多人殴打?各方回应!当地已成立专案组北大又出洋相:奖学金只向日本留学生提供!网友:这算资敌吗?OpenAI超级对齐负责人:“驾驭”超级智能的四年计划用AI对齐AI?超级对齐团队领导人详解OpenAI对齐超级智能四年计划“漫长”总算看完了4年投入N百亿,3000名高端芯片人才一夜原地失业,OPPO突然终止芯片业务信息大全Gucci店又被抢?洛杉矶成立专责团队,24小时轮班防堵阿里100瓶毒药解马斯克难题?国内首个大模型价值对齐数据集开源,15万评测题上线!Hélène Binet:光的哲学家【第6讲】团队构建: 如何组建有战斗力的团队京东开源:一款高效的企业级表格可视化搭建解决方案!OpenAI开300万+年薪招「超级AI研究员」,投入20%总算力成立新部门,目标4年内「控制奥创」胡夫金字塔之谜解开了没有?费城费尔蒙特公园(Fairmount Park 2013), 樱花节日OpenAI 又赢麻了!谷歌 DeepMind 创始人刚称 Gemini 能碾压 GPT-4,OpenAI 的挖人大计就出炉了最新进展!"已成立专案组"
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。