Hinton、Bengio和姚期智联名发文：得有人管管AI风险了！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【计算机视觉和Transformer】交流群

梦晨 发自 凹非寺
转载自：量子位（QbitAI）

三位图灵奖得主Hinton、Bengio、姚期智，联名发文《在快速发展的时代管理AI风险》。

还有UC伯克利宋晓东、Pieter Abbeel，清华张亚勤等更多知名学者合著。

这是一篇共识论文（consensus paper），除AI研究者外，还有公共治理方面的学者，如清华大学人工智能国际治理研究院薛澜，以及诺贝尔经济学奖得主丹尼尔卡尼曼等。

Hinton认为，公司们正计划在18个月内把AI模型计算规模扩大100倍，没人知道这些模型会有多强大，也没有关于他们如何使用这些模型的规定。

（18个月100倍的计划来自InflectionAI）

目前论文公布在独立域名站点managing-ai-risks.com，arXiv版本将在稍后上传。

正文翻译

回顾2019年，GPT-2还不能完美地数数。

而在短短四年之内，深度学习技术已可助力开发软件、创造逼真的虚拟环境、提供专业的建议，并且让机器人具备了语言理解能力。

这些系统的进步不断超越预期，令人瞠目结舌。

而接下来的进展或许会更为惊人。

尽管现有的深度学习系统尚有不少局限，但各大公司已在争相研发能与人类智慧抗衡的通用AI。他们投入的资源越来越多，创新的技术日新月异，且AI的自我进化能力加速了这一趋势。

没有迹象显示AI的进步会在达到人类智慧的水平后停滞。

事实上，在某些特定领域，AI已经超越了人类。它们可以更快地学习、处理更多的信息，且在大规模计算中表现出色，而且可以轻松复制。

技术的飞速进展令人震撼。一些科技巨头有能力将其AI训练规模在短时间内增加数倍。考虑到AI研发的持续投入和自我进化的趋势，通用AI在未来十到二十年内超越人类的可能性不容忽视。

若被正确和公正地应用，先进的AI可以为人类解决长久以来的问题，如疾病、贫困和环境问题。但与此同时，强大的AI也带来了巨大的风险，这些风险我们还远未准备好应对。我们需要平衡AI的能力与安全性。

遗憾的是，我们在调整策略方面已经稍显落后。我们需要提前预见并应对风险，不能等到问题真正出现时再行动。环境问题就是一个例证，但AI发展的速度意味着我们没有太多时间可等。

AI的高速进步对社会带来了巨大的挑战。若不加以管理，它们可能加剧社会不平等、威胁社会稳定并削弱我们对真实世界的认知。它们甚至可能被用作犯罪工具，或者加剧全球的不平等和冲突。

更令人担忧的是，自主AI的发展可能会放大这些风险。当前的AI虽然尚不完全自主，但这一状态正在发生改变。例如，GPT-4尽管强大，但如果控制了具有自主目标追求的机器人或程序，其行为可能变得难以预测，且我们可能难以干预。

为此，我们呼吁全球共同努力，通过技术、政策和法律手段来规范自主AI的发展和应用。否则，我们可能会面临一个被AI主宰和误用的未来。

这只是开始。我们急切需要更多的研究和讨论来解决这些问题，并希望得到社区的支持和协助，以确保AI为人类带来真正的好处，而非威胁。

参考链接：
[1] managing-ai-risks.com
[2] https://twitter.com/geoffreyhinton/status/1717967329202491707

点击进入—>【计算机视觉和Transformer】交流群

ICCV / CVPR 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集
计算机视觉和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-计算机视觉或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看