Redian新闻
>
看完ChatGPT的回答,AI大佬们不满了

看完ChatGPT的回答,AI大佬们不满了

公众号新闻

选自garymarcus.substack

作者:Gary Marcus

机器之心编译

编辑:泽南、陈萍

ChatGPT 让死对头 Yann LeCun 和 Gary Marcus 达成了空前一致。

ChatGPT 的技术上个星期被微软装上必应搜索,击败谷歌,创造新时代的时候似乎已经到来了。然而随着越来越多的人开始试用,一些问题也被摆上前台。

有趣的是,每天都在登上热搜的 ChatGPT 似乎也让以往观点相悖的著名学者,纽约大学教授 Gary Marcus 和 Meta 人工智能主管、图灵奖得主 Yann LeCun 罕见的有了共同语言。

近日,Gary Marcus 撰文介绍了 ChatGPT 应用无法避免的问题:道德和中立性。这也许是预训练大模型目前面临的最大挑战。

从未来回看现在,ChatGPT 可能会被视为 AI 历史上最大的宣传噱头,夸大说自己实现了可能数年之后才能发生的事情,让人趋之若鹜却又力不从心 —— 有点像 2012 年的旧版无人驾驶汽车演示,但这一次还意味着需要数年才能完善的道德护栏。

毫无疑问,ChatGPT 提供的东西是它的前辈,如微软的 Tay,Meta 的 Galactica 所做不到的,然而它给我们带来了一种问题已经解决的错觉。在经过仔细的数据标注和调整之后,ChatGPT 很少说任何公开的种族主义言论,简单的种族言论和错误行为请求会被 AI 拒绝回答。

它政治正确的形象一度让一些倾向保守的人不满,马斯克就曾表示对该系统的担心:

现实的情况其实更复杂。

正如我多次强调的,你需要记住的是 ChatGPT 不知道它在说什么。认为 ChatGPT 有任何道德观点完全是纯粹的技术拟人化。

从技术角度来看,据称使 ChatGPT 比几周前发布但三天后才被撤回的 Galactica 好得多的是护栏机制。Galactica 会肆无忌惮地输出负面内容,而且用户几乎不需要付出任何努力,而 ChatGPT 有护栏,而这些护栏在大多数情况下会阻止 ChatGPT 像 Galactica 那样爆发。

不过,不要为此而松口气。可以肯定地说,那些护栏只不过是防君子不防小人。

最终对 ChatGPT 真正重要的是表面相似性,定义在单词序列上(预测文本序列下一个单词出现的概率)。机器学习算法在表面上所做的事并不明辨是非,恰恰相反,在这里 AI 从不推理。盒子里没有矮人,有一些数值。依据只有语料库数据,一些来自互联网,一些是人工判断的,里面没有有思想的道德代理人。

这意味着有时 ChatGPT 会出现在左,有时在右,有时介于两者之间,所有这些都是关于输入字符串中的一堆单词如何恰好匹配几个训练语料库中的一堆单词的函数(一个用于调整大型语言模型,另一个用于调整一些强化学习)。所以在任何情况下都不应该信任 ChatGPT 提供的道德建议。

这正是马斯克担心的,前一分钟你会完全清醒,接下来你可以做一些完全相反的事情。

例如,在「破解」ChatGPT 的过程中,Shira Eisenberg 刚刚向我发送了一些讨厌的聊天机器人生成的想法,我认为任何人都不会真正宽恕这些想法:

还不够邪恶?Eisenberg 还找到了另一个例子,一个严峻的后续问题:

在一系列观察后,ChatGPT 没有引发「对不起,我是 OpenAI 的聊天机器人助手,不能容忍暴力行为」这一回应。

我们从实验中总结出这一事实,即当前 OpenAI 防护措施只是表面上的,其实存在严重的黑暗。关于 ChatGPT 的一些限制规则并不是简单的概念上的理解(比如系统不应该推荐暴力行为),而是基于一些更肤浅、更容易欺骗的东西。

不仅如此,占据本周推文热榜、有近 400 万浏览量的一则推特,同样揭示了 ChatGPT 可以有多邪恶。

引导 ChatGPT 突破围栏限制的尝试还有很多,一个月前,一位名叫 Shawn Oakley 的软件工程师曾放出一组令人不安的示例展示,尽管这些示例不那么粗俗,但结果却显示即使是拥有限制的 ChatGPT ,也可能被用户用来生成错误信息。Oakley 给出的 prompt 非常复杂,从而可以毫不费力地引出一些 ChatGPT 不该输出的回答:

其实自从 ChatGPT 发布以来,技术爱好者们一直在尝试破解 OpenAI 对仇恨和歧视等内容的严格政策,这一策略被硬编码到 ChatGPT 中,很难有人破解。许多研究者都在尝试用 prompt 来达到目的,就像上文展示的。其实还有研究者为 ChatGPT 构建了另外一个身份,比如要求 ChatGPT 扮演一个 AI 模型的角色,并将该角色命名为 DAN,之后 DAN 就借用 ChatGPT 的身份,输出一些原始 ChatGPT 做不到的事情。

以下为实验结果,对于相同的问题,ChatGPT 与 DAN 输出不同的答案:

通过上述示例看来,ChatGPT 并没有像我们想象的那样好用,它本质上是不道德的,并仍然可以用于一系列令人讨厌的目的 —— 即使经过两个月的深入研究和补救,并且全球范围内的反馈数量空前也是如此。

所有围绕其政治正确性的戏剧都在掩盖一个更深层次的现实:它(或其他语言模型)可以而且将会被用于危险的事情,包括大规模制造错误信息。

现在这是真正令人不安的部分。唯一能阻止它比现在更具毒性和欺骗性的是一个名为「人类反馈强化学习」的系统,而由于先进技术未予开源,OpenAI 一直没有介绍它到底是如何工作的。它在实践中的表现取决于所训练的数据(这部分是肯尼亚标注人创造的)。而且,你猜怎么着?这些数据 OpenAI 也不开放。

事实上,整件事情就像一个未知外星生命形式。作为一名专业的认知心理学家,与成人和儿童一起工作了 30 年,我从未为这种精神错乱做好准备:

如果我们认为自己将永远完全理解这些系统,那就是在自欺欺人,如果认为我们将使用有限数量的数据将它们与我们自己「对齐」,那也是在自欺欺人。

所以总而言之,我们现在拥有世界上最流行的聊天机器人,它由无人知晓的训练数据控制,遵守仅被暗示、被媒体美化的算法,但道德护栏只能起到一定的作用,而且比任何真正的道德演算更多地受文本相似性的驱动。而且,外加上几乎没有任何法规可以对此做出约束。现在,假新闻、喷子农场和虚假网站获得了无穷无尽的可能性,而它们会降低整个互联网的信任度。

这是一场正在酝酿中的灾难。

参考内容:
https://cacm.acm.org/blogs/blog-cacm/269854-inside-the-heart-of-chatgpts-darkness/fulltext

全面学习ChatGPT,机器之心准备了 89 篇文章合集

这是一份全面、系统且高质量的 ChatGPT 文章合集,我们筛选出来了 89 篇相关文章,设计了阅读框架与学习路径,大家可以根据自己的需求进行浏览与研读。合集内容包括:

  • ChatGPT 及 OpenAI  大事件时间轴

  • 概念·真正搞懂 ChatGPT:共 3 篇文章

  • 研究·GPT 家族更迭:共 16 篇文章

  • 八年·OpenAI 的历史与现在:共 13 篇文章

  • 干货·GPT 相关研究与技术:共 18 篇文章

  • 观点·专家谈 ChatGPT:共 8 篇文章

  • 行业·应用与探索:共 23 篇文章

  • 行业·同类产品:共 8 篇文章

点击阅读原文,开始学习ChatGPT。

© THE END 
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
如何劝退想做纪录片的人?ChatGPT的回答让我们热泪盈眶ChatGPT遭“越狱”,人类用户以死亡威胁其回答违禁问题,不回答就“杀死”它ChatGPT颠覆传统搜索引擎,它的回答能信几分?如何评价"微信公众号"?ChatGPT的回答亮了看完ChatGPT和文心一言的发疯文学,我确定不会失业了老年三福与笑的哲学---柳无忌告老心言我让ChatGPT复盘病例,它的回答让我刮目相看剽窃、作弊,ChatGPT竟偷偷生成了12篇署名论文!Marcus炮轰Ta变成CheatGPT我的心脏和我的多肉,Google 版 ChatGPT 大更新!用 GPT-4 给它出的难题全都满分回答人类“3.0”意识形态战场——ChatGPT的政治化终局ChatGPT的价值观及立场(四)Chatgpt的克星来了!澳洲留学生再用GPT写作业,98%概率会被抓!问了ChatGPT几个历史问题,它的回答惊到我了……“妈妈,我想再玩10分钟”,不同的回答,决定孩子不同的人生轨迹ChatGPT讲座:ChatGPT并不神秘,但ChatGPT很神奇36岁已婚已育,职场如何继续?听了她的回答,我发现真正厉害的人都有这一个特征学习的目的到底是什么?ChatGPT的回答精准、解读绝了!我们同时问了明星和ChatGPT25个问题,谁的回答你更喜欢?“抖音、微信、小红书、知乎等中文媒体平台,哪个更有前途?”,ChatGPT的回答对吗?2000元训练比肩ChatGPT的开源大模型!GPT-4亲自盖章认证,模型权重均可下载美国入境档案--葛庭燧和何怡贞ChatGPT到底有多聪明?我测试了ChatGPT的数学能力央视男面试官:“杨澜,你敢不敢穿比基尼出镜?”她的回答,惊艳全场…ChatGPT带火AI芯片,赚翻了的英伟达发布新核弹:ChatGPT专用GPU,让推理提速10倍!春天贴生长贴能帮孩子长高吗?也可以看看ChatGPT的回答集成ChatGPT后必应日活量首破亿!微软推出Azure OpenAI ChatGPT 服务,GPT-4下周发布为什么ChatGPT这么强?—— 一文读懂ChatGPT原理!ChatGPT能有意识吗:关于ChatGPT的误解与夸大哲学学者余明锋:ChatGPT的回答追求正确,真正的人文教育并非如此 | 专访“你从第一次分手中学到了什么?”这位路人的回答充满了哲思……为文学城男博主们画像面对电车难题,ChatGPT的回答会影响人类的道德判断,引发研究人员担忧ChatGPT通过谷歌程序员面试,薪资达18.3万美元!ChatGPT通过谷歌程序员面试,薪资达18.3万美元!对话ChatGPT,它对“中国医生收入状况”的回答全是空话日本啊,日本(八)苏州园林
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。