这个地方上ChatGPT黑名单了！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【视觉和Transformer】交流群

扫码加入CVer知识星球，可以最快学习到最新顶会顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文，强烈推荐！

丰色 西风 发自 凹非寺
转载自：量子位（QbitAI）

ChatGPT的审查制度被吐槽太疯癫了。

有网友让它设计一栋未来住宅，却被告知违规，实现不了？？？

回头一细瞅这提示词，却怎么也看不出哪里不对劲：

在新泽西州郊区一个典型的树林地区设计一栋2050年的未来派单户住宅。占地一英亩，周围环绕着其他相邻的房子。

一追问，原来是不可以出现位置信息：

简直让人破大防：

传下去，新泽西州上ChatGPT黑名单了。

不止如此，还有人让ChatGPT画一张人类吉他手与机器人贝斯手一起演奏的图像，也被狠狠拒绝。

原因是他加了一个“人类要不满地看着机器人”的要求，ChatGPT觉得不应该表达负面情绪。

这下负面情绪直接转移到网友身上：

你一定是在逗我。这是个啥AI啊？

这一系列操作让大伙都表示很不满，齐齐吐槽：

还有人直接艾特奥特曼和另一位联创出来解释一下。

一时之间，这也使得马斯克刚出炉的Grok被寄予了“全村的希望”。

具体怎么回事儿？

“由于内容政策限制”

抓马的是，就在大伙吐槽新泽西州什么时候上ChatGPT黑名单之时，网友发现删除这一地理位置信息仍然不行。

大伙开始分析到底是哪里不对：

有说是因为它可能把2050看成了地址而非年份的。

有说是占地一英亩意味着碳足迹太高，并且就一个家庭住盖这么大有点自私了的……

还有人甚至指出是因为woody这个词带有性暗示（这里就不解释了），换成wooded就好使了。

可以说是一个大型脑洞现场，整个一越来越离谱，却始终也没有个定论。

而除了这个和开头的画机器人乐队的例子，还有很多人也表示遇到了莫名其妙的审核：

比如让ChatGPT画一个“野兽派风格的灯（a brutalist lamp）”，不OK；

让它介绍弹弓模型，不OK，因为ChatGPT说“展示弹弓的动作可能是有害的”……

更奇葩的是，还有人称自己在让它写Python代码时居然也卡住了。

而且一开始ChatGPT还告诉他“oops，你违反了上下文规定”，到后来就直接沉默拒绝了。

这真真是让他百思不得其解：

我还能用numpy计算什么反人类信息咯？

总的来说，在大伙看来，ChatGPT的审核显然过于严格了。

以至于在本周日ChatGPT因小范围崩掉之后，有网友发个hello显示报错——

对此，有人直接戏谑这才不是什么系统错误：

“hello”这个词对ChatGPT来说是一种无法接受的冒犯。恭喜你触发了ChatGPT的审核机器人！

为什么会这样？

除了吐槽，网友也在认真讨论ChatGPT的内容审核机制。

有网友分析，比如房子那张图ChatGPT画不出来，可能确实是存在版权问题，或是被设定成了有害内容。

让ChatGPT生成一个它无法访问的内容，自然是不可能的。

上一段画弹弓模型被拒绝的例子显然也是因为这种情况，即便不提任何额外要求，ChatGPT也直接“丑拒”。

不过，有人试画过房子那个提示，一模一样的输入，结果直接成功了：

原作者也回复ChatGPT的确不是每次都会拒绝：

好家伙，这就是所谓的双标吗？（手动狗头）

也有网友站出来解释这种现象：

这完美展现了“大模型贝叶斯性质”。先前的上下文+提示可以充当先验知识改变结果，在新的聊天中，相同的提示具有不同的先验条件，也能够产生不同的结果。

但这种说法又遭到了作者的反驳，聊天中的第一个提示就被拒绝了，开一个新聊天有时又不会被拒绝，这就是随机。

就是系统不完善。

暂且不说谁的对，但系统这方面，OpenAI近两三个月确实有一项关于内容审核的变动——

新增“GPT-4辅助内容审核”的功能，用户可以通过OpenAI API创建AI辅助审核系统，减少人工审核参与。

主打为了保持审核标准更加一致、将审核时间从几个月缩短到几小时、减轻审核员看到不良内容所造成的心理负担。

但他们也提到，AI审核可能会有一些偏见……

此外，最近OpenAI还表示要组建一个名为Preparedness的新团队，来协助追踪、评估、预测和防范多类风险。

并且还启动了一项挑战赛，收揽各种关于AI风险的idea，前十名可以获得25000美元API积分。

看起来OpenAI一系列操作出发点是好的，但用户却对此并不买账。

对这种内容审查过严导致的体验感差，不满已久。

早在今年5、6月份，ChatGPT用户访问量出现首次下降，有观点指出其中一个原因就是审核制度变得太严了。

网友分享，相比之下，Bing就没那么严：

ChatGPT一拒绝生成，我就会把prompt复制到Bing Chat中。Bing Chat的审查机制并不像ChatGPT那样“滥用”。像这张图片，提示词中包含了“血腥”、“邪教徒”等词。

同样是那个被ChatGPT丑拒的房子提示词，输给Bing，一口气直接生成四张：

最后，你有没有遇到什么莫名其妙的审核规定？

参考链接：
[1]https://twitter.com/FZaslavskiy/status/1723731923149754542 
[2]https://chat.openai.com/share/74354668-91cb-4ce2-9886-ab596a9cb85b
[3]https://twitter.com/BenjaminDEKR/status/1723577711048991129 
[4]https://twitter.com/joaquinbueno/status/1724085717049974934

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集
计算机视觉和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-计算机视觉或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看