OpenAI开发新的高准确率AI生成检测工具 但不敢发布

随着人工智能技术的发展目前人工智能已经可以生成非常逼真的图片和视频，这些内容可能会被不怀好意者用来发布虚假消息，但这类图片和视频想要检测出来其实也有一定的难度。

OpenAI 等开发商尝试在图片和视频中增加水印，但这种水印想要去除也不是难事，简单来说就是其实现在并没有太好的办法能够快速识别是否是 AI 生成的内容。

此前 OpenAI 还开发了 AI 分类检测器，该检测器主要用途是检测文本内容是否由 AI 生成，但因为准确率极低后来 OpenAI 已经直接关闭这款工具。

现在该公司已经开发了一款新的文本水印方法，可以用来快速识别和检测文本内容是否为 AI 生成，只不过现在 OpenAI 还在考虑是否要发布这个新工具。

OpenAI 发言人称：

我们正在开发的文本水印方法在技术上很有前景，但在研究替代方案时，我们也在权衡其中的重大风险，包括容易被不良行为者规避以及可能对非英语人士等群体造成不成比例的影响。

该公司还更新了 5 月份发布的博客介绍其检测 AI 生成内容的研究：

文本水印已经被证明高度准确甚至对局部篡改例如释义有效，但对全局篡改的鲁棒性较差，例如使用翻译系统、另一个生成模板改写，或者要求模型在每个单词之间插入一个特殊字符，然后删除该字符。

OpenAI 称借助文本水印技术，该公司可以专注于检测 ChatGPT 生成的文本内容，它通过对 ChatGPT 选择单词的方式进行细微更改来实现检测目的，本质上就是在文字中创建一个不可见的水印，之后再通过单独的工具检测。

OpenAI 认为这种方法很容易被不良行为者规避，同时文本水印可能会让非英语母语人士将人工智能作为写作工具而蒙羞 — 因为写作的内容可能会被检测出来是人工智能撰写的。

对非英语母语用户来说使用 AI 工具帮助自己撰写内容非常方便，OpenAI 担忧检测工具可能会产生负面影响，毕竟有些人可能认为其他人使用人工智能撰写内容不够真诚之类的，所以 OpenAI 还在考虑是否要发布这类工具。

PS：说起这种水印其实也不算罕见，此前国内某些公司在内容版权保护方面就会用这种方式，例如在用户撰写的内容后追加一些字符，如果其他公司直接抓取了这些内容并发布，就可以通过这些字符来证明内容侵权，当然实现已经对追加字符的内容进行了公证。