OpenAI雪藏论文作弊检测工具引争议，知情人士透露一年前就已完成研发

2024-08-05 10:08

在人工智能快速发展的今天，OpenAI 这家走在 AI 前沿的公司正面临着一个棘手的难题。

据报道，OpenAI 早已开发了一种可以可靠检测论文是否由 ChatGPT 撰写的工具。

然而，尽管学术界对 AI 作弊的担忧日益加剧，该公司却迟迟没有发布这一工具，甚至有一种雪藏之意。

知情人士透露，这个反作弊工具项目在 OpenAI 内部已经讨论了约两年之久，而且它在一年之前就已经准备好发布了。一位内部人士甚至表示：“发布它只是按一下按钮的事。”

可是，这个看似简单的决定背后，却隐藏着复杂的考量和激烈的内部辩论。

OpenAI 员工在做决策时，不得不在公司宣称的透明承诺和吸引、留住用户的愿望之间权衡。公司对忠实的 ChatGPT 用户进行的一项调查结果更是加剧了这种矛盾。

调查发现，近三分之一的用户表示，如果引入反作弊技术，他们可能会对 ChatGPT 失去兴趣。这一发现无疑给公司的决策带来了巨大压力。

对此，OpenAI 的发言人表示，公司担心该工具可能会不成比例地影响某些群体，特别是非英语母语者。

她说：“我们正在开发的文本水印方法在技术上很有前景，但存在风险，我们正在权衡这些风险，同时研究替代方案。

鉴于所涉及的复杂性及其可能对 OpenAI 之外的更广泛生态系统产生的影响，我们认为我们采取的审慎方法是必要的。”

然而，支持发布该工具的员工，包括参与开发的人员，在内部表示这些顾虑与该技术可能带来的好处相比微不足道。他们认为，在当前的形势下，这种工具的积极作用远远超过了潜在的负面影响。

事实上，生成式 AI 技术的快速发展已经给教育界带来了巨大的挑战。

ChatGPT 等工具可以在几秒钟内根据简单的提示创建一篇完整的论文，而且是免费的。这使得老师和教授们迫切需要技术上的帮助来打击这种滥用行为。

最近的一项调查发现，59% 的初高中教师确信有些学生使用 AI 来协助完成学校作业，这一比例比上一学年增加了 17 个百分点。

OpenAI CEO 山姆·奥特曼（Sam Altman）和首席技术官米拉·穆拉蒂（Mira Murati）都参与了关于反作弊工具的讨论。据知情人士透露，奥特曼鼓励这个项目，但并没有推动其发布。

（来源：资料图）

这个备受争议的反作弊工具是如何工作的呢？

ChatGPT 的运作基于一个 AI 系统，该系统会预测句子中下一个单词或 token 应该是什么（的概率最大），而 OpenAI 尚未发布的反作弊工具会稍微改变 token 的选择方式，这些改变会留下一种“水印”。

人眼无法察觉这些水印，但 OpenAI 的检测技术可以捕捉它们。检测器会给出整个文档或其中一部分由 ChatGPT 撰写的可能性得分。

根据内部文件，当 ChatGPT 创建足够多的新文本时，该水印技术的有效性达到了 99.9%。

然而，OpenAI 的员工也提出了一些关切。他们担心这些水印可能会被一些简单的手段抹去，比如使用谷歌翻译将文本翻译成另一种语言然后再翻译回来，或者让 ChatGPT 在文本中添加表情符号然后手动删除它们。

公司内部普遍认为，确定谁可以使用这个检测器将是一个挑战。如果使用者太少，这个工具就没有用处，可如果太多人使用，不法分子可能会破解公司的水印技术。

OpenAI 在 2023 年 1 月发布了一种算法，旨在检测包括自家 ChatGPT 在内的几个 AI 模型写的内容。但该算法的成功率只有 26%，OpenAI 在七个月后就将其撤下。

目前，有一些由外部公司和研究人员开发的工具可以检测 AI 创建的文本，许多教师表示他们已经使用过这些工具。但这些工具有时无法检测到由先进的模型写出的东西，而且产生误报的概率很高。

与此同时，OpenAI 还面临着外部的监管压力，要求其证明自身并未隐瞒 AI 风险。

这一压力源于举报人向美国证券交易委员会举报称，OpenAI 的保密协议涉嫌非法阻止员工向立法者披露重大安全隐患。

在这一背景下，已有美国国会议员要求 OpenAI 提供当前的雇佣、离职和保密协议，以向国会保证这些合同不会阻碍披露。

一些立法者认为，这一点至关重要，因为只有依靠举报人揭露新兴威胁，才能制定有效的 AI 政策，在技术进步的同时防范存在性 AI 风险。

据透露，已有议员两次要求提供这些记录，但 OpenAI 至今未作回应。

不过，奥特曼在社交平台 X 上表示，该公司已采取措施提高透明度，包括“与美国 AI 安全研究所就一项协议展开合作，我们将提供对下一个基础模型的早期访问权，以便我们能够共同推进 AI 评估科学的发展”。

他还表示，OpenAI 希望“现任和前任员工能够提出关切，并且不会感到不舒服”。

随着 AI 技术继续快速发展，类似的伦理、实践问题可能会越来越多。因此，OpenAI 的应对方法及其遭遇的压力，很可能成为未来 AI 领域的先例。

参考资料：

https://www.wsj.com/tech/ai/openai-tool-chatgpt-cheating-writing-135b755a?st=ejj4hy2haouysas&reflink=desktopwebshare_permalink

https://arstechnica.com/tech-policy/2024/08/sam-altman-accused-of-being-shady-about-openais-safety-efforts/

运营/排版：何晨龙

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq