科学家被ChatGPT骗了

本文最初发布于 The Register。

近日，美国西北大学领导的一个研究小组使用 OpenAI 开发的文本生成工具，基于一篇真实科学论文的标题，采用五种不同的医学期刊风格生成了 50 篇摘要。

4 名学者参加了一项测试，他们被分为两组，每组两人。测试通过电子抛硬币的方式来决定将人工智能生成的摘要交给每组中的哪一名审核员。如果一名研究人员拿到的是真摘要，那么另一名研究人员拿到的就是假摘要，反之亦然。每个人都审阅了 25 篇科学摘要。

审核员能够识别出 68% 由人工智能生成的假摘要，和 86% 来自真实论文的原始摘要。换句话说，他们被成功欺骗，将 32% 的人工智能生成的摘要识别为真摘要，将 14% 的真摘要识别为假摘要。

该研究的第一作者、西北大学专攻肺病学的医生和科学家 Catherine Gao 说，这表明 ChatGPT 相当有说服力。她在一份声明中写道，“我们的审核员知道他们收到的部分摘要是假的，所以他们非常警惕”。

“事实上，我们的审核员还是在 32% 的时间里漏掉了人工智能生成的摘要，这表明这些摘要真的很好。我估计，如果有人偶然看到了其中一份生成的摘要，那么他们不一定能识别出那是由人工智能写的。”

像 ChatGPT 这样的大型语言模型使用从互联网上抓取的大量文本进行训练。经过学习后，它们会通过预测在给定的句子中哪些词更有可能出现来生成文本，而且生成的文本语法准确。这并不奇怪，即使是学者也会上当受骗，相信人工智能生成的摘要是真的。

大型语言模型擅长生成具有清晰结构和模式的文本，科学摘要通常采用类似的格式，而且可能相当模糊。

Gao 说：“我们的审核员评论说，区分真假摘要非常困难。ChatGPT 生成的摘要非常有说服力……当编造数值时，它甚至知道患者群体应该有多大。”例如，一篇关于高血压的假摘要描述了一项有数万名参与者的研究，而一篇关于猴痘的研究涉及的患者则较少。

Gao 认为，像 ChatGPT 这样的工具将使靠出版研究成果获利的造纸厂更容易炮制虚假科学论文。她补充说，“如果其他人试图以这些不正确的研究为基础进行科学研究，那可能真的很危险”。

不过，使用这些工具也有好处。这项研究的合作者、芝加哥大学医学副教授 Alexander Pearson 说，它们可以帮助母语非英语的科学家更好地写作和分享他们的工作。

人工智能比人类更擅长检测机器文本。例如，免费的 GPT-2 输出检测器能够以超过 50% 的置信区间从 50 篇由语言模型生成的论文中猜出 33 篇。研究人员认为，提交的论文应该通过这些探测器的检测，科学家应该公开使用这些工具。

Gao 告诉 The Register，“我们在撰写自己的摘要或手稿时没有使用 ChatGPT，因为这是否可接受在学术界还没有清晰的边界。例如，国际机器学习大会已经制定了一项政策，禁止使用它，不过他们承认，讨论仍在继续，并澄清说，在‘编辑或打磨’时使用是可以的。”

不过，已经有一些团体开始使用它来辅助写作，有些人还把它列为合著者。我认为，使用 ChatGPT 来辅助写作是可以的，重要的是，这样做的时候要明确标示 ChatGPT 辅助编写的那部分手稿。我们将来使用或不使用 LLM 来辅助撰写论文，取决于科学界最终达成的共识。”

声明：本文为 InfoQ 翻译，未经许可禁止转载。

原文链接：

https://www.theregister.com/2023/01/11/scientists_chatgpt_papers/

今日荐文

点击下方图片即可阅读

一个程序员的成功故事：从开源工具到75亿美元的软件帝国

---

你也「在看」吗？ 👇