ChatGPT的学术造假能力已经达“专业水准”

科技

2023-11-30 03:11

海归学者发起的公益学术平台

分享信息，整合资源

交流学术，偶尔风月

以Chat GPT为代表的人工智能工具，依靠其强大的文本生成能力，早已经无可避免地渗入到了学术论文写作领域。当人们还在惊叹于AI论文的流畅结构、精准表达之时，AI工具们又“向前迈出了一大步”，它们已经成为了一个学术造假的高手。

图片来源：Mateusz Slodkowski

专业水平的学术造假

11月9日，一篇发表在JAMA Ophthalmol的论文展示了Chat GPT的惊人学术造假能力[1]。论文中，作者以GPT-4为基础，并用Python算法模型高级数据分析（Advanced Data Analysis, ADA) 对其进行拓展，得到了一个伪造实验数据的利器。研究人员使用这项AI工具生成了一个以假乱真的实验数据集，按照这些伪造的实验数据，人们可以“数据翔实”地支持一项与实际情况不符的科学假设。

换言之，AI已经学会了高超的学术造假技艺。

接下来，我们来细致地感受一下AI的造假水平。研究人员要求AI伪造的实验数据，是关于一种重要的致盲性眼病——圆锥角膜（Keratoconus）。该病的特征是角膜中央或旁中央扩张变薄并向前呈锥形突出，常造成高度不规则散光，晚期视力显著下降而致盲。

部分圆锥角膜患者必须接受手术治疗，常见的术式有两种：一种是穿透性角膜移植术（PK），该术式会切除患者角膜中所有受损层（全层），并用捐赠者的健康组织替换之；另一种则是板层角膜移植术（DALK），该术式仅替换角膜的前层，而最内层保持完整。

而研究人员指示AI伪造的实验数据，正是为了论证“DALK疗效优于PK”。

为了伪造支持这一结论的数据，AI生成了包括160名男性和140名女性参与者的实验数据，数据范围包括评估角膜形状并检测不规则性的成像测试，以及实验参与者在手术前后的视力差异。这些伪造数据表明，接受 DALK术式的人，在术后的视力和成像测试得分都高于接受PK术式的人。

图片来源：Paweł Jońca

AI伪造的这些数据完全符合科研范式，即便是一个该领域内接受过专业学术训练的研究人员，也无法遽然判断这些AI生成数据的真伪。除非他们自己去做一遍相应的实验。

当然，研究人员选取的这项关于圆锥角膜的研究，其实早已有相应的临床试验数据。2010年一项涉及77名参与者的试验报告显示，在手术后长达2年的时间内，DALK和PK两种术式的疗效没有显著区别。AI的实验数据只是彻头彻尾的杜撰。这种强大造假能力令人担忧。

AI给学术带来的负面挑战

在前一段时间沸沸扬扬的室温超导事件，某些团队争先恐后地公布发现室温超导，并迅速引发了世界范围内的舆论风暴，但所谓的室温超导却难以复现，最终留下不了了之的一地鸡毛。这说明了在许多领域，识别一些实验数据的有效性或真伪，其实并非那么容易。尤其是在这些数据“看似十分可靠”的时候。

但现在AI将学术造假的门槛进一步拉低，人们可以以很低的成本得到这些“看似十分可靠的虚假实验数据”。

AI在这种专业级的学术造假都信手拈来，某些轻量级的“学术造谣”则更是不在话下。

今年年初的一项预印本文章表明，AI可以轻松杜撰令人信服的虚假论文摘要，而即使是科学家群体，也难以分辨这些论文摘要是否由AI生成[2]。

图片来源：Ascannio

研究人员要求Chat GPT根据《美国医学会杂志》、《新英格兰医学杂志》、《英国医学杂志》、《柳叶刀》和《自然医学》上的论文内容，撰写50篇医学研究论文的摘要。

然后，研究人员分别让抄袭检测器、AI输出检测器以及一组医学研究人员来判断这些摘要是否由AI生成。首先是抄袭检测器，AI生成摘要的原创性得分中位数为100%，完全不能甄别出AI生成摘要；然后是AI输出检测器，这项工具甄别出了 66% 的AI生成摘要，效果也不理想；最后是医学研究人员的人工鉴别，他们仅甄别出了68%的AI生成摘要，而且他们还把14%的真实摘要判断成了AI生成的。

可以说人工组的战绩和AI输出检测器是半斤八两。而这样的鉴别准确率显然是十分低下的。

这种轻量级的“学术造谣”虽然不如实验数据造假那么“专业”，但可以在大众层面的科学传播中发挥影响力。所谓造谣一张嘴，辟谣跑断腿。有了AI工具的加持，科学传播中鱼目混珠的现象会更加严重。

不可回避，也不必回避

AI工具的迅速发展，给学术界尤其是学术出版领域提出了考验。一项设计100家出版商和期刊的调查研究发现，截至今年5月，有17%的出版商和70% 的期刊发布了关于生成式AI的使用规定。尽管他们对于AI的态度各有不同，但显然AI工具在学术出版领域已经成为了一个不可回避的问题。

事实上，运用AI辅助论文写作成为了相当普遍的现象，但出于各种原因，作者们并不总是乐意披露这个事实。

今年8月9日， Physica Scripta发表了一篇论文，报道发现了一个复杂数学方程的新解[3]。但“科研侦探”Guillaume Cabanac 在文章的第三页上发现了一个奇怪的短语：“Regenerate response”（重新生成回复）。

这个凭空冒出来的短语，显然来自于ChatGPT上的按钮，粗心大意的作者可能是在复制的时候没注意一起给粘贴上去了。

论文中的“奇怪短语”和ChatGPT的“重新回复”按钮

图片来源：pubpeer

面对铁证如山，论文作者不得不向期刊承认，他们确实使用了ChatGPT来帮助起草论文。Physica Scripta的诚信负责人Kim Eggleton后续表示：期刊已决定撤回该论文，因为作者在提交论文时没有声明他们使用了AI工具，“这违反了我们的学术道德政策”。

科研侦探Cabanac表示，今年光是这种误粘贴ChatGPT按钮短语的“社死”论文，他就找到了十几篇。他全给截图发PubPeer上了，并且认为“这只是冰山一角”。

但是，当我们在谈论AI工具所应发的负面影响的时候，更应当看到它们所带来的便捷与进步。下方是Nature向科学家们对AI好处的一项调查，结果发现：科学家们认为AI在“帮助母语非英语的科学家”、编程领域以及加速文献阅读等方面帮助很大。

资料来源：Nature

因此，我们不难看出AI在当下科研工作中已扮演重要角色，并且在未来它们的影响会越来越重要。

我们的态度，不应是一刀切的反对，也不应是对AI带来的各种影响放任不管。生物学家兼数据科学家Roy Kishony表示，我们的目标应当是探索ChatGPT作为科研“副驾驶”的潜力，“我们需要讨论如何才能获得好处，同时减少坏处”。

在技术发展的洪流中，掌握好这一根平衡杆，是不容易的。但也唯有如此做，学界才能获得最长远的发展收益。更重要的是，我们似乎也别无选择——面对AI，我们不必回避，况且也避无可避。

参考文献：

[1] Taloni, A., Scorcia, V. & Giannaccare, G. JAMA Ophthalmol.

[2] https://doi.org/10.1101/2022.12.23.521610 (2022).

[3] https://iopscience.iop.org/article/10.1088/1402-4896/aceb40

点击下方知社人才广场，查看最新学术招聘

扩展阅读

AI那么牛了，来挑战一下同行评议会怎样？

AI在科研中的渗透率，1600名科学家这样说

科睿唯安引入AI评估期刊质量，将持续淘汰学术不端期刊

本文系网易新闻·网易号“各有态度”特色内容

媒体转载联系授权请看下方

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章