Redian新闻
>
用ChatGPT写论文靠谱吗?有学者试了一下:漏洞百出,但是个注水的「好」工具

用ChatGPT写论文靠谱吗?有学者试了一下:漏洞百出,但是个注水的「好」工具

公众号新闻



  新智元报道  

编辑:LRS
【新智元导读】虽然ChatGPT写的论文错误太多,但掠夺性期刊应该会接收。(错误尝试!!)


ChatGPT以其强大的文本创作能力,直接问鼎地表最强问答模型。


但强大的AI也会带来一些负面影响,比如在问答社区一本正经地写出错误答案,帮助学生写论文等。


最近arXiv上的一篇论文引发了业界的关注,来自西班牙圣地亚哥-德孔波斯特拉大学的研究人员在文中以「人工智能在药物发现中的挑战、机遇和策略」,这篇论文的特别之处在于作者使用ChatGPT辅助论文写作。


论文链接:https://arxiv.org/abs/2212.08104


作者团队在摘要中的最后一段「来自人类作者的说明」(Note from human-authors)中表示,创建这篇论文是为了测试 ChatGPT (一个基于 GPT-3.5语言模型的聊天机器人)的写作能力是否能帮助人类作者撰写评论文章。


作者设计了一段指令作为文本生成的初始提示,然后对自动生成的内容进行评估。再进行彻底的审查之后,人类作者实际上重写了手稿,努力在原始proposal和科学标准之间保持平衡,文章的最后也讨论了使用人工智能实现这一目标的优势与局限性。


但是还有一个问题,作者列表里怎么没有ChatGPT?(手动狗头)


论文写作方法


本文是在ChatGPT的辅助下生成的,ChatGPT是2022年11月30日发布的一个自然语言处理系统,由OpenAI用大量文本语料库进行训练,能够根据提供给它的输入生成类似人类写作的文本。


就本文而言,人类作者提供的输入包括论文的主题(人工智能在药物发现中的应用)、需要考虑的章节数量,以及每个章节的具体提示和说明。



ChatGPT生成的文本需要经过人工编辑后才能作为最终的定稿,以纠正和丰富内容,避免重复和不一致等问题;并且人类也需要对人工智能建议的所有参考文献进行了修改。


这项工作的最终版本是人类作者在人工智能的协助下进行反复修改的结果,直接从ChatGPT获得的初步文本与当前版本手稿之间的总相似度为:完全相同的4.3%,微小的变化13.3%,相关的意义16.3%。直接从ChatGPT获得的初步文本中,正确的参考文献比例仅为6%

由ChatGPT生成的原始版本,以及用于创建该版本的输入信息都涵盖进来作为Supporting Information


论文摘要中的插图由DALL-E生成。


论文内容


论文总共包括10个section56个参考文献,其中section1-9都只包含1-2个段落,主要描述论文主题「「人工智能在药物发现中的挑战、机遇和策略」」相关的内容;第十个section主要讨论「人类作者对基于ChatGPT和AI的科学写作工具的专家意见」;文章中只有摘要部分包含一张插图。


摘要


人工智能有可能彻底改变药物发现过程,提供更好的效率、准确性和速度。然而,AI的成功应用取决于高质量数据的可用性、对道德问题的处理以及对基于人工智能方法的局限性的认识。


这篇文章回顾了人工智能在这个领域的好处、挑战和缺点,并提出了克服目前障碍的可能战略和方法。


文章中还讨论了数据增强的使用、可解释的人工智能、人工智能与传统实验方法的整合,以及人工智能在医药研究中的潜在优势。


总的来说,这篇评论强调了人工智能在药物发现中的潜力,并对实现其在该领域的潜力所面临的挑战和机遇进行了深入探讨。


人类作者对基于ChatGPT和AI的科学写作工具的专家意见


ChatGPT是一个基于GPT-3.5语言模型的聊天机器人,它的设计目标并非是撰写科学论文的助手,但它与人类进行连贯的对话并就广泛的主题提供新信息的能力,以及它纠正甚至生成计算代码的能力,都让科学界感到惊讶。


因此,我们决定测试它的潜力,为编写关于人工智能算法在药物发现中的作用的简短评论做出贡献。


作为撰写科学论文的助手,ChatGPT有几个优点,包括快速生成和优化文本的能力,以及帮助用户完成几个任务,包括组织信息,甚至在某些情况下连接思想。


然而,这个工具绝不是生成新内容的理想工具。


输入instructions后,还需要人类对人工智能生成的文本进行修改,而且是大篇幅的编辑和修正,包括替换几乎所有的参考文献,因为ChatGPT提供的参考文献明显不正确。


这也是ChatGPT目前存在的一个大问题,它与其他计算工具(如搜索引擎)相比有一个关键的区别,后者主要是为所需的信息提供可靠的参考。


而采用基于人工智能的工具进行写作辅助还存在另一个重要的问题:它是在2021年训练的,所以它并不包括最新信息。


这次写作实验提供的结果就是:我们可以说ChatGPT不是一个有用的工具,在没有强大的人类干预的情况下无法编写可靠的科学文本。


ChatGPT缺乏准确和充分传达复杂科学概念和信息所需的知识和专长。


此外,ChatGPT使用的语言和风格可能不适合学术写作,为了生成高质量的科学文本,人类的输入和审查是必不可少的。


这种人工智能还不能用于生产科学文章的主要原因之一是它缺乏评估处理信息真实性和可靠性的能力,因此,由ChatGPT生成的科学文本肯定包含错误或误导性信息。


同样需要注意的是,审稿人可能会发现区分由人类或这个人工智能写的文章并非易事。


这使得审查过程必须彻底,以防止虚假或误导性信息的发表。


一个真正的风险是,掠夺性期刊(predatory journals)可能利用科学文章的快速生产来产生大量的低质量内容,这些期刊往往受利益驱使,而不是致力于科学进步,它们可能利用人工智能快速生产文章,让不合格的研究充斥市场,破坏科学界的公信力。


最大的危险之一是科学文章中虚假信息的潜在扩散,这可能导致科学事业本身的贬值,失去对科学研究的准确性和完整性的信任,会对科学的进步产生不利影响。


有几种可能的解决方案来减轻与使用人工智能制作科学文章有关的风险。


一个解决方案是开发专门用于生产科学文章的人工智能算法。这些算法可以在高质量、经同行评议的研究的大型数据集上进行训练,这将有助于确保其生成的信息的真实性。


此外,这些算法可以被编程为标记潜在的问题信息,如引用不可靠的来源,这将提醒研究人员需要进一步审查和核实。


另一种方法是开发能够更好地评估其处理的信息的真实性和可靠性的人工智能系统。这可能涉及在高质量科学文章的大型数据集上训练人工智能,以及使用交叉验证和同行评审等技术,以确保人工智能产生准确和值得信赖的结果。


另一个可能的解决方案是为人工智能在科学研究中的应用制定更严格的准则和法规,比如包括要求研究人员披露他们在制作文章时使用了人工智能,并实施审查程序以确保人工智能生成的内容符合某些质量和准确性标准。


此外,还可以包括要求研究人员在发表前彻底审查和核实人工智能生成的任何信息的准确性,以及对那些未能这样做的人的惩罚,教育公众了解人工智能的局限性和依靠人工智能进行科学研究的潜在危险也可能是有用的,可以帮助防止错误信息的传播,确保公众能够更好地区分可靠和不可靠的科学信息来源。


资助机构和学术机构可以通过提供培训和资源,帮助研究人员了解该技术的局限性,在促进科学研究中负责任地使用人工智能方面发挥作用。


总的来说,解决与在科学文章制作中使用人工智能相关的风险,将需要技术解决方案、监管框架和公共教育的结合。


通过实施这些措施,我们可以确保人工智能在科学界的使用是负责任和有效的。研究人员和政策制定者必须仔细考虑在科学研究中使用人工智能的潜在危险,并采取措施来减少这些风险。


在人工智能能够被信任以产生可靠和准确的信息之前,它在科学界的使用应该是谨慎的,必须仔细评估人工智能工具提供的信息,并使用可靠的来源进行验证。

参考资料:
https://arxiv.org/abs/2212.08104




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
大火必死!澳洲UNSW学生被教授揭发利用ChatGPT写论文,最终被学校判作弊挂科!成为用AI作弊被抓包第一人ChatGPT到底有多聪明?我测试了ChatGPT的数学能力用ChatGPT写物联网专业稿子是什么水平?3死5伤,美枪击案致中国留学生瘫痪,这所大学竟自曝用ChatGPT写悼文!她用ChatGPT写了一篇文章,日赚14000元情人节也是假的!全球30%男性打算用ChatGPT写情书了英国大学生用ChatGPT写论文竟得高分!英国大学警铃大作,将如何应对?面对道德绑架我用ChatGPT写论文:关于沟通的专题研究挺能忽悠也会瞎编!ChatGPT一小时生成的研报刷屏,内容靠谱吗?有券商分析师直呼,"肯定会替代人工"美国大学很头痛:89%的学生居然用ChatGPT写作业iPhone 14 Pro将全系降价700元;12.4万保时捷首单买家发声;以色列总统使用ChatGPT写演讲稿丨邦早报我用ChatGPT写了一封情书,能感动Ta吗?ChatGPT讲座:ChatGPT并不神秘,但ChatGPT很神奇“用ChatGPT写论文拿到全班第一后,我翻车了”“美版今日头条”宣布用ChatGPT写稿,股价暴涨119%巴西队回家了!造娃养娃,才知道有这特殊医疗保险-美洋插队生活实录(十六)我,出国留学第二个月,找ChatGPT写了一篇论文抖音超市正式上线;全网整治“服刑梗”相关内容;“美版今日头条”宣布用ChatGPT写稿后股价暴涨 | 一周简讯用ChatGPT写书在亚马逊上卖 有人似乎找到了“金矿”!89%美国大学生竟用ChatGPT写作业!纽约大学教授警告:用AI就是剽窃我用ChatGPT写周报,“卷死”同事用ChatGPT写英语作文靠谱吗?我用ChatGPT写神经网络:一字不改,结果竟然很好用大学生用GPT-3写论文遭重罚,拒不承认!大学论文已「死」,ChatGPT或引发学术圈大地震再也不能用ChatGPT写作业了!新算法给AI生成文本加水印,置信度高达99.999999999994%早财经丨国内有学生用ChatGPT撰写论文,老师:无法查出来;建行工行多个网点终止营业;土叙两国地震遇难者已超2万人“杭州3月1号取消限行”?这是网民用ChatGPT写的假新闻!警方已介入调查,概念股也大面积回落大学生用GPT-3写论文遭处罚!ChatGPT或引发学术圈大地震...89%美国大学生竟用ChatGPT写作业?实测轻松通过斯坦福和宾大沃顿期末考试!立足工农大众的新秧歌运动掀起真是急死人了…突发!IB课程首次公开允许学生用ChatGPT写论文89%美国大学生用ChatGPT写作业?国外顶尖在线教育网站都坐不住了
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。