如果同行评而不审, 成果无人复制, 学术质量的黑洞会有多大？
海归学者发起的公益学术平台
分享信息，整合资源
交流学术，偶尔风月
编者按：保罗·萨特 (Paul M. Sutter) 是纽约州立大学石溪分校高级计算科学研究所的理论宇宙学家，也是纽约市 Flatiron 研究所计算天体物理中心的客座研究员。他是一位屡获殊荣的科普作者，本文摘自他的新书《拯救科学：在数字时代恢复信任》，认为目前学术界缺乏有效的激励机制来鼓励更多的科学家对学术产出进行监督，相反，对于过度发表的激励机制倒是非常有效。
图源：Enlarge
现代科学是艰难而复杂的，需要经过许多过程和多年的艰苦努力才能建立起来。而且几乎所有现代科学都是基于计算的。除了少数（我的意思是极少数）坚持用笔和纸写下东西的顽固理论家外，几乎可以肯定的是，任何科学领域的任何论文，在过程的某个步骤中都涉及计算机。
无论是研究鸟粪还是星系碰撞，现代科学的存在和持续存在都归功于计算机。从凌乱的桌子上的笔记本电脑到占满整个房间的巨型机器，“计算机先生”应该是每年300万篇已发表的期刊论文的合著者。
现代科学极其复杂，而且依赖科学家自己或者细分领域的专用软件，这使得防范学术欺诈的第一道防线失效：这一防线就是同行评审。
同行评审的做法是与现在完全不同的时代背景中发展起来的，当时能够得出论文结论的论据和分析过程都可以很容易的在论文中找到。想知道作者是如何得出这个结论的吗？推导过程就在那里。判断一篇文章的“错误”相对容易，因为评审员可以从头到尾、从开始到结束跟踪这篇文档，并且拥有评估它所需的所有信息。
现在，由于现代科学事业如此依赖计算机，同样的事情在很大程度上变得不太可能了。
更糟糕的是，科学研究中使用的许多软件代码都不对外公开。我再说一遍，因为这简直令人难以置信：每年发表的数百万篇论文都依赖计算机软件来产生结果，而这些软件无法供其他科学家来检查它的正确性。我们只能信任它，但“信任”这个词在科学家的优先事项中排在很后面。
为什么科学家不公开他们的代码？归根结底，原因和科学家不做很多可以改善科学进程的事情是一样的：没有激励。在这种情况下，在网站上发布代码不会获得任何引用量，只有发表论文才能获得它们。
图源：https://pixabay.com/
当我对论文进行同行评审时，整个过程总是让我感到无比焦虑：如果我看不到所需要的信息，我该如何判断一篇文章的正确性？如果发表结果背后的计算机代码可以被修改和扭曲以产生任何作者想要的结果，而且没有人会知道这种扭曲的存在，那么评审有何意义呢？
随着时间的推移，科学变得越来越复杂，越来越依赖软件代码来保持流程运转。这使得硬件和软件方面的欺诈行为更容易实现。从无心之失到有目的的寻找“提高效率”的工具，再到完全伪造数据和结果，科学界累计的错误正在飞速增长。
同行评审是打击科学错误的第一道防线，但从根本上讲，它已经失效，完全无法保证过滤掉无意的错误和的有意的欺诈。评审员没有时间、精力或意愿仔细审查新研究，即使审稿人心血来潮追根究底，无论是揭露致命缺陷还是察觉了作者的欺诈企图，解决的方法都很简单：换一份期刊再投一次就好了。
图源：@Stock
由于同行评审的失败，科学诚信的外墙被突破，学术界必须转向第二道防线：复现。
复现是指另一位科学家（最好是“成心找茬”的竞争科学家，因为他们最想做的就是打败对手）可以重复已发表期刊文章中描述的实验。如果他们得到相同的结果，那就欢呼吧！科学进步了。如果他们得到不同的结果，那就欢呼吧！科学也进步了。无论如何，这都是胜利。
但是非常遗憾的是，几乎没有人愿意做这件事，而当他们真的这样做时，往往会发现论文的原始结果并不成立。这在科学界被称为“复现危机”，它首先出现在2010年代的心理学领域，但我认为其实所有领域都无法幸免。
导致复现危机的原因纷繁复杂，一言难尽，但最主要的问题则是明显的：复现几乎没有回报。复现别人的论文，你只能确认其他人是否真正解释了或者创造了新事物，而科学界更看重你是否带来了创新，潜台词是：你管别人有没有创新呢？新颖性被视为一种美德，如果一项实验没有得到积极的结果，期刊就不太可能有兴趣发表这个结果。
复现不够“酷”，所以即使完成了，也不会有人阅读。复现研究不会在高影响因子期刊上发表，复现研究的作者也不会获得太多的引用。这意味着他们的 h 指数较低，从而降低了他们获得资助和晋升的机会。其次，由于科学过程的复杂性，复现正在变得越来越困难。由于工具复杂，数据堆积如山，统计分析复杂，实验设计繁琐，代码繁多，很多情况下，即使你想复制别人的工作，也几乎无法实现。
就像学生交给老师的作业，如果他知道老师不会仔细看，事后也不会有人来检查，那么在作业本上胡写乱画来完成课业任务就会变成一项很有诱惑力的选择。
如果按照学术界看重的指标，论文正在变得史无前例的多，看起来科学研究正在不断取得进展，但事实真是如此吗？
虽然撤稿和更正时有发生，但相比于人们怀疑的、潜在的学术不端的数量，撤稿和更正实在是太少了。每个科学领域的现状都为欺诈行为的发生提供了条件，但没有人开发出足够完善的监管系统来治理欺诈行为——在一个极端案例中，一家期刊在收到撤回申请的35 年后才发布撤稿通知。导致全面撤稿或更正的调查并不常见，同时，每年发表的科学论文实在太多了。浏览 Retraction Watch、PubPeer等网站就会发现，欺诈行为从未停止，而检举揭发则通常来得太晚，几乎没有造成重大影响。
没有人有时间阅读他们所在领域的每一篇重要论文。分析、数学、术语、情节和文本，就像一股永无休止的浪潮。每个科学家都尽可能多地写作、产出，而不会真正深入研究现有文献。以我的领域天体物理学为例。每天，这个领域都会诞生大约 40到60篇全新的天文学和天体物理学论文。注意是每一天，甚至节假日也是如此！根据一项调查，一些科学家声称他们每周阅读大约五篇论文。在我看来，这是一个谎言，或者至少是夸大其词，因为“阅读”一词的定义各不相同，从“阅读标题、摘要、结论和漂亮的图片”到“将这项工作吸收到我的研究领域中”，可能都算“阅读”。
绝大多数已发表的科学论文并没有被其目标读者群所阅读。相反，大多数科学家只是浏览新书名，寻找一些引人注目的内容，或者在文献搜索中挖掘参考文献作为引用。我们只是为了发表而发表，希望某篇论文被大量引用，或通过走量来积累同样数量的高 h指数。
这正是欺诈之所以存在而且逐渐泛滥的真正原因：没人在乎你在这里或那里捏造数字，因为实际上没几个人会读这篇文章，甚至连审稿人也不会！你在论文中得出的结论将成为更多工作的基础——甚至可能是一个研究方向。
如果我们都知道并且同意，欺诈是坏事，未纠正的错误是坏事，无法复制的结果也是坏事，但是为何坏事不会消失呢？简而言之，没有动力去清理这些坏事。目前科学界的激励是“发表或者灭亡”，而不是浪费时间进行仔细的同行评审、公开代码或复制结果。
我并不是说大多数科学家都在试图故意造假。我确实相信大多数科学家都是好人，他们想为这个世界做好事。但是，由于所有的激励机制都如此一致，你很容易说服自己，你所做的并不是真正的欺诈：
如果你拒绝公开你的代码以供审查，你是在欺诈吗？还是在正义地保护你的研究投资？
如果你不得不扭曲分析以获得可发表的结果，你是在欺诈吗？还是最终得出了你发自内心所坚信的答案？
如果你没有检查你的工作是否有错误，你是在欺诈吗？或者你只是.经过了长时间的努力完成了工作，疲惫不堪的稍微忽略了一些事？
如果你因为审稿人过于挑剔而驳回了你的文章，你是在欺诈吗？还是在抗议一位不讲道理的同行评审员？
科学家们并没有真正受到激励去改变这些问题。这个系统已经存在并且“有效”；它允许选择赢家和输家，赢家将获得资助、终身职位和豪车。好吧，也许没有豪车。大学没有动力去改变这些做法，因为只要他们的赢家继续带来资助，他们就会在纳税人资助的无边海洋里畅游。
图源：LIGHTSPRING/SHUTTERSTOCK
最不愿意改变这一切的人就是出版商：如果一种商业模式几乎没有风险稳赚不赔，谁想改变它？许多出版商让科学家付费才能发表他们的研究成果，而他们不必为同行评审付费；科学家想要阅读论文，需要支付几十美元才能访问一篇文章，或者支付高昂的订阅费用才能获得年度访问权限。唯一能负担得起的人是富有的大学和图书馆，这种模式把大多数现代科学进步锁在了镀金象牙的大门后面。
总的来说，科技出版业每年收入约 100 亿美元，利润率通常达到两位数。他们当然不希望这艘船改变航向。我真的不能责怪他们；他们只是按照自己游戏的既定规则行事。
扩展阅读
微信扫码关注该文公众号作者