不少人开始对同行评审产生了疑问：你们是怎么审核的？数据显示，每年评审专家花在同行评审的时间超一亿小时！然而收效依然甚微。近日，里约热内卢联邦大学教授Olavo Amaral在Nature杂志刊文，呼吁改革同行评审。作为一名同行评审的研究人员，Amaral对同行评审概念如此模糊感到震惊。他表示，同行评审不是用来帮作者检测错误和数据的。人们将严谨的评估与期刊编辑的内容混为一谈。虽然前者是保持研究科学性的关键，但后者是在印刷空间有限的时代不得已的决定。专家审稿人很少，他们的任务很多，他们不可能彻底检查每篇文章的数据，尤其是在数据没有共享的情况下。对于大多数论文来说，检查数据是否有效比评估他们的主张是否合理更重要。研究领域的证据基础是数据，而非结论。
如果评审时未挑出错误或捏造的结果，将永久损害研究者的学术声誉。Amaral不否认专家评审对许多事情至关重要，但同时表示，并非所有发表的研究都需要由专家审查。例如，质量控制方面就不需要专家，甚至不需要另外的人工进行把控。只有在确认数据一致的前提下，才有专家评估论文结论的必要。将同行评审分解为质量控制的模块化步骤可以改进已发表的论文质量，同时能减轻审查的负担。每篇文章都可以接受基本的检查——例如，所有数据是否可用，计算是否成立，分析是否可再现。当然，对于引起专家广泛兴趣或被期刊选择的文章，各领域专家依然可以进行评审。毕竟他们是评估论文结论的最佳人选，但每篇文章都引起他们的注意是不现实的。因此，学术界需要更高效、更广泛适用的质量控制解决方案，使审稿人能够更有效地利用他们的时间，处理数据合理的论文。目前，基本的验证可以通过算法有效地执行。2015年，荷兰的研究人员开发了statcheck。这是一个开源软件包，可以检查心理学文章中引用的P值是否与测试统计数据相匹配。生物医学方面，研究者开发SciScore用于检查例如随机化、实验盲法和细胞系认证等实验结果。该程序已经审阅了数千份与新冠病毒有关的文章。
同行评审去中心化概念的提出由来已久，但由于缺乏数据标准化，实施一直受到阻碍。
这种标准化，目前是个例而不是共识，可以更广泛地应用于数据、代码和元数据。当这些以系统格式共享时，检查它们变得比审查文章的劳动强度更低。据估计，专家每年花费超过1亿小时进行同行评审。如果他们抽出一些时间来就如何在他们的领域构建数据达成一致，他们可能会对质量控制产生更大的影响。为此，从结果到数据采集的认证必须向上游转移，专家审核的应该是文章的，不应是仔细审查手稿，质量控制应该针对实验室和设施，这可以提高结果的透明度和信任度，并为防止错误而不是发现得太晚留出空间。大多数流程级质量控制仍然处于闭门状态，但一些社区已采取措施改变这种情况。例如，基因组学中的各种学会为数据收集和元数据设定了集体标准。粒子物理学长期以来一直由独立团队对数据进行盲分析。实验结果再现中心，如柏林夏里特医学院的QUEST中心已经建立，以监督其机构中多个研究小组的过程。从长远来看，这会增加已发表的论文的可信度，也能改变目前同行评审消耗研究人员数亿小时，但收效甚微的尴尬处境。为了最大化利益，质量控制应该针对数据和过程，然后再转向文字和理论。辨别哪些数据是有效的是科学的基础，应该通过系统的方法而不是专家意见来处理。学术论文频频翻车，一方面，期刊平台要加强数据质量监管，避免一再撤稿损害平台权威；另一方面，所有学科都需要思考，同行评审的意义是什么。
专家该做的，是画龙点睛，不是大海捞针。让专家做专家的事，这才是同行评审的意义所在。
参考资料：
https://www.nature.com/articles/d41586-022-03791-5
更多精彩：
Nature：中美科研合作断崖式下跌
Nature研究生求职大调查：「我的博士同学，曾在殡仪馆工作」
Nature研究生大调查：靠津贴根本吃不饱饭，找兼职和借债维持！
转载：新智元。本文版权归属作者和原载媒体所有。
喜欢本文？欢迎点赞/转发/关注/加入留美申研求职交流社群：
