学术评价是杆秤，期刊不是唯一准星
海归学者发起的公益学术平台
分享信息，整合资源
交流学术，偶尔风月
对于科研人员来说，在更好的刊物发更多的论文是促进自己职业发展的重要途径，而出版商们也希望以刊物、论文为中心的科研评价机制能延续下去，对他们来说也最有利。但是对于社会大众和管理机构来说，更期待科学家们拿出更多更好的科研成果来促进生产力的发展和社会环境的改变，并且希望公共资金被投向更有希望的方向而不是被无效的浪费。因此，如何更有效的评估科研成果的真实影响显得更加重要了。
图源：pixabay.com
学术影响通常是指一项研究成果在学术界内所获得的认可和影响力，同行评议、引用、学术报告等环节都可以体现这项研究的影响，而实际影响则是指该研究对实践、政策、经济以及社会大众等方面的改变。学术影响和实际影响之间存在一定的联系，但并不能完全划等号——有些研究可能在学术界有很高的声誉，但在社会上没有明显的效果；有些研究可能在社会上有很大的价值，但在学术界没有得到足够的认可。
但是我们必须清醒的看到，无论人们怎么评估学术影响，它毕竟只代表了学术界的人们对于一项新研究的认可程度，但是这项成果究竟对现实世界会有什么影响则完全是另一回事。在目前的主流体制下，对大多数科研人员的激励基本简化为了在高影响刊物上发文，只要发的足够多，就能够赢得一切。但是发在好刊物上的就是好论文吗？
图源：pixabay.com
期刊影响力通常是指期刊的影响因子或其他基于期刊平均被引次数的指标，但这与在该期刊上发表的单篇论文的质量并没有直接的关系，影响因子虽然可在一定程度上表征其学术质量的优劣，但影响因子与学术质量间并非呈线性正比关系，比如不能说影响因子为5.0的期刊一定优于影响因子为2.0的期刊，影响因子不具有这种对学术质量进行精确定量评价的功能。
期刊的影响因子是一种回溯性指标，它只代表了在过去一段时间内发表在这份期刊上论文的总体学术影响，而这种总体性的指标无法告诉人们一篇单独论文在未来会产生什么影响，即使仅仅考虑它在学术界内部的影响也无法预测，更不用说这项研究会给现实世界带来什么样的变化。
一般情况下，一份期刊的影响因子越高，意味着有更多的人选择向该期刊投稿，因为如果能够在高影响的期刊上发论文，对研究人员简历的“美化”作用更强，虽然很多国家的大学和机构都在弱化这一因素，但是目前来说依然很重要。而从期刊的角度来说，收到的投稿越多，选择余地也越大，理论上编辑们能够选择“更好”的论文来发表，但是请注意这只是理论上，什么样的论文算是更好的仍然是一件很主观的事，取决于不同的编辑和审稿人的看法。因此我们没法说发表在高影响力期刊上的论文就一定具有高影响力，一篇论文获得足够的引用可能需要好几年的时间，平均来说可能十年以上才能获得它最大的引用数。
虽然一篇论文的影响力不能直接“继承”期刊的影响力，但这并不意味着它的学术影响力不受期刊的影响。排名更高的期刊可能具备更高的知名度，意味着能够读到它的人也更多，而更多的读者可能会带来更多的引用。期刊历史声誉可能会带来对论文质量的更大信任，以及对论文的重要性给出更高的估计和更多引用的潜力。
期刊层面的影响力助长了学术影响力，而学术影响力反过来又带来了更广泛的潜在影响。
图源：Charlie Rapple
研究影响由更广泛的影响组成，其中大部分反馈都来自于学术界以外的改变。事实上，许多人对“研究影响”一词的定义是明确排除学术影响——即“现实世界的真正变化”，而不是小圈子里的自娱自乐。它可以被分解为许多不同的种类，如技术的变革，大众观念的更新，政策的调整以及在文化领域的影响，在短期内，这种“更广泛的影响”完全可以独立于学术界，而依照公众对新成果的了解程度和对它的态度而实现不同程度的影响力。在这个意义上，一篇论文发表在何种期刊上的重要性降低了，而大众传媒则对于它本身的质量更加关注，那些能够带来真正显著变化的研究成果无疑会获得更多的关注度和更快、更广的应用速度。
说到底，研究工作本身的研究质量、覆盖范围和相关性才是根本，一项研究在其领域推进的幅度越大，产生的后续进展也就越多——这反过来又会获得更广泛、规模更大的影响，无论是在学术界还是在公众当中。
但是如何衡量一项研究产生的真正影响，实际上并不容易，因为这种影响可能是间接的，难以测量和评估的，需要很长时间才能显现的，但是对于大多数研究资助机构来说，跳出学术小圈子的局限，把资金投向那些真正有价值的研究项目一直是不懈的努力方向。
英国于2014年推出了卓越研究框架（REF），并于2021年改进了相关机制，通过为研究影响打分来衡量英国大学的研究质量，其定义为对“经济、社会、文化、公共政策或服务、健康、环境或学术界以外的生活质量作出改进”。
自由数据学家 Martin Szomszor 认为可以系统的跟踪研究结果和政策措施之间的联系，因为政策文件中对论文的引用可能比高阅读量期刊中的引用更有意义，这表明研究结果确实改变了政府行为。他的数据分析发现，2010年社会科学和人文科学期刊上的文章的近3.7万篇文章在接下来的十年中产生了近26万次政策引用，即每篇文章几乎有7次政策引用。相比之下，2010年有近1.8万篇文章发表在物理科学和工程期刊上，但这些文章在同一时间段内产生了约6.3万次政策引用，每篇文章约3.5次政策引用。
联合国下属的世界知识产权组织使用可持续发展目标（SDGs），即联合国制定的17个解决全球最大挑战的目标，来衡量研究成果对社会、经济和环境的贡献。同样，荷兰莱顿大学的CWTS Leiden Ranking也是一个基于SDGs的排名系统，它根据研究机构在不同领域的出版物数量和引用次数来评估其对SDGs的贡献。
一名海洋生态学家在一个监测站工作，监测气候变化对红海珊瑚的影响。
图源:Lukasz Larsson Warzecha/Getty
另一些研究者则尝试采用替代指标（altmetrics），即利用社交媒体、新闻报道、政策文件等非传统来源来衡量研究的传播和影响。替代指标的名称来源于传统的学术成功指标，如引用次数、期刊影响因子和作者H指数。替代指标可以应用于文章、人员、期刊、书籍、数据集、演示文稿、视频、源代码库、网页等各种形式的研究影响。替代指标可以帮助科学家、出版商、基金机构和政策制定者更全面地了解研究的影响力，以及研究与社会的联系。但是批评者认为这实际上只是鼓励了研究者更加卖力的“吆喝”而不是努力的创新，这种指标对于资助倾向的影响也是非常有限的。
以上方法显然都有着各自的优势和局限性，衡量科研的社会影响力是一个复杂而多元的过程，需要科学家、政策制定者和评估者之间的沟通和协作需要根据不同的目的和背景来选择和组合使用。
多年来，时代的风气已经朝着对出版商有利的方向吹了很长时间；现在风向似乎在改变。期刊影响因子作为研究质量和影响代表的主导地位受到了挑战，科技管理部门、资助机构和社会大众都开始更加关注科研工作的真正价值而不是放任学术界浪费时间和资源，与之相匹配的学术评价体系和资源分配方式也面临着根本上的变革。虽然衡量研究成果的真实影响面临着诸多挑战，但是无论如何，多元化的学术评价体系，其纠错和包容的能力显然会优于过于看重传统的期刊、论文、影响因子等单一指标的现行评价方式。
点击下方知社人才广场，查看最新学术招聘
扩展阅读
微信扫码关注该文公众号作者