Redian新闻
>
AI顶会审稿人竟是本科生?女物理学家发推吐槽,圈内大佬纷纷点赞

AI顶会审稿人竟是本科生?女物理学家发推吐槽,圈内大佬纷纷点赞

公众号新闻



  新智元报道  

编辑:Joey
【新智元导读】最近,一位来自洛桑联邦理工学院(École polytechnique fédérale de Lausanne (EPFL))的女物理学家Lenka Zdeborova在推特上吐槽顶会的审稿人筛选机制,引发了众多学术圈大佬共鸣。

你以为的学术顶级会议期刊审稿人,都是来自各自领域的大牛?

事实上,你辛辛苦苦几个月做的研究论文,审稿人很有可能是一群本科生或研究生?

最近,来自洛桑联邦理工学院(École polytechnique fédérale de Lausanne (EPFL))的女物理学家Lenka Zdeborova就在推特上吐槽顶会的审稿人机制。



研究生院的申请人就已经有顶会审稿经验?而且数量还不少。


我正在审查EPFL计算机科学研究生院的申请,我看到许多申请人都有担任顶级ML会议审稿人的经验,我想知道如果同行评议的很大一部分是由本科生完成的,我们为什么还要费心去进行同行评议!?


Lenka Zdeborová是EPFL的物理学和计算机科学教授,她领导计算机学院的统计物理学科。


她是Journal of Physics A、Physical Review E、Physical Review X、SIMODS、Machine Learning: Science and Technology、Information and Inference等众多学术期刊的编委。


Lenka擅长的领域是将统计物理学的概念(例如高级平均场方法、复制方法和相关消息传递算法)应用于机器学习、信号处理、推理和优化中的问题。



一些圈内人士也表示赞同,研究生一年级的学生竟然已经可以在顶会审稿,而且没有人觉得这是个问题。



你以为的审稿人是这些学界大佬,事实上其实是他们带的本科生或研究生......



知乎答主「卡卡卡卡比」认为这种现象已经是司空见惯了,从ICLR到AAAI,审稿人的水平参差不齐,保不齐你的paper就落到了某个本科生手里。


抱怨完审稿人水平之后,关键还是要思考如何能够写出让大家make sense并且能兼顾大多人审稿taste的工作。


来源:卡卡卡卡比


另一位答主「歇斯底里i」也认为,审稿人很少懂你的领域,所以你要把论文的结果清晰明了地呈现出来,让别人看不懂就是你的问题了。


来源:歇斯底里i


顶会审稿到底怎么审


那么顶会审稿究竟怎么审?


同行评审(Peer-review)是现代科学的基石,几乎所有机器学习 (ML) 顶会(如NeurIPS、ICML、AAAI)都依靠它来决定提交的论文是否与社区相关,以及原创性是否足以在那里发表。


不幸的是,随着过去十年提交文章数量呈指数级增长,审稿质量也以同样快的速度下降。


如果您曾经向其中一个会议提交过论文,在为您认为是一个绝妙的想法而努力工作了几个月之后,您得到的是糟糕的、无用的,而且(更糟糕的是 ) 具有讽刺意味的评论意味着你将不得不重新经历一次提交过程,而没有任何关于你的论文存在什么问题的提示。


图灵奖获得者Geoffrey Hinton在2018年接受 Wired 杂志采访时给出了造成这种情况的原因之一:


现在如果你提交的论文有一个全新的想法,它根本就没有机会被接受,因为这些年轻的初级审稿人根本无法理解。


或者它会遇到一位高级审稿人,他审阅了太多的论文,第一次看并不理解,并认为它一定是胡说八道。我认为这真的很糟糕。


知乎答主电光幻影炼金术对审稿被拒做了个假设,如果你发现你的论文因为一些概念问题审稿人没理解被给了低分,有三种可能:


(1)审稿人是个本科生/低年级博士生,他看不懂这些概念。


(2)审稿人是个超级大佬,他很重视基础概念问题,并且他已经不做这个领域多年。


(3)审稿人是个超级大佬,但他没有时间,他交给了他的低年级博士学生来审稿。所以说,学术圈就是一个轮回,本科生的表现和超级大佬最像。


  • 你以为理想中的审稿人:

周一打开论文,看看摘要,速读一遍,评估一下novelty。周二细细看方法,挑挑毛病。周三看一下实验,看看baseline的相关论文,查对实验细节。周四开始写审稿意见,决定审稿分数。周五补充一些审稿意见,提交审稿分数。


  • 实际审稿人:

周一上午八点打开审稿论文,读了读摘要,感觉没什么novelty。看了看图片,感觉不看正文看不明白。翻到后面看了看实验数字,感觉提升也不大。看看方法,四页好多看不完。下午还有事,给个5分走人吧。周一上午十一点半结束审稿工作。



我们再来看看ICML2022的审稿规则:



  • 选题意义:

这部分评审的目的是向MR(Meta-reviewer)和作者展示您对这篇论文的理解程度以及您对这篇论文的看法。

  • 写作创新性、相关性、重要性:

它们与我们的社区相关吗?它们是新的吗?如果答案是否定的(或部分否,例如,引用早期论文中的精确结果),则需要一个精确的理由,以便作者知道如何修复论文。

  • 健全性:

理想情况下,一篇论文提出的主张应该得到理论论据或实验结果的充分支持。

  • 写作质量:

这篇论文是否组织良好并且写得很清楚?它是否很好地解释了新颖性和结果?该论文是否包含支持其声明所需的足够信息?

  • 参考文献:

这篇论文是否被恰当地置于当代文学中?如果没有,请具体说明缺少的内容。请注意,由于论文有页数限制,因此通常需要判断是否应提及结果。


而这些属于第一阶段审稿人的审核标准,符合审核标准的则可以进入第二阶段。

通过第一阶段的论文,会再经过元审稿人(MR)、项目主席过目,之后还会有额外的审稿人来确保论文审核质量。



而为什么现在的顶会审稿人的水平参差不齐,甚至冒出了一群本科生和研究生,原因主要在于行业发展太快,投稿量的增加速度远高于合格审稿人的培养速度。



这不仅导致有能力审稿的人占比少了,而且有能力的审稿的人对每篇文章能投入的时间也少了。


参考资料:

https://towardsdatascience.com/reviewing-for-machine-learning-conferences-explained-f73bc037babc

https://twitter.com/zdeborova/status/1612841482192388098

https://www.zhihu.com/question/461564257/answer/1908243034、




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
芝加哥职业心理学院,专注心理学职业教育的高校(上)| 心理学相关硕博项目美国大学规划: 什么样的学生更需要做升学规划准备?全A学生?中等生?成绩较差学生?Costco本周门店实拍:世界是属于买菜的!物理学不存在了,但料理学永远存在!本科生狂发3篇顶会,已经卷到如此地步了吗?谈书说人之一:《理论物理学教程》是怎样写成的? | 中国物理学会期刊网宇宙是模拟的,我们都是NPC!物理学家称可证明但还差160万,网友:急需外挂美国天才男孩9岁高中毕业 打算冲击顶尖名校 成为天体物理学家!有人说ChatGPT有物理学博士水平?我们的测试结果令人…… | 中科院物理所限时领 | Facebook创始人扎克伯格给女儿的科学启蒙课52集,著名物理学家讲解真独特什么样的学生更需要做升学规划准备?全A学生?中等生?成绩较差学生?《美国升学直通车》习近平:要投降,也得给个面子吧?1977年军委会议合影成人网站女星专挑已婚男聊天, 一次$1000!妻子们却纷纷点赞......《流浪地球2》的太空电梯已被这名物理学家研究了20年,他有话要说《共迎时代挑战共建美好未来》足球队聘请了物理学家!有人说ChatGPT有物理学博士水平?中科院物理所的测试结果令人……SCI论文投稿时,如何推荐审稿人?(2023)ICLR盲审阶段被审稿人赞不绝口的论文:会是Transformer架构的一大创新吗?澳女分享省钱妙招!一个小举动就能节省数千刀,网友纷纷点赞成人网站女星专跟已婚男聊天,1小时收$1000!妻子们却纷纷点赞从美国杰出科学家看聪明基因的遗传美国心理学家发现:家里玩具越“多”,孩子长大后越“笨”与中国擦肩而过的传奇女物理学家,曾与两弹一星元勋相恋爆炸性消息!-269℃→21℃!美科学家宣布突破“室温超导”技术,颠覆物理学?顶会审稿人:如何写一篇论文?先苦后甜和生日庆祝早财经丨网传一教师发表不当言论,南京航空航天大学回应;西安印发应急预案:必要时停工、停业、停课;颠覆物理学?美科学家宣布新突破怎么尿才不会溅到自己身上?物理学家给你答案物理学家看《三体》电视剧是什么体验?历年物理碗参赛者经验分享,备赛时不要错过这些物理学书籍和网站!!百亿私募大佬纷纷亮出兔年策略“底牌”顶会审稿人:论文的这些坑不要踩!用量子理论凭空生成能量:物理学家学会使用零点能大佬跳槽,微软谷歌大战!近一个月前的文章竟是篇「神预言」
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。