国际科技财经博客移民网络热点娱乐民生时事公众号

>

NeurIPS24评审结果遭全网吐槽，惊动LeCun！评审员打低分，严重贬低论文贡献

NeurIPS24评审结果遭全网吐槽，惊动LeCun！评审员打低分，严重贬低论文贡献

公众号新闻

2024-08-10 05:08

新智元报道

编辑：桃子

【新智元导读】NeurIPS 2024评审结果一出，成了全网吐槽重灾区。

每年AI领域的国际顶会，少不了「大事」发生。

前段时间，NeurIPS 2024论文评审结果终于出炉了，网友们开始「拉群」吵成了一片。

这时，有网友爆出黑料：

「一些评审人严重贬低论文贡献，用不合理的标准评判，甚至忽视论文相对于其他工作的实际改进」。

他认为，这可能是竞品的作者，发现后做出不诚实的评审。

就连LeCun大佬也来围观，立即转发了该帖。

作为领域主席，我告诉作者：如果你遇到了这种情况，请联系领域主席（AC）。

作为一个作者，我想问：如何恰当地指出这种行为，并在合法批评和过度把关之间找到平衡点？

另有网友放出NeurIPS评审员经典评论：这个解决方案不是新的，并且已经被大量研究过了。

今年，是NeurIPS第38届年会，将于12月9日-15日在温哥华召开。

根据Paper Copilot收集的数据统计，截至目前，得分平均分布均在3-6分之间居多。

论文被打低分，究竟是谁的问题？

NeurIPS论文低分一片？

一位来自UT Austin的副教授，也是NeurIPS这届顶会的领域主席（AC）之一，阐述了自己所看到的现象。

他表示，在自己负责的一批论文中，已提交了48篇中的16篇评审。

到目前为止，我还没有看到一个正面评价，要么是评审员变得非常严格，要么是论文质量下降了？

今年，NeurIPS收到了很多「回收利用」的论文。

另一位AI研究员同样表示，要么就是论文质量下降，要么我就是大家口中讨厌的2号评审员。

在他审阅的论文中，基本上都给了2-4分。

另有评审员表示，「在我负责的这批62篇论文中，平均评分是4.3分，标准差为1。所以如果你最初得到低分，也不要灰心」！

可见，这次NeurIPS顶会论文作者都挺不好受，想要获取高分并不容易。

大模型参与评审

而且AI火了之后，大模型也被用来论文评审。

这次，NeurIPS 2024也不例外。

Reddit网友评论道，自己用一个月的时间审核6篇论文，当看到自己得到的是LLM的评价，真的很受伤。

还有人指出，在自己审阅的论文中，至少发现了3篇由大模型生成的评审意见，很可能还有更多，其中3篇明显是直接复制粘贴了ChatGPT输出，完全没有阅读论文。

这些评审都给了6分，Confidence为4，与其他所有人的评价完全不一致。

更有网友评价道，「论文评论的质量很低」。

一个评审者混淆了我们方法的基线，另一个评审者混淆了基线的派生（正如我们的工作所批评的那样）和我们方法的派生。我怀疑一些评论是由LLM产生的。

这届评审怎么肥事？

有人指出这本是NeurIPS官方组委会的问题。

对于NeurIPS的评审，6分的描述完全、彻底、奇怪地错误。

通常情况下，给6分就意味着拒稿。但它却被描述为一篇有中等到高影响力，且没有问题的论文？

难怪新评审员给出如此低的分数！

在NeurIPS评分规则中，给6分的介绍——Weak Accept。

技术上扎实，具有中等到高影响力的论文，在评估、资源、可重复性、伦理考虑方面没有重大问题。

今年6月，NeurIPS一位AC分享了很多关于顶会评审的更多信息：

他负责的一批共有13篇投稿，所有论文都已自动分配了四位评审员。

有趣的是，50%的评审员是博士生，还有几位硕士生和本科生也是评审员。

13篇论文中有5篇的评审员中，没有任何一位的职位高于博士生。

在这位AC负责的所有评审员中，有3位正教授，1位副教授，4位助理教授，9位业界专业人士，以及2位来自国家实验室的人员。其余的是博士后/研究科学家、博士生、硕士生和本科生。

对于这届的NeurIPS评审，你怎么看？

参考资料：

https://x.com/papercopilot/status/1818392051995791556

https://x.com/GaelVaroquaux/status/1818953424357970097

https://x.com/sahar_abdelnabi/status/1819082177881297144

https://x.com/qixing_huang/status/1811231112166785414

https://x.com/AurelienLucchi/status/1818625639865327945

https://www.reddit.com/r/MachineLearning/comments/1efscr2/d_neurips_2024_paper_reviews/

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章

相关阅读

基因决定你爱不爱咖啡？Neuropsychopharmacology | 科学家发现机体遗传因素与咖啡摄入之间的神秘关联 NeurIPS 2024 Workshop征稿启动！科学基础模型：进展、机遇和挑战 [干货] “文化差异”究竟用 culture shock 还是cultural shock？DeepMind CEO称AI智力不如猫！LeCun持相同看法！曝光谷歌新项目AI将突破聊天限制【无中介费已拿房】【Church Park 8月入住找室友合集】【好隔断超大户型】【NEU/NEC/Berklee学区房】CVPR世界第二仅次Nature！谷歌2024学术指标出炉，NeurIPS、ICLR跻身前十历史性贡献和卓越影响力-佐治亚州盛赞现代汽车的贡献外网吐槽亚裔家庭生活，太真实了哈哈哈哈惊险！多伦多华人区公园倾倒煤炭，旁边就是电箱险些引发大火，惊动消防，网友怒了！波特兰旺财被殴打，惊动警方！警察局重案组全城通缉！假开源真噱头？Meta再陷「开源」争议，LeCun被炮轰Meta只是开放模型成立半年就敢踢馆 OpenAI ，首个开源模型不输 GPT-4o，LeCun 、PyTorch 之父齐声叫好！[围观]刚上时疯抢！ Lululemon新品现被喷得下架！全网吐槽丑爆！“他们在想什么”李飞飞、吴恩达、LeCun联名抗议加州AI限制法案！【限时免中介费】【Church Park 现房+排位】【NEU/NEC/Berklee/BU/橙线/绿线】国自然评审结束！跟着七大生信热点做研究，有人想提前一年抢跑了...“有福我不享，没苦我硬吃”！安徽老太被全网吐槽，越看越窒息……ChatGPT「秘方」竟在拖LLM后腿？Karpathy、LeCun联手开怼RLHF！推动LGBT的真正幕后黑手是谁？LeCun新作：神经网络在实践中的灵活性到底有多大？ACL 2024论文盖棺定论：大语言模型≠世界模拟器，Yann LeCun：太对了菲尔兹奖得主亲测GPT-4o，经典过河难题破解失败！最强Claude 3.5回答离谱，LeCun嘲讽LLM GPT-4不是世界模型，LeCun双手赞同！ACL力证LLM永远无法模拟世界宠妻魔人？扎克伯格赠爱妻"巨雕示爱"，网吐槽：呃不是很好看离谱！留学生伪造亲爹死亡证明，冒领美国名校全额奖学金！结果遭开除学籍+遣返回国！记者写的一篇报道，惊动大领导，省委书记被免职，一人被枪决人到中年，成功转行机器学习工程师？国外小哥狂刷吴恩达LeCun，教你18个月转行【Berklee校内/NEU/NEC】【高级公寓Condo】【Studio-3B全户型】【$2600起】【健身房户外泳池】刚上时疯抢！ Lululemon新品现被喷得下架！全网吐槽丑爆！“他们在想什么”图灵巨头再次决裂！Hinton支持的加州AI限制法案初步通过，LeCun李飞飞吴恩达喊打

热点事件追踪

美国公司裁员Layoff

2024-01-28 18:01

2024-01-09 19:01

2024-01-07 18:01

美国堕胎权争议

2024-01-06 18:01

美国枪击案

2024-01-06 18:01

2023-12-13 17:12

2023-12-02 07:12

2023-11-26 18:11

中美航班重磅消息！每周85班，直飞更方便！

微软、亚马逊、谷歌大裁员！哪些科技和零售公司有缩减规模计划？

中国外长王毅：中美关系已经止跌回稳

脱轨事故造成20多人受伤联邦调查纽约市全部地铁系统

更多 2024-09-15 的新闻