以ACL 2024为例，从投稿到接收：顶会投稿后全流程揭秘

2024-05-09 07:05

夕小瑶科技说分享
作者 | Erutan Lai
来源 | 知乎

想必很多同学都会感到好奇，论文投稿之后会经历什么？

写这篇文章，就我所知的，简单科普一下。毕竟没当过大Chair，有些环节我也不太了解，如有疏漏在所难免，欢迎指正。

每个会议，甚至同一个会议不同年份，都会略有差别。所以本文主要就2024年2月ACL ARR（ACL 2024）的投稿流程为例，讲讲顶会论文投稿之后会发生的事情。

截稿前后

截稿时间一般可以参考Call For Papers。ACL ARR 2024 Feb.的截稿时间是2月15日，这个时间时AoE（Anywhere on Earth）的时区，也就是UTC-12的时区，比北京时间晚20小时。也就是北京时间次日的晚8点。后面我们说的都还是按照ACL官方的AoE时间来说，这样比较方便。

https://aclrollingreview.org/cfp

早在截稿日期之间，会议的AC/AE（Area Chair，Action Editor，后文统称AC），以及审稿人（Reviewer）就会收到邀请。并且随着提交量的增加，还会陆续邀请更多的AC和审稿人来确保文章都能按时收到Review和Meta-Review。

根据官方统计，这次ARR投稿量创新高，达到4835篇。相比2023年12月（历史第三）的投稿量增长了86%。其中只有13%是修改后重投，其余均为新稿。为了处理这些投稿，共有4205个审稿人分配了稿件（增长37%），并对应659名AC（增长45%）。

http://stats.aclrollingreview.org

很多作者应该也发现了，无论是提交还是修改稿件，所有作者都会收到邮件提醒。因此，你想背着导师送他一篇ACL，是不太可能的。当然，这也是违反学术规范的。

审稿开始前

2月15日投稿，2月26日才开始审稿，这中间发生了什么？

随着投稿的进行，除了邀请新的审稿人和AC外，也会要求部分现有的审稿人和AC调整领域以更好地适应投稿的分布。这会一直持续到截稿之后。比如这次ARR审稿人相对稀缺的领域：

2月23日之前，匹配和论文SAC及AC。2月23日~26日，匹配论文和Reviewer。

从论文的角度，会先做一轮desk reject，并将论文分配给SAC/AC。程序的自动desk reject只能识别部分明显的情况，比如论文就写了一两页，明显没写完的。我猜用中文投稿的应该也能识别出来。部分超页数但不太明显的，或者保留了致谢暴露作者信息的，都需要后续的AC及审稿人手动处理。

然后会分配审稿人。AC可以看到每个审稿人的信息，并可以手动修改审稿人的分配。这些修改可能是从审稿人专业性的角度，或者审稿人diversity的角度。但一般没人改。懒。

AC需要填一个AE Checklist，例如这样：

审稿人在审稿前也要填一个Reviewer Checklist，例如这样：

这个Reviewer Checklist也可以当做审稿人的签到表，因为相对比较好填。理论上，审稿人如果没能在审稿的前一两周完成，AC可以认为审稿人没看见，来重新分配审稿人。但实际上，很多审稿人都忘记填这个了，AC也没那个功夫盯这个。

实际上，这次也没能26日就开始审稿，还是晚了几天，3月1日才开始。

审稿中

随着前面流程的推迟，审稿的窗口期也一直在变。会前规划的是2.26~3.18；开始审稿时的是3.1~3.20，而实际上，审稿直到3月27日开始Rebuttal后才基本完成。

3月11日，理论上审稿流程过半，实际上只收到7%的审稿意见。

3月15日，理论上还有5天审稿结束，实际上只收到15%的审稿意见。甚至有80篇AE checklist没有收到。

3月18日，理论上不再分配新的审稿人，但实际上还有大量的审稿人没有提交审稿意见。

3月20日，理论上的审稿DDL，实际上AC开始用个人邮箱给审稿人发邮件催（以免进垃圾邮箱），并为24小时内没有回应的论文分配新的审稿人。（有些审稿人这个环节没有回应，但后面又交了，导致论文有4个审稿人）

审稿人需要注意的是，如果分配的论文数没有达到max-load，这个阶段AC是可以无需邀请直接分配论文的。分配论文数是可以修改的。如果最开始设置的数很大，又没分多少篇的话，记得把max-load调小，以免最后时刻被分配一堆论文。

3月26日，公布审稿意见（理论上应该3月24日公布）。

3月29日，审稿意见回收率达到约99%。剩下的1%的审稿意见尽量在48小时内收回。

以上都是在假设AC还在的情况下。但就像审稿人可能失踪一样，AC也可能失踪。这时就需要ARR的SAC、PC等人去找Emergency AC来处理论文并撰写后面的meta-review。

关于审稿，实际上一篇论文的能花4~6个小时，就算审的很认真了。而短的话，甚至花不到1个小时。

我一般会快速看一遍摘要和引言部分。看动机/故事是否合理；贡献总结得是否有价值。然后看后面的方法和实验，主要看贡献是否被足够地支撑了。部分文章会看下实验结果和baseline是否solid。过程中会关注下typo。看完之后，看看优点多还是缺点多，是中还是拒。

当然，现在如果有ChatGPT的话，还能替代不少审稿环节。

审稿人打分表（2分是明确的负分。3分对于Findings和workshop来说是明确的正分。）：

https://aclrollingreview.org/reviewform

得到审稿意见后

审稿开始前，预计的rebuttal是3.24-3.27，meta-review 4.4给出。

审稿开始后，预计的rebuttal是3.26-3.30，meta-review 4.7给出。

实际上，rebuttal持续到4月2日。meta-review目前还在进程中。

相比同期的IJCAI等会议，ARR的审稿人还是非常热衷于回复Rebuttal的。有大概1/3的Rebuttal都得到了较为详细的回复，只有大概1/3的Rebuttal无人问津。

而且，很多认真回复的论文都得到了涨分。我觉得主要是这次好多审稿人最初的打分偏低。

AC在给Meta-Review的时候，一般会考虑分数、每个审稿人列出的优缺点、以及rebuttal的回复。

AC一般没时间仔细看论文。甚至连review和rebuttal都没时间仔细看。比如我这里7篇没有撤稿的论文中，共有137个回帖（部分是check list），根本看不过来。会比较关心review看完rebuttal之后的表态（问题是否被解决），有时也会看看rebuttal是否覆盖了review指出的所有缺点（是否有难以回答的缺点）。

Meta Review打分表：

需要注意，publishable state不止指主会，Findings也算。所以3分对于主会而言不算是明确的正分。

https://aclrollingreview.org/actioneditorform

我这次打的meta的分数中，meta=4的有2篇：均分3.3的长文和均分3的短文；meta=3的有1篇：均分2.5的长文；剩下的meta都是2，均分：2.75/2.63/2.5/2.5。

meta会考虑review的分数，但也不完全。比如我给meta=3的那篇是个还不错的数据集的文章，缺点不多，但最大的问题是特点也不够突出。但数据集也很难修改，给个meta=3希望他能findings出去。而meta=2的文章缺点都很明显，要么有致命问题，要么需要大改。不过，投稿ACL时除了meta-review之外，review也会被考虑。所以拿到4分的meta也不算稳。

ACL 投稿

根据ACL的 call for papers，4月15日之前在ARR上得到Review和Meta-Review。4月20日之前提交到ACL。

一般来说，这次提交到ACL是不允许修改的。因为ACL确定是否录用，主要基于ARR的审稿意见，如果有较大修改（大到会改变审稿意见的程度），需要再重投一轮ARR以获得新的审稿意见。如果修改小到不影响审稿意见，那也没啥必要。

从Meta-Review的时间与提交ACL的DDL只差5天也能看出，是没有给大家安排充足的修改时间的。

https://2024.aclweb.org/calls/main_conference_papers/

提交到ACL之后，由ACL的AC（相当于之前的SAC）来根据Meta-Review、Review以及各个领域的平衡等因素确定录用（以及Findings）。

ACL一般不光会参考Meta-Review，也会参考Review及论文内容。并且还受领域均分影响。所以，meta=4分的文章连Findings都中不了，或者meta=3分的文章中主会都是有可能的。

而5月15日就会得到录用与否的结果了。

下一轮ARR提交

如果对审稿意见不满意，可以修改论文之后再投一轮ARR。

但比如对这次的ARR投稿，如果不是在投稿后就开始补实验修改，而是等到审稿意见出来之后再修改的话，不建议直接投4月的ARR。审稿人和AC一般希望看到实质性的改动。如果没有实质性地解决上一轮审稿时提出的问题，再下一轮重审时一般也不会仔细重读文章，而是简单给一个和上次一样或者更低的分数。

ARR 2024 Feb.的结果

根据官方的最终统计：
http://stats.aclrollingreview.org/iterations/2024/february/

4835篇论文投稿，408篇（9.3%）撤稿，607篇（13.8%）为修后重投，1904篇（43.4%）选择在arxiv上提前公开（也是本轮开始允许的策略），858篇（17.7%）被标记需要Ethic Review。

一共4269名审稿人与710名AC被分配了论文，每人分配的篇数统计如下：

论文的审稿分数如下图所示：

有117篇（2.7%）超过3.75分；719篇（16.4%）超过3.25分；1999篇（45.6%）超过2.75分。

根据往年的比例，超过3.25分的主会概率较大，超过2.85分的主会或Findings概率较大，低于2.4分的大概率中不了。

有1382篇（31.5%）Meta>=4。Meta<=3的中主会和Findings概率较小。

审稿进程如下图所示，可以看到，无论是审稿人还是AC，DDL都是第一生产力。

常见问题汇总

投稿DDL之后是否可以修改作者？

一般不可以。包括增减作者，调整作者顺序，修改作者单位，一般都是不允许的。

现在取消匿名期了，论文在投稿前上传 arxiv 有何实际影响吗？

一般不会特意去查。但要是碰巧知道是谁投的，或许会有些先验。

Meta-Review是什么？

审稿意见太长了，只看均分又不够精细。meta-reviewer/AC是比较资深的审稿人（和之前的审稿人不同，相当于会换审稿人），根据若干条审稿意见，概括出一份精简版审稿意见，和一个针对论文的整体分数。这个精简版的内容，会给senior-AC去看，他们会从会议的角度，给出是否录用，如何录用的意见，并交给PC做最终决策。