ICLR 2023论文得分排名出炉！多篇论文竟同时拿到1分和10分

2022-11-08 06:11

新智元报道

来源：计算机会议投稿

编辑：Aeneas 好困

【新智元导读】ICLR2023审稿意见已出炉，你的结果如何？

人工智能领域综合顶级会议ICLR2023（ International Conference on Learning Representations）审稿意见已出炉。ICLR的审稿分数和意见全部在OpenReview平台上公开，有网友爬取了本轮审稿的论文得分排名，链接如下：

https://docs.google.com/spreadsheets/d/1INZI9epkfBkPOlKuJFaffUCOKDns87Iqg4zovHnf-zs/htmlview#gid=625873159

该链接公布了4848份审稿分数统计。大部分论文的审稿人数量为3-5人，每名审稿人给每篇论文的可评分数选项为1, 3, 5, 6, 8, 10，也就是说审稿人不能给论文打2分、4分、7分或9分。

分数分布概况

ICLR2022年录用率为32.3%（1095/3391），2021年录用率为28.7%（860/2997）。

若按照2022年的录用率32.3%来看，今年卡在前32.3%的论文有1556篇，最低均分为5.50分。若按照2022年的录用数1095篇来看，今年前1095篇论文占总量的前22.6%，最低均分为5.75分。尼谟认为均分在5.50分及以上的同学都值得认真rebuttal。ICLR在2021年rebuttal前后总平均分提高了0.21，其中72%的论文分数没有变化。

以下为各分数详细位次与对应比例：

8.67分位次1 0.02%

8.50分位次3 0.06%

8.25分位次7 0.14%

8.00分位次8 0.17%

7.75分位次42 0.87%

7.50分位次50 1.03%

7.25分位次121 2.50%

7.00分位次152 3.14%

6.75分位次238 4.91%

6.50分位次386 7.96%

6.25分位次576 11.18%

6.00分位次744 15.35%

5.75分位次1010 20.83%

5.50分位次1364 28.14%

5.25分位次1840 37.95%

5.00分位次2098 43.28%

4.75分位次2549 52.58%

4.50分位次3041 62.73%

4.25分位次3439 70.94%

4.00分位次3682 75.95%

分数标准差分布概况

1. 标准差大于3 9篇占比0.19%

只有9篇论文标准差大于3，其中标准差最高的得分为[1;3;10]，标准差高达3.859。

2. 标准差2-3（前开后闭下同）476篇占比9.82%

标准差2.5的得分范例：[3;8;8;3]、[1;6;1;6]

标准差2.5的得分范例：[5;8;1;1]、[3;5;10]

3. 标准差1.5-2 500篇占比10.31%

标准差2.0的得分范例：[3;3;8;3;3]

4. 标准差1-1.5 1747篇占比36.0%

标准差1.5的得分范例：[6;3;6;3]、[8;8;5;5]。

5. 标准差0-1 1760篇占比36.3%

标准差1.0的得分范例：[8;8;6;6]、[5;5;3;3]，标准差1以下的论文，说明审稿人意见大体一致。

6. 标准差0 356篇占比 7.3%

共有356篇论文分数标准差为0，也就是说所有审稿人意见完全一致，其中26篇全为8，占比7.3%；49篇全为6，占比13.8%；121篇全为5，占比34.0%；154篇全为3，占比43.3%；6篇全为1，占比1.7%。可以看到标准差为0的集中在3分和5分，占比达到了77.3%。

总体上来说，标准差在1.5以下的文章共有3863篇，占比79.7%，分差较小的占大多数。

一些诡异的得分情况

评分中也出现了一些比较诡异的情况。比如，有3篇论文评分同时出现了1分和10分：

1. Breaking the Curse of Dimensionality for Parametric Elliptic PDEs

分数：[1;3;10]

论文链接：https://openreview.net/pdf?id=3nfMmcditWu

2. Neural Decoding of Visual Imagery via Hierarchical Variational Autoencoders

分数：[3;6;1;10]

论文链接：https://openreview.net/pdf?id=TM9jOSaIzN

3. Generalizable Multi-Relational Graph Representation Learning: A Message Intervention Approach

分数：[1;10;3;3;3]

论文链接：https://openreview.net/pdf?id=xOPd5QO_5RT

交流群内分数统计情况

「计算机会议投稿」于22.11.5上午在轻松参会ICLR2023群内发起了ICLR Rebuttal得分匿名投票，群内共560名群友，共计137名群友投票。

其中共有2名群友8分以上（不含，下同），全球仅有7人均分>8分，可以说是非常牛了。

14位群友6.5分以上，群投票占比10.21%，实际占比（OpenReview上所有投稿的分数占比）8.0%。

36位群友6分以上，群投票占比26.3%，实际占比15.3%。

57位群友5.5分以上，群投票占比41.6%，实际占比28.1%。

可以看出6分及5.5分以上群投票占比明显高于实际占比。由此可以大致外推出一个结论，即，各个学术会议在rebuttal阶段，投稿交流群内的投票得分统计总体会比实际分数分布要虚高一些，尼谟认为，其原因是，通常得分高的人比得分低的人更愿意积极参与此类投票活动。所以大家在投稿其他会议时，也不要在交流群内看到分数投票统计结果就泄气了。

投票具体分数分布如下：

觉得录用希望不大、放弃治疗的同学，近期可考虑转投以下会议（按照截稿时间最早到最晚排序）：

ICME2023

录用率：2022年29%

CCF分级：B

截稿时间：22.12.11

录用通知时间：23.3.12

官网链接：https://www.2023.ieeeicme.org/

征稿范围：

3D multimedia, AR/VR and immersive media

Emerging multimedia applications and technologies

Multimedia analysis and understanding

Multimedia communications, networking and mobility

Multimedia databases and mining

Multimedia quality assessment and metrics

Multimedia security, privacy and forensics

Multimedia standards, trends and related research

Multi-modal media computing, interaction and human machine

Social media analysis and applications

Speech/audio processing

Image/video processing

PAKDD2023

录用率:2022年19.3%（121/627）2021年20.4%(157/768)

CCF分级：C

截稿时间：22.11.24

录用时间：23.1.24

官网：https://pakdd2023.org/

征稿范围：

PAKDD2023 welcomes high-quality, original, and previously unpublished submissions in the theories, technologies, and applications on all aspects of knowledge discovery and data mining. Topics of relevance for the conference include, but not limited to the following.

Methods and algorithms:

Anomaly and outlier detection, Association rule, Classification, Clustering, Data mining pipelines, Deep learning, Dimensionality detection and feature selection, Ethics and fairness, Graphs and networks, Interpretability and explainability, Kernel methods, Matrices and tensors, Online and streaming algorithms, Parallel and distributed mining, Probabilistic models and statistical inference, Regression, Reinforcement learning, Relational learning, Security and privacy, Semi-supervised and unsupervised learning, Theoretical foundations, Transfer learning and meta learning, and Visualization and user interface.

Applications:

Big data, Computational Advertising, Financial data, Information retrieval and search, Internet of Things, Intrusion and fraud detection, Medical and biological data, Multimedia and multimodal data, Recommender systems, Robotics, Scientific data, Social network analysis, Spatio-temporal data, Texts, web, social media, and Time-series and streaming data.

ACL2023

往年录用率：2021年24.5% (571/2327)

CCF分级：A

截稿时间：直接投递（非ARR）通道摘要注册截止时间23.01.13，论文提交截止时间23.1.20

录用通知时间：23.5.1

官网链接：https://2023.aclweb.org/

征稿范围：

Computational Social Science and Cultural Analytics

Dialogue and Interactive Systems

Discourse and Pragmatics

Ethics and NLP

Generation

Information Extraction

Information Retrieval and Text Mining

Interpretability and Analysis of Models for NLP

Language Grounding to Vision, Robotics and Beyond

Multilingualism and Language Contact: Code-switching, Representation Learning, Cross-lingual transfer

Linguistic Theories, Cognitive Modeling, and Psycholinguistics

Machine Learning for NLP

Machine Translation

NLP Applications

Phonology, Morphology, and Word Segmentation

Question Answering

Resources and Evaluation

Semantics: Lexical

Semantics: Sentence-level Semantics, Textual Inference, and Other Areas

Sentiment Analysis, Stylistic Analysis, and Argument Mining

Speech and Multimodality

Summarization

Syntax: Tagging, Chunking and Parsing

Theme Track

ICDAR2023

录用率：2017年投稿数409篇，Oral论文录取率13%，Poster论文录取率39%。

CCF分级：C

截稿时间：22.1.15(23:59 AOE)

录用时间：23.3.26

官网：https://pakdd2023.org/

征稿范围：

Document image processing
Physical and logical layout analysis
Text and symbol recognition
Handwriting recognition
Document analysis systems
Document classification
Indexing and retrieval of documents
Document synthesis
Extracting document semantics
NLP for document understanding
Office automation
Graphics recognition
Human document interaction
Document Representation Modeling

Structured document generation

Multimedia document analysis

Mobile text recognition
Pen-based document analysis
Scene text detection and recognition
Recognition of tables and formulas
Historical document analysis
Signature verification
Document summarization and translation
Document forensics and provenance
Medical document analysis
Document analysis for social good
Document analysis for literature search
Gold-standard benchmarks and datasets

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章