CCL2023-Eval | 汉语高考机器阅读理解对抗鲁棒评测正式开启，诚邀您积极参与
简介
机器阅读理解领域近年来取得了显著的发展成果，然而，在面向开放、动态、真实环境下的推理与决策时，模型鲁棒性仍有待提高。为此，山西大学自然语言处理团队基于“CCL2022-高考语文阅读理解可解释评测”数据集 GCRC 构建了对抗鲁棒子集 GCRC_advRobust，包含了近 600 个选择题及 2500 个选项，并设计了四种对抗攻击策略，旨在着力增强模型的鲁棒性，提升其在实际应用中的稳定性和可靠性。
任务介绍
汉语高考阅读理解对抗鲁棒是基于通过对抗攻击提高模型鲁棒性的机器阅读理解评测任务，本次评测设计了以下四种对抗攻击策略：
关键词扰动：对影响选项语义的关键词进行替换或重新表述。
时空属性扰动：改变选项中时间或空间属性。
因果关系扰动：更改或去除选项中的因果关系。
推理逻辑扰动：通过改写前提或结论，改变选项的逻辑推理过程。
根据 GCRC 数据集中原始题目的四个选项所涉及到的推理能力，设计相应的对抗攻击策略，为每个选项构建了一个正对抗选项和一个负对抗选项，并使用这些对抗选项分别构建正负对抗题目。评测要求参赛者输出原始题目及对抗题目的答案。
赛道和赛程
赛道
开放赛道：
参赛队伍可以使用 ChatGPT、文心一言等大模型。
封闭赛道：
参赛的模型参数量最多不超过 1.5 倍 Bert-large（510M）。
赛程
报名时间：
2023年4月10日-5月20日
训练、验证、测试数据发布：
2023年4月10日
最终测试结果提交：
2023年5月25日-6月1日
公布测试结果：
2023年6月10日
中英文技术报告提交：
2023年6月20日
中英文技术报告反馈：
2023年6月28日
中英文评测论文提交：
2023年7月3日
公布获奖名单：
2023年7月７日
评测论文录用通知：
2023年7月10日
论文Camera Ready提交：
2023年7月15日
评测研讨会及颁奖：
2023年8月3-5日
报名方式
本次评测采用电子邮件进行报名，邮件标题为：“CCL2023-汉语高考阅读理解对抗鲁棒评测-参赛单位”，例如：“CCL2023-汉语高考阅读理解对抗鲁棒评测-山西大学”。请参加评测的队伍发送邮件至[email protected]，并同时在智源指数平台（http://cuge.baai.ac.cn/#/ccl/2023/gcrc）上完成报名，报名完成后可在该平台上获取评测数据，并加入评测交流QQ群：755173513，或扫描下方二维码：
Github链接：
https://github.com/SXU-YaxinGuo/GCRC_advRobust
智源指数平台：
http://cuge.baai.ac.cn/#/ccl/2023/gcrc
评测单位
单位：
山西大学
合肥工业大学
组织者：
谭红叶（山西大学）
李 茹（山西大学）
张 虎（山西大学）
俞 奎（合肥工业大学）
比赛奖励
本次评测开放赛道和封闭赛道都将评选出如下奖项，并由中国中文信息学会计算语言学专委会（CIPS-CL）为获奖队伍提供荣誉证书。
奖项 | 一等奖 | 二等奖 | 三等奖 |
数量 | 1名 | 2名 | 3名 |
奖励 | 荣誉证书 | 荣誉证书 | 荣誉证书 |
诚邀学术界、工业界的研究者与开发者积极参与和支持评测！
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：[email protected]
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者