Redian新闻
>
公告 | CCL 2022 汉语学习者文本纠错评测结果出炉!

公告 | CCL 2022 汉语学习者文本纠错评测结果出炉!

公众号新闻

每天给你送来NLP技术干货!



第二十一届中国计算语言学大会(CCL 2022)开幕在即,其中的汉语学习者文本纠错(CLTC)评测任务也已进入收官阶段。本次评测共吸引了140多支队伍报名参赛,各队伍同场竞技,取得了令人赞叹的成绩!


本次评测旨在推动汉语学习者文本纠错任务的发展,由北京语言大学、清华大学、东北大学、苏州大学、阿里巴巴达摩院联合举办。本次评测整合了已有文本纠错任务和数据,并公开了一批新数据,共设置有五个赛道,覆盖了拼写检查、语法纠错、质量评估三个任务。


评测回顾


近年来,学界关于汉语学习者文本纠错已展开多方面、多角度的研究,如拼写检查(Chinese Spelling Check, CSC)、语法纠错(Grammatical Error Correction, GEC)、语法错误检测(Grammatical Error Diagnosis, GED)等,也已发布有一些相关的评测任务。
延续此前研究,我们在 CCL 2022 会议上举办了本次评测。本次评测具有以下几点特色:


首先,将语法纠错任务相关资源整合、汇聚于赛道二、三、四。其中,赛道二要求对留学生在汉语水平考试(HSK)作文中出现的错误进行检测和纠正,并首次公开了历年 CGED 评测数据用于训练和开发。赛道三关注语法纠错中的多维度问题,即从最小改动(Minimal Edit)和流利提升(Fluency Edit)两个方面给出多种句子修改方案,使用 YACLC 数据集用于开发和测试。赛道四则关注文本纠错的多来源问题,考虑不同来源的文本中可能蕴含的不同类型的语法错误,并且使用 MuCGEC 数据集用于开发和测试。


其次,为进一步推进中文拼写检查研究,本次测评基于 YACLC 数据集构建并公开了 YACLC-CSC 数据集,并作为赛道一的开发和测试数据。据我们所知,该数据集为首个简体中文拼写检查数据集。


最后,本次评测扩展了文本纠错任务,首次将质量评估(Quality Estimation, QE)纳入评测任务。在使用不同语法纠错方法,或基于柱搜索(Beam Search)获得多种修改方案后,质量评估任务要求评估不同修改结果的质量。该任务可以用于模型集成或其他情况下的结果重排序(Re-Ranking),可以在不改变模型的情况下显著提升修改效果。然而目前该任务所受关注较少,评测组织方倡议学界对这一任务加以重视,多加研究。

参与情况


本次评测自6月份发布数据集,7月份公开评测提交入口,经过一个多月的激烈竞争,于8月25日关闭提交。评测期间,各赛道共有140多支队伍参赛,报名参赛的队伍包括清华大学、北京大学、中国科学院等高校和科研院所,以及好未来、CVTE等企业。

为促进学界对汉语文本学习者纠错问题的研究,所有赛道均开放了供长期提交结果的验证榜单。借助本次评测公开的数据集,研究者可以将自己的方法和相关研究进行公平比较。

评测官方网站:https://blcuicall.github.io/CCL2022-CLTC/

评测数据仓库:https://github.com/blcuicall/CCL2022-CLTC

赛道一、二、三、五排行榜:http://cuge.baai.ac.cn/#/ccl_yaclc

赛道四排行榜:https://tianchi.aliyun.com/dataset/dataDetail?dataId=131328




获奖信息


本次评测共有140多支队伍参赛,报名参赛的队伍包括清华大学、北京大学、中国科学院等高校和科研院所,以及好未来、CVTE等企业。

现将各赛道获奖信息公开如下:


赛道一:中文拼写检查

  • 一等奖:哒哒(达观数据)

  • 二等奖:iFunCun(方寸无忧)

  • 三等奖:csc_runner(CVTE)


赛道二:中文语法错误检测

  • 一等奖:NLP的未来(好未来)

  • 二等奖:一一(达观数据)

  • 三等奖:中国足球队(蜜度)


赛道三:多维度汉语学习者文本纠错

  • 一等奖:kk(北京大学)

  • 二等奖:改正带小助手(苏州大学)

  • 三等奖:BUPTCL(北京邮电大学)


赛道四:多参考多来源汉语学习者文本纠错

  • 一等奖:啊对对对(清华大学)、鱼饼啾啾(北京大学)

  • 二等奖:棒棒冰(CVTE)

  • 三等奖:后厂村9号(海泰方圆)


赛道五:语法纠错质量评估

  • 一等奖:CPIC(中国太平洋保险)



衷心感谢各参赛队伍的参与,向获奖队伍以及所有参赛队伍表示祝贺!


致谢


本次评测期间,许多同学在数据处理、基线模型实验、方法复现以及组织管理的各个环节付出了宝贵的时间和辛勤的劳动,他们的付出保证了本次评测得以成功举办。在此,我们向这些同学们表示感谢!

北京语言大学:王莹莹、孔存良、方雪至、廖田昕、刘鑫、鲁鹿鸣、徐萌、刘洋、吴鎏

清华大学:梁念宁

苏州大学:章岳

东北大学:周天硕



编辑:孔存良、王梦焰、常鸿翔

扫码关注我们

BLCU-ICALL

语言监测与智能学习


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
广州新增3653例,7区中小学继续线上教学!一公司错报核酸检测结果,公安机关介入调查NAACL 2022 | 基于Prompt的文本生成迁移学习刚刚:美国参议院选举结果出炉!没参加核酸,却查询到检测结果?官方回应!国家邮政局:尽快解封! 2死3伤,特斯拉:车主全程没有踩刹车动作,寻求第三方鉴定秋阳杲杲今日最佳:你身边的 925 大赛结果出炉!毛泽东肃反AB团,激发出“富田事变”乌鲁木齐航空恢复多条乌鲁木齐始发国内航线!国泰航空12月航班计划出炉!东航12月航班计划出炉!12月回国​特价舱位来袭!Rust:香是真的香,不同学习者却各有各的难​ | 极客时间刚刚,奥克兰选举初步结果出炉!他,是新一任市长!誓要修复治安和基建问题!#关于攀岩的一切#见证团队走向世界上汽大通:奋斗者文化铸就韧性企业[热议]全球最危险城市排名出炉!BC两城市上榜!加拿大七城被点名!结果出人意料!【多图】浦华证券冠名|2022澳洲TVB-爱客多华裔小姐墨尔本赛区总决赛前三结果出炉!星空梦幻主题现场美不胜收#英语学习#英语俗语: To Clear the Air北溪天然气管道遭受破坏的初步调查结果出炉核酸检测结果为“尿性”?男子P图被罚……AlphaFold对手来了:Meta发布6亿“暗物质”蛋白预测结果,仅用2周完成习近平复信沙特中文学习者代表埃及艳后Kleopatra中期选举部分结果出炉!纽约州长霍楚成功连任,李修顿遗憾失之交臂世界杯16强预测结果,中奖名单将于12月3日公布!高手来了!东方证券杯"逐鹿东方"衍生品基金经理擂台赛结果出炉,这些机构表现出色世界杯16强预测结果公示,最高正确11个!周末愉快 冬瓜​ACL 2022 | 面向对话状态追踪任务的回合级公平评测没参加核酸,却查询到检测结果?官方回应!多家核酸检测机构被查!律师:情节严重最高可判7年呼和浩特通报一机构错报核酸检测结果,公安机关介入调查3D版DALL-E来了!谷歌发布文本3D生成模型DreamFusion,给一个文本提示就能生成3D模型!CCF论文列表(2022拟定)大更新!MICCAI空降B类!PRCV空降C类!ICLR继续陪跑...【多图】2022澳洲TVB-爱客多华裔小姐墨尔本赛区总决赛前三结果出炉!结果出炉!共和党人Ted Budd击败民主党人Cheri Beasley获得北卡罗参议院席位TACL 2022 | GAL:合成文本在自然语言处理任务中的应用厦航2022年11月国际及地区航班计划出炉!川航11月最新国际/地区航班计划也出炉!10/11月自美赴华航班有位置继续更新!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。