MLNLP社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特别是初学者同学们的进步。8MLNLP Paper Reading是MLNLP社区举办的学术交流活动,旨在邀请一线青年学者领读优质论文,期待大家从论文中受益。本期我们选取了一篇EMNLP 2022的发表工作。该工作由西南大学、腾云悦智科技、中科院信工所等单位完成,论文通讯作者彭伟博士进行录制。Jingcheng Deng (Southwest University)、Hengwei Dai (Southwest University)、Xuewei Guo(yz-intelligence Inc)、Yuanchen Ju(Southwest University)、Wei Peng (Institute of Information Engineering, UCAS)
在多轮对话中回复选择任务旨在根据对话的内容从候选中找到最适合当前语境的选项信息。为了提高模型的推理能力,先前的研究更多地关注使用显式规则/算法来建模话语之间的依赖性,这些依赖性是确定性的、有限的和不灵活的。此外,很少有研究考虑推理前后选项之间的差异。在本文中,我们提出了一个隐式关系推理图网络来解决这些问题,该网络的核心由句子关系推理器(URR)和选项双重比较器(ODC)组成。URR旨在隐式提取话语之间以及话语和选项的依赖关系,并利用关系图卷积网络进行推理。ODC侧重于通过双重比较来感知选项之间的差异,可以达到消除错误选项干扰噪声的目的。在两个多回合对话推理基准数据集MuTual和MuTualplus上的实验结果表明,我们的方法显著改善了四个预训练语言模型的基线,并达到了最先进的性能。该模型在MuTual数据集上首次超过了人类的表现。我们的代码在链接中发布。https://github.com/DJC-GO-SOLO/IRRGN1.我们提出了URR模块,它通过关系注意机制自适应地捕获话语之间以及话语和选项之间的灵活依赖关系,并通过沿各种话语路径消息传播来实现推理过程。
2. 我们提出了ODC模块,它根据人类的思维方式捕捉推理前后选项之间的差异,可以消除错误选项的噪声干扰。
3. 实验结果表明,我们提出的模型在MuTual和Mutualplus数据集上实现了最先进的性能。这是该模型首次在MuTual数据集上超过人类表现。
本论文通过提出一种隐式的关系图推理网络实现对结构化信息地自适应提取,可以灵活地建模对话中句子之间和候选选项的语义依赖,在MuTual和Mutualplus数据集上取得了非常显著的提升。Jingcheng Deng、Hengwei Dai、Xuewei Guo、Yuanchen Ju、Wei Peng*. IRRGN: An Implicit Relational Reasoning Graph Network for Multi-turn Response Selection. EMNLP 2022.
文章链接:https://2022.emnlp.org/downloads/Accepted-Papers-20221122.xls
代码链接:https://github.com/DJC-GO-SOLO/IRRGN
B站观看链接:https://www.bilibili.com/video/av476981918/彭伟,中科院信息工程研究所博士研究生,师从胡玥研究员。研究兴趣为机器阅读理解和对话系统。曾在EMNLP/AAAI/IJCAI/KBS等国际会议和国际期刊上发表论文近20篇,拥有多项专利和软件著作权。曾多次获得国家级别奖学金,国际竞赛TOP成绩等。个人主页博客:https://blog.csdn.net/ganxiwu9686?type=blog关于我们
MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区,目前已经发展为国内外知名的机器学习与自然语言处理社区,旨在促进机器学习,自然语言处理学术界、产业界和广大爱好者之间的进步。社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。