Redian新闻
>
彭伟@中科院信工所 - IRRGN: 用于对话回复选择任务的隐式图推理网络

彭伟@中科院信工所 - IRRGN: 用于对话回复选择任务的隐式图推理网络

公众号新闻

MLNLP社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特别是初学者同学们的进步。8
MLNLP Paper ReadingMLNLP社区举办的学术交流活动,旨在邀请一线青年学者领读优质论文,期待大家从论文中受益。
本期我们选取了一篇EMNLP 2022的发表工作。该工作由西南大学、腾云悦智科技、中科院信工所等单位完成,论文通讯作者彭伟博士进行录制。


1

作者信息


Jingcheng Deng (Southwest University)、Hengwei Dai (Southwest University)、Xuewei Guo(yz-intelligence Inc)、Yuanchen Ju(Southwest University)、Wei Peng (Institute of Information Engineering, UCAS)


2

论文摘要


在多轮对话中回复选择任务旨在根据对话的内容从候选中找到最适合当前语境的选项信息。为了提高模型的推理能力,先前的研究更多地关注使用显式规则/算法来建模话语之间的依赖性,这些依赖性是确定性的、有限的和不灵活的。此外,很少有研究考虑推理前后选项之间的差异。在本文中,我们提出了一个隐式关系推理图网络来解决这些问题,该网络的核心由句子关系推理器(URR)和选项双重比较器(ODC)组成。URR旨在隐式提取话语之间以及话语和选项的依赖关系,并利用关系图卷积网络进行推理。ODC侧重于通过双重比较来感知选项之间的差异,可以达到消除错误选项干扰噪声的目的。在两个多回合对话推理基准数据集MuTual和MuTualplus上的实验结果表明,我们的方法显著改善了四个预训练语言模型的基线,并达到了最先进的性能。该模型在MuTual数据集上首次超过了人类的表现。我们的代码在链接中发布。https://github.com/DJC-GO-SOLO/IRRGN

3

论文贡献


1.我们提出了URR模块,它通过关系注意机制自适应地捕获话语之间以及话语和选项之间的灵活依赖关系,并通过沿各种话语路径消息传播来实现推理过程。

2. 我们提出了ODC模块,它根据人类的思维方式捕捉推理前后选项之间的差异,可以消除错误选项的噪声干扰。

3. 实验结果表明,我们提出的模型在MuTual和Mutualplus数据集上实现了最先进的性能。这是该模型首次在MuTual数据集上超过人类表现。


4

一句话论文简介


本论文通过提出一种隐式的关系图推理网络实现对结构化信息地自适应提取,可以灵活地建模对话中句子之间和候选选项的语义依赖,在MuTual和Mutualplus数据集上取得了非常显著的提升。

5

论文信息与链接


Jingcheng Deng、Hengwei Dai、Xuewei Guo、Yuanchen Ju、Wei Peng*. IRRGN: An Implicit Relational Reasoning Graph Network for Multi-turn Response Selection. EMNLP 2022.

文章链接:https://2022.emnlp.org/downloads/Accepted-Papers-20221122.xls

代码链接:https://github.com/DJC-GO-SOLO/IRRGN

B站观看链接:https://www.bilibili.com/video/av476981918/
视频号观看入口:


6

视频讲者介绍


彭伟,中科院信息工程研究所博士研究生,师从胡玥研究员。研究兴趣为机器阅读理解和对话系统。曾在EMNLP/AAAI/IJCAI/KBS等国际会议和国际期刊上发表论文近20篇,拥有多项专利和软件著作权。曾多次获得国家级别奖学金,国际竞赛TOP成绩等。个人主页博客:https://blog.csdn.net/ganxiwu9686?type=blog

关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区,目前已经发展为国内外知名的机器学习与自然语言处理社区,旨在促进机器学习,自然语言处理学术界、产业界和广大爱好者之间的进步。
社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
Wordbook:适用于 GNOME 的离线英语词典应用 | Linux 中国反复感染新冠会增加器官衰竭风险;服装店老板睡觉没戴口罩被黄牌警告;基金经理网恋被工厂女工骗近30万......|酷玩日爆Essencemediacom成为全球最大的媒体代理网络;小米全球副总裁宣布离职(广告狂人日报)ICLR 2023 | DIM-SLAM:首个实现神经隐式稠密重建的RGB-SLAM换工记,在911呼叫中心工作[录取捷报]悉尼大学 工程硕士(电信工程)硕士录取 来啦!NLP大规模语言模型推理实战:大语言模型BLOOM推理工具测试实践与效果分析实录上海一基金经理网恋,被工厂女工骗走29万低能耗低时耗,中科院&香港大学团队使用新方法进行多任务学习的可穿戴传感器内储层计算CF-ViT:用于视觉Transformer的由粗到细的两阶段动态推理架构 | AAAI 2023经费、人员增加,但圣荷西接警电话回应速度越来越慢中科院 AI 团队最新研究发现,大模型可通过自我验证提高推理性能腾讯首席科学家张正友对话中科院计算技术所陈熙霖:AI与机器人推进全真互联ECCV 2022 | 用于对抗攻击的频域模型增强方法奇特的病人案例美国婚前财产、婚后财产及个人财产的认定早鸟报|2023年春运订票已开启;中央网信办:从严整治移动互联网APP虚假排名;支付宝加入数字人民币受理网络......【圣诞集锦】寒假出行哪里去,各种选择任你挑!GNN如何建模时空信息?伦敦玛丽女王大学「时空图神经网络」综述,简明阐述时空图神经网络方法打造医院信息化“强心脏”,医院如何紧跟时代步伐升级业务网络?热搜!基金经理网恋被工厂女工骗近30万!检察官提醒......大规模GNN如何学习?北邮最新《分布式图神经网络训练》综述,35页pdf阐述分布式GNN训练算法和系统​GENIUS: 根据草稿进行文本生成的预训练模型,可用于多种NLP任务的数据增强凶手是谁!移民美国十数年 女子接了一通电话回家 母子4人葬身火海​COLING2022 | PCBERT: 用于中文小样本NER任务的BERT模型​COLING 2022 | PCBERT: 用于中文小样本NER任务的BERT模型“找茬式”网暴让普通人猝不及防,治理网暴要关注“心病”佐州大陪审团完成对特朗普企图推翻2020年大选的调查AAMAS2023|三思而后行:一个类人的用于情感对话生成的两阶段对话代理日投降后毛泽东赴重庆国共谈判Sci Transl Med:新进展!中国科学家开发出一种用于对肝癌进行液体活检的新方法!不要think step by step!谷歌最新自然语言推理算法LAMBADA:「反向链推理」才是答案德国指挥家的中国妻子对超出能力范围,实施正常审计程序仍无法发现的隐蔽造假,审计机构该承担责任吗?最高法院回复BB鸭 | 律师称情侣发520红包分手后不支持返还;腾讯视频回应封号问题;高德地图推出“心形路线”;京东发布商品标题新规
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。