MLNLP前沿综述分享第五期 | 胡琳梅@北京理工大学:知识增强的预训练语言模型前沿研究进展
MLNLP前沿综述分享是MLNLP社区举办的学术交流活动,旨在邀请一线学者分享领域前沿技术,期待帮助大家快速了解领域相关动态。
本次前沿综述分享特别邀请了北京理工大学副教授、博士生导师胡琳梅为我们带来“知识增强的预训练语言模型前沿研究进展”的主题报告,由MLNLP秘书陈麒光主持。报告的详细信息如下:
讲者简介
胡琳梅,北京理工大学副教授,博导、硕导,研究领域包括知识图谱、自然语言处理、多模态等。2018年毕业于清华大学计算机系,获北京市优秀毕业生。2019年获得微软亚研院铸星计划支持。主持参与多项国家级项目,发表高水平论文30余篇,包括1篇ESI高被引论文,顶级国际会议CCF A/B,申请专利10项(2项已授权)。发表译著《异质信息网络分析和应用》(机械工业出版),教材《数据科学导论》(清华大学出版)。
个人主页:https://cs.bit.edu.cn/szdw/jsml/js/hlm/index.htm
报告摘要
近年来,预训练语言模型 (Pretrained Language Model,PLM) 在自然语言处理的各种任务中取得了令人鼓舞的性能。然而,虽然 PLM 可以有效地从大规模训练预料中学到丰富的隐式知识并将其用于下游任务,但它们仍然存在一些局限性,例如由于缺乏外部知识而导致推理能力较差。因此,在本次报告中,我将对知识增强型预训练语言模型方向进行了全面回顾,从而为该领域的后续研究提供参考。考虑到自然语言理解(Natural Language Understanding, NLU)和自然语言生成(Natural Language Generation, NLG)关注点不同,我将从自然语言理解(Natural Language Understanding, NLU)和自然语言生成(Natural Language Generation, NLG)两个方向分别介绍知识增强PLM 的前沿研究及分类归纳体系。最后,我将介绍知识增强的预训练语言模型的未来研究方向。
主持人介绍
陈麒光,哈尔滨工业大学在读,导师车万翔教授,MLNLP社区秘书处成员。研究兴趣为任务型对话系统与自然语言处理。在多个国际会议ACL/EMNLP等参与发表相关论文。
特别鸣谢本次前沿综述分享的主要组织者:
MLNLP(刘洪宇、陈麒光、段然)
关于我们
微信扫码关注该文公众号作者