Redian新闻
>
MLNLP前沿综述分享第五期 | 胡琳梅@北京理工大学:知识增强的预训练语言模型前沿研究进展

MLNLP前沿综述分享第五期 | 胡琳梅@北京理工大学:知识增强的预训练语言模型前沿研究进展

公众号新闻

MLNLP社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特别是初学者同学们的进步。

MLNLP前沿综述分享是MLNLP社区举办的学术交流活动,旨在邀请一线学者分享领域前沿技术,期待帮助大家快速了解领域相关动态。

本次前沿综述分享特别邀请了北京理工大学副教授、博士生导师胡琳梅为我们带来“知识增强的预训练语言模型前沿研究进展”的主题报告,由MLNLP秘书陈麒光主持。报告的详细信息如下:

1

讲者简介

胡琳梅,北京理工大学副教授,博导、硕导,研究领域包括知识图谱、自然语言处理、多模态等。2018年毕业于清华大学计算机系,获北京市优秀毕业生。2019年获得微软亚研院铸星计划支持。主持参与多项国家级项目,发表高水平论文30余篇,包括1篇ESI高被引论文,顶级国际会议CCF A/B,申请专利10项(2项已授权)。发表译著《异质信息网络分析和应用》(机械工业出版),教材《数据科学导论》(清华大学出版)。

个人主页:https://cs.bit.edu.cn/szdw/jsml/js/hlm/index.htm

2

报告摘要


近年来,预训练语言模型 (Pretrained Language Model,PLM) 在自然语言处理的各种任务中取得了令人鼓舞的性能。然而,虽然 PLM 可以有效地从大规模训练预料中学到丰富的隐式知识并将其用于下游任务,但它们仍然存在一些局限性,例如由于缺乏外部知识而导致推理能力较差。因此,在本次报告中,我将对知识增强型预训练语言模型方向进行了全面回顾,从而为该领域的后续研究提供参考。考虑到自然语言理解(Natural Language Understanding, NLU)和自然语言生成(Natural Language Generation, NLG)关注点不同,我将从自然语言理解(Natural Language Understanding, NLU)和自然语言生成(Natural Language Generation, NLG)两个方向分别介绍知识增强PLM 的前沿研究及分类归纳体系。最后,我将介绍知识增强的预训练语言模型的未来研究方向。

3

主持人介绍


陈麒光,哈尔滨工业大学在读,导师车万翔教授,MLNLP社区秘书处成员。研究兴趣为任务型对话系统与自然语言处理。在多个国际会议ACL/EMNLP等参与发表相关论文。



特别鸣谢本次前沿综述分享的主要组织者:

MLNLP(刘洪宇、陈麒光、段然)


关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区,目前已经发展为国内外知名的机器学习与自然语言处理社区,旨在促进机器学习,自然语言处理学术界、产业界和广大爱好者之间的进步。
社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。
 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
博士申请 | 伊利诺伊理工大学舒凯老师招收数据挖掘/机器学习/NLP方向全奖博士生日本啊,日本(一)。。。GPT-4发布后,其他大模型怎么办?Yann LeCun:增强语言模型或许是条路从EMNLP 2022速览信息检索领域最新研究进展倒计时2天!顶级专家联合打造,“大模型前沿技术讲习班”周末开讲,提供多种全额奖学金ChatGPT之后何去何从?LeCun新作:全面综述下一代「增强语言模型」基于预训练语言模型的可控文本生成有关消化道肿瘤早诊早治北京胸科医院正在做这些前沿研究从LLM到MLLM,多模态大规模语言模型KOSMOS-1赋予了语言模型看见世界的能力今日Sci. Adv.: 南京大学、南京理工大学合作首次实现读写对称的自旋存内计算器件领失业救济金,想休假却生病了可扩展、可解释,新框架从预训练语言模型中高效提取知识图谱乌鲁木齐的火光,天使的遗憾NLP中关于数据增强的最新综述MLNLP发布MyArxiv项目:定制你的专属Arxiv二”丫“出线应无悬念, 西班”丫“葡萄”丫“大规模预训练、可控文本生成方向,清华大学计算机系NLP实验室招聘博士后(长期有效)北京内推 | 微软亚洲研究院自然语言计算组招聘NLP方向研究型实习生MIGA项目原作解读:基于生成式预训练语言模型T5的Text-to-SQL模型DiffusionBERT项目原作解读:掩码预训练语言模型的扩散生成探索从BERT到ChatGPT,北航等9大顶尖研究机构全面综述:那些年一起追过的「预训练基础模型」北京理工大学离退休处到访懋德中心调研北京内推 | 微软亚洲互联网工程院NLP Science组招聘NLP研究实习生MLNLP学术Talk第十九期 | 余海洋、黎槟华@阿里达摩院:基于知识的下一代对话:新任务、新数据、新榜单中国女留学生澳洲旅游时一车四人确诊,自述分享随处可见新冠科普知识EMNLP 2022 | ELMER: 高效强大的非自回归预训练文本生成模型赞儿 will,女,北京理工大学珠海学院,技术管理,月入1 万+,94年,高 162,珠海香洲从BERT到ChatGPT!97页全面综述:那些年一起追过的预训练基础模型两会专访|全国政协委员、北京理工大学计算机学院院长王国仁:大型龙头企业缺乏已成为我国数据要素市场发展的“阿克琉斯之踵”一文速览知识增强的对话推荐系统CogBERT:脑认知指导的预训练语言模型NLP大规模语言模型推理实战:大语言模型BLOOM推理工具测试实践与效果分析实录北京理工大学2023年高水平运动队招生简章我与骗子过招Meta最新语言模型LLaMA论文研读:小参数+大数据的开放、高效基础语言模型阅读笔记
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。