顶会审稿人精选：40篇大型预训练语言模型应用论文

2023-06-12 04:06

Transformer 是近年来一种新的序列转换模型，完全基于注意力机制而不使用循环或卷积神经网络。避免了以往神经网络中并行及复杂度方面的问题。

Transformer一经出现，即创造了多项新的纪录，比如英-德的翻译任务最好纪录提高了 2 个 BLEU 值。而且，该模型的训练耗时短，对大数据和有限数据集均有良好表现。因此，该模型引领了注意力机制在自然语言处理（NLP）领域的研究热潮，目前大热的 Bert 就是基于 Transformer 构建的。

可以说，想要NLP学得好，Transformer模型不可少！如果你现在还没掌握Transformer模型，千万不要错过本次学习的机会！

6月19日20:00，我邀请了中国科学院大学博士、在腾讯和微软亚洲研究院拥有丰富NLP项目经验的John老师，为大家带来直播讲座《Transformer简介和预训练语言模型应用》。

不仅如此，我还专门为大家收集了40篇精选Transformer论文合集，还有部分复现代码！扫码预约直播，全部免费赠送！想要的同学立刻扫码领取吧！