GPT系列大模型在文本生成方向有哪些最新尝试？

可以说没有文本生成大模型，就没有ChatGPT。

计算机要实现自然语言处理，主要有两方面的工作：自然语言理解（Natural Language Understanding，NLU）和自然语言生成（Natural Language Generation，NLG），而“文本生成”是其中重要的一个分支。它是自然语言处理中一个重要的研究领域，具有广阔的应用前景。

通俗来讲，文本生成就是从非语言的表示生成人类可以理解的文本，以神经网络的使用为分界线，整个文本生成的发展可以分为两个阶段：传统文本生成和基于神经网络的文本生成。基于神经网络的文本生成大致分为“自回归”和“非自回归”两种思路，自回归就是给定条件和已知的词，逐步生成下一个词，例如大名鼎鼎的“seq2seq + attention”。而attention再进一步，便产生了震惊世人的Transformer，彻底解决了RNN中顺序计算无法并行化的问题，之后GPT系列生成模型被陆续提出。

扫码预约大咖直播课

领取文本生成论文合集

文本生成还有很多可以探索的方向，例如现在的可控文本生成主要集中在情感关键词方面，而篇章的可控，多样性的可控，细粒度的可控等等都还有很大的研究空间。

从历年ACL，EMNLP和NAACL的论文收录情况来看，文本生成相关论文收录数始终名类前茅。而作为AI研究中应用前景广阔的一个分支，也一直是各大厂的招聘热门。

扫码预约大咖直播课

领取文本生成论文合集

但看搞科研和就业求职越来越卷的趋势，没有手握几篇顶会真的让人心慌慌。有没有顶会论文已经成为一项重要的考核指标，而想要从科研小白变身顶会大神，我觉得有两点至关重要：

1、紧跟风口，把握住最近的热门研究风向。

尤其是对于科研还没什么思路的小白，顺着领域内的研究趋势确定自己的方向，是一个正确的选择，毕竟热门研究方向意味着，创新点和idea远比其他非热门领域多。比如刚刚推荐的画质增强。

2、有一位有经验有能力的前辈指导。选对一个好的老师，掌握正确的科研思路和写作方法！

都说SCI论文只有0篇和无数篇的区别，这句话告诉我们，其实做科研写论文也是有方法有套路可循，掌握了窍门，后面的路才会走得通畅。

但是作为一个小白，还在“蹒跚学步”阶段，怎么去掌握窍门？来自前辈的指点必不可少。

一个好的指导老师的作用是，没有课题，能够结合所在课题组具体情况，结合最近热门研究方向，帮你规划课题，如果有了课题而缺少创新方向，老师能够快速帮你找到几种切入点，几种框架，甚至连需要读哪些文献都帮你想好了......

为了论文，大家都在努力的设计新网络、新策略、新training算法，只要能够在某一问题上做到一个很好的performance，论文就水到渠成。而想要快速达到，来自前辈的指点不可或缺。

扫码获取大佬的科研指导

领取最新顶会论文、书籍

作为日常为了论文而忙碌的科研人，小编知道大家一定很需要一些资料。因此，小编精心整理了一份超过20G的AI顶会论文大礼包！包含最新顶会论文、书籍等资料，以及英文论文写作指导保姆级资料，从文献阅读到论文写作，全部帮你整理好~

扫码免费领课程资料↑

-END-