Redian新闻
>
大模型在文本生成领域有哪些最新尝试的工作?

大模型在文本生成领域有哪些最新尝试的工作?

公众号新闻

计算机要实现自然语言处理,主要有两方面的工作:自然语言理解(Natural Language Understanding,NLU)和自然语言生成(Natural Language Generation,NLG),而“文本生成”是其中重要的一个分支。它是自然语言处理中一个重要的研究领域,具有广阔的应用前景。通俗来讲,文本生成就是从非语言的表示生成人类可以理解的文本,以神经网络的使用为分界线,整个文本生成的发展可以分为两个阶段:传统文本生成和基于神经网络的文本生成。

基于神经网络的文本生成大致分为“自回归”和“非自回归”两种思路,自回归就是给定条件和已知的词,逐步生成下一个词,例如大名鼎鼎的“seq2seq + attention”。而attention再进一步,便产生了震惊世人的Transformer,彻底解决了RNN中顺序计算无法并行化的问题,之后GPT系列生成模型被陆续提出。

尤其是最近爆火到出圈的ChatGPT,让大家看到了文本生成领域的更大可能性,它不再是大众印象中呆板漏洞百出的聊天机器人,而是思路清晰有逻辑,像一个人类一样的聊天回答。更推动了文本生成领域研究的再一次火热。

GPT系列大模型在文本生成方面还有哪些可改进的点?大模型在文本生成方向有哪些最新尝试的工作?

3月1日,我们邀请北京大学计算机博士蒋老师,和大家直播梳理文本生成方向的大模型,带大家寻找论文的创新点及idea.

扫码预约大咖直播课

领取文本生成论文合集

文本生成还有很多可以探索的方向,例如现在的可控文本生成主要集中在情感关键词方面,而篇章的可控,多样性的可控,细粒度的可控等等都还有很大的研究空间

从历年ACL,EMNLP和NAACL的论文收录情况来看,文本生成相关论文收录数始终名类前茅。而作为AI研究中应用前景广阔的一个分支,也一直是各大厂的招聘热门。

扫码预约大咖直播课

领取文本生成论文合集

但看搞科研和就业求职越来越卷的趋势,没有手握几篇顶会真的让人心慌慌。有没有顶会论文已经成为一项重要的考核指标,而想要从科研小白变身顶会大神,我觉得有两点至关重要:

1、紧跟风口,把握住最近的热门研究风向。

尤其是对于科研还没什么思路的小白,顺着领域内的研究趋势确定自己的方向,是一个正确的选择,毕竟热门研究方向意味着,创新点和idea远比其他非热门领域多。比如刚刚推荐的画质增强。

2、有一位有经验有能力的前辈指导。选对一个好的老师,掌握正确的科研思路和写作方法!

都说SCI论文只有0篇和无数篇的区别,这句话告诉我们,其实做科研写论文也是有方法有套路可循,掌握了窍门,后面的路才会走得通畅。

但是作为一个小白,还在“蹒跚学步”阶段,怎么去掌握窍门?来自前辈的指点必不可少。

一个好的指导老师的作用是,没有课题,能够结合所在课题组具体情况,结合最近热门研究方向,帮你规划课题,如果有了课题而缺少创新方向,老师能够快速帮你找到几种切入点,几种框架,甚至连需要读哪些文献都帮你想好了......

为了论文,大家都在努力的设计新网络、新策略、新training算法,只要能够在某一问题上做到一个很好的performance,论文就水到渠成。而想要快速达到,来自前辈的指点不可或缺。

扫码获取大佬的科研指导

领取最新顶会论文、书籍


课程福利





作为日常为了论文而忙碌的科研人,小编知道大家一定很需要一些资料。因此,小编精心整理了一份超过20GAI顶会论文大礼包!包含最新顶会论文、书籍等资料,以及英文论文写作指导保姆级资料,从文献阅读到论文写作全部帮你整理好~


扫码免费领课程资料↑

-END-


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
AIGC的浪潮下,文本生成发展得怎么样了?波士顿安全区域有哪些?数据分析帮你避雷Seq2Seq、SeqGAN、Transformer…你都掌握了吗?一文总结文本生成必备经典模型(一)ChatGPT 带火大模型!深度解读人工智能大模型在产业中的服务新态势刚刚,政府工作报告出炉!今年GDP增长目标5%左右,把恢复和扩大消费摆在优先位置!涉及金融领域有这些…Transformer再胜Diffusion!谷歌发布新一代文本-图像生成模型Muse:生成效率提升十倍“CHAO!潮!巢!” HiShorts! 五一空间策展新尝试GPT、BERT、XLM、GPT-2、BART…你都掌握了吗?一文总结文本生成必备经典模型(二)等级孔分子筛催化材料的设计:基于广义默里定律的新尝试 | NSR人类没有足够的高质量语料给AI学了,2026年就用尽,网友:大型人类文本生成项目启动!ChatGPT之外,2023还有哪些最火的科技趋势?近一半民众想要离职 最可能换工作的领域有这些Runway:AI Native Tools工厂,视频生成领域的字节跳动对话Peter Lee:大模型在医疗健康领域应用的机遇与挑战NeurIPS 2022 | 文本图片编辑新范式:单个模型实现多文本引导图像编辑想起我爸找不到合适的工作?不满意目前的角色?想要寻找新的工作机会?…选择Careers NSW,帮你找到适合自己的职业!美国政府工,哪些最好,哪些最差?NIPS 2022 | 文本图片编辑新范式:单个模型实现多文本引导图像编辑妈妈能否熬过这一关EMNLP 2022 | ELMER: 高效强大的非自回归预训练文本生成模型谷歌发布从文本生成音乐的AI作曲系统,但暂不计划发布如何判断此番是否“境外势力”作祟的办法:老大用自己做“诱饵”GPT系列大模型在文本生成方向有哪些最新尝试?NeurIPS 2022 | 文本图片编辑新范式,单个模型实现多文本引导图像编辑全球首发,国产开源「文本-视频生成」模型!免费在线体验,一键实现视频生成自由硬核观察 #899 OpenAI 发布检测 AI 生成文本的工具通俗理解文本生成的常用解码策略在文本中追忆过去——阿摩司·奥兹和他的小说创作AudioLDM一作解读:文本生成高质量音频,单GPU即可阴阳平衡、和而不同第二次徒步圣路,750公里葡萄牙之路+英国之路:D22~机长马克因ChatGPT爆红的文本生成大模型图文并茂|AIGC的浪潮下,文本生成发展得怎么样了?人社部等六部门《工作场所女职工特殊劳动保护制度(参考文本)》《消除工作场所性骚扰制度(参考文本)》
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。