Redian新闻
>
2023年,Prompt Tuning是否已全面超越Fine-Tuning?

2023年,Prompt Tuning是否已全面超越Fine-Tuning?

公众号新闻

最近几年,自然语言处理领域的研究飞速发展。特别是自2020年后,在NLP相关顶会上出现了一些原理简单、实现容易、理论清晰、效果惊人的方法论,例如,对比学习,提示学习等。这些方法论在诸如情感分析、文本蕴含、句子表征、知识图谱等下游任务上已经取得了令人瞩目的成绩。

本质上说prompt是一种激发语言模型中知识的手段。随着prompting技术的大火,有越来越多的研究者在思考Prompt(除了让这个方向的研究越来越卷还能带来什么?

与此相类似的,对比学习在自然语言中备受关注。它使用成对的训练数据增强为具有良好的表示能力的编码器构建分类任务。可能是因为对比学习研究的持续热度2202以来文本表示方向突然就卷起来了,SOTA刷的嗖嗖的,卑微的科研er表示上一个工作才开始熟悉新的SOTA就狠狠砸过来……



好,你厉害,我读还不行吗。

作为近年来NLP最火的方向之一prompt吸引了足够多的关注纵观年各大顶会上的最新论文,我们可以观察到对比学习出现的频率明显增高,并且各种改进也层出不穷,一句话就是开始卷起来了

扫码领prompt必读论文合集

NLP发展至今,已经延伸出很多的子方向、子领域,单单从顶会论文的收录情况来看,很难不让人有这样的疑惑:感觉所有方向都有人做过了,好不容易有了一个idea,上网一搜,早已有人用来发了论文。

对于已然入坑的NLPer怎么样才能高效做科研发论文抢占idea

想要快速发论文有两点至关重要。

1.紧跟风口。

想发文章最容易的方法就是紧跟风口,顺着领域内的研究趋势确定自己的方向,毕竟在热门领域内,创新点和idea远比其他非热门领域多。

2.有一位有经验有能力的前辈指导。

大家都在努力的设计新网络、新策略、新training算法,只要能够在某一问题上做到一个很好的performance,论文就水到渠成。而想要快速达到,来自前辈的指点不可或缺。

所以,要解决的问题就是:

1.找到风口。

2.找到领域内的大神做导师。

扫码获取最新大咖公开课地址

获得大咖一对一指导机会

领取最新论文合集

创新点和idea不可能凭空生成,好的performance也绝不可能一蹴而就。

都说SCI论文只有0篇和无数篇的区别,这句话告诉我们,其实做科研写论文也是有方法有套路可循,掌握了窍门,后面的路才会走得通畅。

但是作为一个小白,还在“蹒跚学步”阶段,怎么去掌握窍门?来自前辈的指点必不可少。

一个好的指导老师的作用是,没有课题,能够结合所在课题组具体情况,结合最近热门研究方向,帮你规划课题,如果有了课题而缺少创新方向,老师能够快速帮你找到几种切入点,几种框架,甚至连需要读哪些文献都帮你想好了......

获取学术大咖的科研指导

赠送顶会论文资料包

(文末免费领取福利)

同时向大家推荐一个prompt科研小班。由沃恩智慧金牌导师,毕业于哈工大的Kimi博士指导。

滑动查看课程介绍


Kimi老师复现代码精彩片段↓

心动了就赶紧扫码预约吧~

ps:感兴趣的同学,可以联系老师免费领取一节代码复现课程(包含各个方向)~

文末福利





作为日常为了论文而忙碌的科研人,小编知道大家一定很需要一些资料。因此,小编精心整理了一份超过1TAI顶会论文大礼包!包含最新顶会论文、书籍等资料,以及英文论文写作指导保姆级资料,从文献阅读到论文写作全部帮你整理好~


扫码免费领课程资料↑

-END-


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
在赫拉克利特的河里本轮甲流高峰是否已过去?最新回应来了→ChatGPT版必应被华人小哥攻破,一句话「催眠」问出所有Prompt深度:中美大变局是否已经到来?1个月被怒撕2次Offer,最后竟215K极限上岸Bloomberg?这位Newgrad经历有些特别...Far From Home: Meet the Migrants Returning to Shanghai一文掌握prompt learning~Prompt Engineering全面自动化:LeCun看了沉默,ChatGPT看了直呼内行新西兰两家大银行连夜宣布降息!房贷利率是否已经到顶?专家这么说!“伟大”知识分子是否已经消亡一文详解Prompt学习和微调(Prompt Learning & Prompt Tuning)ChatGPT 的 10 种集成模式:从开源 AI 体验平台 ClickPrompt 中受到的启发Zhejiang Wants Children to Study AI From Younger AgeChina Promotes Language Standardization in IT ProductsGPT-3解数学题准确率升至92.5%!微软提出MathPrompter,无需微调即可打造「理科」语言模型鼓励现房销售!取消预售制,时机是否已到?China’s Online Classrooms Have a ‘Bomber’ Problem一键从Prompt到PowerPoint,斯坦福博士生自制的PPT生成神器火了噢!卡撒布兰卡!ChatGPT火爆,最全prompt工程指南登GitHub热榜,标星4.7k!硬核观察 #917 无法从 Ubuntu Linux 中消除 Ubuntu Pro 的广告The Chinese Hotels Giving New Moms a Break — From Their In-LawsPrompt Tuning已经全面超越 Fine Tuning了?Prompt Learning 到底行不行?江泽民去世,一个时代的结束年終碎想我”阳“了Recommend somebody to do something是错误说法吗?天赋“易昺(bǐng)”,创造历史!你是否已经食物上瘾3个动作,测测你的肩背是否已经退化!如何构建结合 ChatGPT 的半自动化编程:以 ClickPrompt “步步惊心” 示例ClickPrompt:一站式 Prompt 学习、设计与运行工具(开源),支持 ChatGPT 等告诉Stable Diffusion 2.0你不想要什么,生成效果更好:Negative Prompt显奇效Prompt Tuning比Fine-tuning在哪些场景下表现更好?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。