用大白话编程比Java开发年薪翻一倍?深聊 Prompt 工程师背后:入行门槛远超普通开发
用大白话编程比 Java 开发年薪翻一倍?深聊 Prompt 工程师背后:入行门槛远超普通开发
15-50k 的月薪,另外还有年终奖和其他福利,你所要做的,就是研究、分析、设计在用汉语或英语做输入的情况下,更准确地描述业务想要做的事情,听起来是不是很难以置信?
然而这就是真实出现在 BOSS 直聘上的招聘启事,其岗位名称叫做“Prompt 工程师”或“Prompt Engineer”,于 2023 年上半年在国内快速兴起,目前已有 30 家左右的公司在各大平台公开招聘该岗位。在国外,Prompt Engineer 的热度似乎更高,不仅岗位数量更多,而且年薪最高达到了七位数,在全球经济皆不景气的当下,显得独树一帜。
可是,在经济不景气的背景下,由供需主导的人才市场,是不太可能出现“头脑发热”症状的。在经过一系列研究调查,并与相关招聘单位、企业高管进行深度访谈后,我们发现,以为“Prompt 工程师”的入行门槛低,只是一种错觉。当前企业招聘的“Prompt 工程师”岗位,实际上不但对应聘者的要求很高,而且极度务实。换句话说,如果你真的成功转型成了一名全职 Prompt 工程师,那么 15k-50k 的月薪,不但不浮夸,而且恰如其分。
Prompt 工程师的主要工作,是通过带参或不带参的自然语言输入,对预训练大语言模型进行操作,并对输出结果进行调优。可以说,Prompt 工程师就是企业或组织,为了将大模型的能力带入生产环境,而特别创造的岗位职能。这一岗位的兴起,与大模型技术本身的成熟直接相关。
创客贴是国内头部的平面设计在线平台,也正在招聘 Prompt 工程师, CTO 李晋松这样描述招聘原因:“大模型能力的成熟,就像突然之间,我们手中拥有了一架强大的机器。但机器上的按钮很多,且没有说明书,需要一个同学来探索、归纳、总结其使用方法。”
当然,这里只是针对 Prompt 工程师的招聘需求而谈的,要对大模型的输出结果进行微调,方法并不只有 Prompt 一种,其完整的概括应该是:
全部微调:使用新的数据集对整个模型进行微调,包括预训练的部分和新加的任务特定层。这种方法通常需要大量的数据和计算资源,并且需要更长的训练时间,但能够获得最好的性能。
部分微调:只对特定的层或几个层进行微调,通常是模型的最后几层或添加的任务特定层。这种方法通常需要较少的数据和计算资源,训练时间也较短,但性能可能不如全局微调。
冻结部分层:将预训练模型的前几层(如 BERT 的前若干层)冻结,只对后面的层进行微调。这种方法可以减少微调的参数量和计算量,但可能会影响性能。
动态掩码微调:对于需要进行序列标注任务的预训练模型,可以使用动态掩码微调的方法,即只对标注序列的位置进行微调,对其他位置的参数进行冻结。这种方法可以减少微调的参数量,提高计算效率。
半监督微调:使用少量的标注数据和大量的无标注数据对模型进行微调,以提高性能。这种方法需要使用半监督学习的技术,如自监督学习或基于对抗学习的方法。
Prompt 工程:更偏向应用与业务,通过修改输入给大模型的提示词,调优输出结果。
但前面五种,都需要一定的操作成本,且一般由算法工程师或所谓 AIGC 工程师来完成,最后一种是在解决大模型从生产到应用的“最后一公里”问题,目前是必备的,当下一般由算法工程师或其他技术角色兼任,或是企业招聘专人负责。
大众对 Prompt 工程师一职印象的分裂,也多半来源于此:从表面看来,Prompt 工程师是所有 IT 行业的工程师角色里,唯一写自然语言的工种,且所负责的事项,也无非是把一项任务表述得更清楚,似乎任何语言表达能力不错的人都可以做到。
事实真是如此吗?李晋松向 InfoQ 举了一个形象的例子:如果有人手动搭建了一个复杂的艺术模型,你能否通过提示词的猜测和微调,在 AIGC 工具里 100% 还原该作品?无疑相当困难。
这就是 Prompt 工程师入门的第一个难点:自然语言先天的模糊性。
人类文明的基石就是语言,但恰恰是因为语言承载了文明,同时具备了社会价值、历史价值、文化价值……所以其表意通常是模糊的、泛化的,“词义消岐”常年来就是 NLP 领域的一个固定科目。而已经习惯了自然语言表述逻辑的我们,要使用自然语言做精确的工程性描述,无疑也有点困难。
第二个难点在于普通人对垂直领域的专用术语,是存在语言匮乏现象的——任何一个场景都有大量的专用术语,用白话很难替代。比如在平面设计行业,伦布朗光、径向、层次等级、Ascender、Descender、互补色……致使所谓的 Prompt 工程师至少应该成为某个领域的业务专家。
针对以上两个难点的考察,李晋松在采访中提到,目前招聘企业都非常务实,基本上需要面试者实机演示 Prompt 输入的微调和输出结果。
InfoQ 同时也采访了珠海太乙人工智能技术合伙人 & 项目总监、极客时间 21 天 AIGC 行动营讲师尹会生,他从另一个角度聊到这个问题:“IT 领域大部分岗位的入门难度是逐渐上升的。比如运维工程师,早期是研发工程师兼职转任,熟悉资源、环境就好了,慢慢地,运维工程师要开始会编程语言、脚本语言,比如 Shell、Python,门槛开始升高。到了今天,运维工程师的门槛已经相当高,需要了解容器、监控技术等。所以相对来说,现在的 Prompt 工程师入门门槛,可能是历史最低值,是入行的好时机。”
两个角度相结合,我们或许可以得出一个复合结论:Prompt 工程师并非一个“麻瓜”可以随便上手的工作,且未来可能越来越难。
尹会生同时谈到另外一个思考:当下的 Prompt 工程师最好来自于技术行业,是某一领域的技术人员。因为 Prompt 工程师很可能是 AI 技术专家身旁的“副驾”或合作者,与之协作的都是资深技术人员。如果 Prompt 工程师本身不懂技术,那么也就无法顺畅协作。
Prompt 工程师还应该与时俱进,根据 InfoQ 写作社区的一位算法工程师小伙伴汀的分享(https://xie.infoq.cn/article/a55192a58c1880e82dbb58df7):Prompt 工程师目前也要关注和解决与大模型相关的风险和安全问题,因此需要了解对抗性 Prompt 的理念和方法,与此类似的新 Prompt 思想还包括 Active-Prompt、GraphPrompts、Multimodal CoT Prompting 等,其背后是大量的学术论文支撑,需要认真理解。
图Active-Prompt 示意图
此外,站在企业的角度,所有受访嘉宾一致同意,Prompt 工程师的一大价值,应该是能归纳总结 Prompt 的相关经验、实践、思路,把项目做成产品、平台和能力,赋能企业。而这在大部分团队内,针对普通工程师而言,算作是一项进阶能力,明显更为合理。
于是,当我们将以上所有要求汇总,得出的岗位画像是这样的:
Prompt 工程师最好是一个 AI 领域研发出身,有充足的 Prompt 实践经验和理论知识,十分了解公司业务和所在行业、能持续学习大模型相关前沿技术,并将其沉淀为团队能力乃至平台、产品的复合型人才。
根据极客邦科技双数研究院在 2021 年对数字化转型进程中的“业务架构师”的研究表明,既懂技术又懂业务并能将二者合二为一的人,往往是行业内最稀缺的人才。
这样看来,50k 的月薪好像也没有多离谱。
这一岗位长期的发展情况,也是广大开发者所关注的问题——甚至可以说,这比工作难度大、面试通过率低,更让人担心。
道理很简单,对于 Prompt 工程师这一岗位的发展前景,行业里天然存在一个悖论:
AI 的发展,本质上是以劳动力替代为目标的,也就是将越来越多的工作交给机器,以达成企业降本提效的诉求。而 Prompt 工程师本身是大模型技术在某一发展阶段的特定产物,因受交互方式限制,所以不得不专人专岗。况且对于企业而言,这本身就是人力成本的二次增加;裁撤数名业务人员,换来数名 Prompt 工程师,账未必算得过来。
简单来说,就是大模型技术发展的主要目标之一,是降低人力成本,其中也包括所谓的 Prompt 工程师。
而最近技术圈的新闻似乎也在印证这一点:6 月 13 日,阿里云机器学习 PAI 团队在 InfoQ 写作社区发文称(https://xie.infoq.cn/article/9d77b22a1b449428846bb1bfa),推出自研 Prompt 美化器 BeautifulPrompt,服务 Stable Diffusion。其原理是当用户输入了一个极其简单的 Prompt,该工具可以将其扩写成一个经过语言模型优化过的、细节描述详细的 Prompt,再吐给 Stable Diffusion。
BeautifulPrompt 整体架构
虽然工具效果还未受到行业内的广泛检验,但可以看出,围绕“Prompt 工程师”开展的优化动作早就已经开始了。
需要特别注意的是,这并不意味着这一岗位的寿命已经进入倒计时,开始优化和优化成功,到底还是两个概念。
以“云计算工程师”为例,该职位伴随着云计算的崛起而出现,高光时期曾登上人社部新兴岗位名单。尽管云计算产业秉持着“云服务应该像自来水一样,让客户对基础设施完全无感”的理念,十数年间持续优化产品体验。可在今日的招聘平台,我们依然能见到“云计算工程师”的招聘启事。
另外一个例证来自“数据分析师”。让大数据的能力普惠各行各业,让只有数据科学家才能使用的产品退出舞台,多年来都是众多大数据从业者努力的方向。但经过了二十年的大数据基建和产品研发,“数据分析师”仍然是一个庞大的从业群体。
张晋松和尹会生两位专家都赞同“Prompt 工程师”会成为 AI 行业接下来一段时间的常见岗位,相关热度会越来越高。未来,会不会有新技术代替人类优化提示词,人类与 AI 大模型的交互方式会不会发生改变,还是个未知数。张晋松提到:“技术发展的每一个阶段,都有特定的岗位设计。早期人们甚至需要打字员,现在则不需要。AIGC 现阶段的主要交互方式就是 Prompt,企业应该大胆地开始招聘,不要因为未来某一天的变化而放弃当下的发展机遇。”
两位专家同时默契地指出,即便未来大模型不再需要人工调优 Prompt,也只是该岗位的消亡,并不代表对应的工程师会失业。张晋松作为实际的企业招聘者,对此已有规划和安排:“我们更倾向于选择一些在 AI 技术、产品维度有一定知识储备的同学,假设真的有一天,技术把 Prompt 工程师这一岗位取缔了,他还可以转型成为 AI 产品经理或 AI 研发工程师。”
尹会生则简洁地告诉 InfoQ:"我认为,真正取代碳基生物的,永远是另一个碳基生物。"
关于“要不要转行做 Prompt 工程师”这一问题,尹会生的回答是:
“我举双手双脚赞成”,他说:“当下是入行最好的时间,后面的门槛会越来越高。而且未来被淘汰的人,一定是拒绝了解、学习使用 AI 这种先进工具的人。”
唯一要注意的是,当下行业还属于懵懂期,各家企业基本都对 Prompt 工程师的绩效设定、量化考核没有太明确、成型的想法。这就导致一旦企业增长放缓,高层考虑降低人力成本,说不清自身价值的 Prompt 工程师就可能会被优先裁撤。
所以努力学习 Prompt 知识,积累 Prompt 实践经验,优先谋求内部转岗或兼任尝试,可能是更稳妥的选择。当然,如果对自身的能力有信心,和用人单位也充分对齐了期望、达成了共识,快人一步,全职转型 Prompt 工程师,也未尝不可。不偏听冲动,才是 AIGC 大潮下的唯一致胜秘诀。
本文受访嘉宾:
李晋松,创客贴 CTO,互联网创业者和资深技术专家,创业经历有老虎地图、拉勾网,曾任职搜狗、360 AI 研究院、核桃编程、作业帮、创客贴等历任资深技术专家、 技术总监、技术负责人、副总经理等职务。
尹会生,珠海太乙人工智能技术合伙人 & 项目总监,前游戏公司技术总监,前新浪网技术经理。已经在极客时间开设了两门视频课程《零基础学 Python》《Linux 实战技能 100 讲》,一门专栏课程《Python 自动化办公实战课》,一个行动营《21 天 AIGC 行动营》,累计学习人数达到 18 万余人。
文中关于 Prompt 工程未来技术趋势的参考:
BeautifulPrompt:PAI 推出自研 Prompt 美化器,赋能 AIGC 一键出美图(https://xie.infoq.cn/article/9d77b22a1b449428846bb1bfa)
作者:汀,一名算法工程师,主要在自然语言处理,强化学习以及机器学习领域耕深推理。欢迎大家关注 id 汀丶人工智能一起 AI 学习。
极客时间《AI 大模型应用开发 · 实战营》首发,作者是深耕 AI 领域多年的技术专家彭靖田。
课程 8 周全程直播授课,覆盖硬件选型、大模型理论、 LangChain 开发框架剖析和落地实践,全程紧贴实际生产环境。现在市面上流行实用的,比如 AutoGPT 数字员工、翻译助手、智能销售顾问等经典项目,课程中都会带你动手实践。
不容错过的历史机遇,帮助你掌握利用大模型开发相关的 AI 应用的能力!
Prompt 工程师是伴随 AIGC 出现的岗位,它会是今后 AI 领域的常见岗位之一吗?Prompt 工程师的能力更看重哪方面,是表达描述能力,还是技术背景?
6 月 19 日 18:30,InfoQ《极客有约》特别栏目“天工开物”,我们邀请珠海太乙人工智能技术合伙人 & 项目总监尹会生、创客贴 CTO 李晋松、Thoughtworks ArchGuard 架构师黄峰达和大家聊聊新兴岗位 Prompt 工程师和未来发展前景。欢迎预约~~
今日荐文
抗拒使用 GPT-4 和 Copilot 写代码,拥有 19 年编程经验的老程序员“面试”被淘汰
AI帮助人类打破十年算法瓶颈:谷歌 DeepMind 发现更快排序算法,已集成到C++库
市值暴涨10519%,原来全世界搞大模型的企业都在给这位华人打工!
老板说得太多了?OpenAI要求删帖:Sam公布了OpenAI的近况和短期路线图
苹果发布革命性的操作系统VisionOS:这是从“sudo”到“Siri”的改变
一个简单的代码拼写错误导致17个生产数据库被删!微软Azure DevOps宕机10小时始末
你也「在看」吗? 👇
微信扫码关注该文公众号作者