实访用人单位:Prompt 工程师真是低门槛“香饽饽”?
15-50k 的月薪,另外还有年终奖和其他福利,你所要做的,就是研究、分析、设计在用汉语或英语做输入的情况下,更准确地描述业务想要做的事情,听起来是不是很难以置信?
然而这就是真实出现在 BOSS 直聘上的招聘启事,其岗位名称叫做“Prompt 工程师”或“Prompt Engineer”,于 2023 年上半年在国内快速兴起,目前已有 30 家左右的公司在各大平台公开招聘该岗位。在国外,Prompt Engineer 的热度似乎更高,不仅岗位数量更多,而且年薪最高达到了七位数,在全球经济皆不景气的当下,显得独树一帜。
可是,由供需主导的人才市场,似乎不太可能出现“头脑发热”症状。在经过一系列研究调查,并与相关招聘单位、企业高管进行深度访谈后,我们发现,以为“Prompt 工程师”的入行门槛低,只是一种错觉。 当前企业招聘的“Prompt 工程师”岗位,实际上不但对应聘者的要求很高,而且极度务实。换句话说,如果你真的成功转型成了一名全职 Prompt 工程师,那么 15k-50k 的月薪,不但不浮夸,而且恰如其分。
Prompt 工程师的主要工作,是通过带参或不带参的自然语言输入,对预训练大语言模型进行操作,并对输出结果进行调优。可以说,Prompt 工程师就是企业或组织,为了将大模型的能力带入生产环境,而特别创造的岗位职能。这一岗位的兴起,与大模型技术本身的成熟直接相关。
创客贴是国内头部的平面设计在线平台,目前正在招聘 Prompt 工程师,其岗位职责和技能要求如下:
职责:
1. 基于语言模型,设计、开发和完善各种应用程序的 AI 生成文本提示。
2. 监控和分析提示性能,确定改进的领域。
3. 负责用于训练垂直领域模型的数据收集方案。
4. 优化 AI 提示生成过程,参与提示词工具开发。
5. 协助内容和产品团队了解提示工程。
要求和技能:
1. 熟悉开源和闭源语言模型。
2. 熟练生成高质量提示词的工程技术。
3. 具备优秀的需求理解能力和拆解复杂任务的能力。
4. 具备一定的计算机知识,如编程语言,机器学习。
5. 具备中英文写作能力,有出色的口头和书面沟通能力。
6. 有良好的工作习惯,善于归纳和记录工作内容。
7. 能够有效与跨职能团队合作。
创客贴 CTO 李晋松这样描述招聘原因:“大模型能力的成熟,就像突然之间,我们手中拥有了一架强大的机器。但机器上的按钮很多,且没有说明书,需要一个同学来探索、归纳、总结其使用方法。”
当然,这里只是针对 Prompt 工程师的招聘需求而谈的,要对大模型的输出结果进行微调,方法并不只有 Prompt 一种,其完整的概括应该是:
全部微调:使用新的数据集对整个模型进行微调,包括预训练的部分和新加的任务特定层。这种方法通常需要大量的数据和计算资源,并且需要更长的训练时间,但能够获得最好的性能。
部分微调:只对特定的层或几个层进行微调,通常是模型的最后几层或添加的任务特定层。这种方法通常需要较少的数据和计算资源,训练时间也较短,但性能可能不如全局微调。
冻结部分层:将预训练模型的前几层(如 BERT 的前若干层)冻结,只对后面的层进行微调。这种方法可以减少微调的参数量和计算量,但可能会影响性能。
动态掩码微调:对于需要进行序列标注任务的预训练模型,可以使用动态掩码微调的方法,即只对标注序列的位置进行微调,对其他位置的参数进行冻结。这种方法可以减少微调的参数量,提高计算效率。
半监督微调:使用少量的标注数据和大量的无标注数据对模型进行微调,以提高性能。这种方法需要使用半监督学习的技术,如自监督学习或基于对抗学习的方法。
Prompt 工程:更偏向应用与业务,通过修改输入给大模型的提示词,调优输出结果。
但前面五种,都需要一定的操作成本,且一般由算法工程师或所谓 AIGC 工程师来完成,最后一种是在解决大模型从生产到应用的“最后一公里”问题,目前是必备的,当下一般由算法工程师或其他技术角色兼任,或是企业招聘专人负责。
大众对 Prompt 工程师一职印象的分裂,也多半来源于此:从表面看来,Prompt 工程师是所有 IT 行业的工程师角色里,唯一写自然语言的工种,且所负责的事项,也无非是把一项任务表述得更清楚,似乎任何语言表达能力不错的人都可以做到。
事实真是如此吗?李晋松向 InfoQ 举了一个形象的例子:如果有人手动搭建了一个复杂的艺术模型,你能否通过提示词的猜测和微调,在 AIGC 工具里 100% 还原该作品?无疑相当困难。
这就是 Prompt 工程师入门的第一个难点:自然语言先天的模糊性。
自然语言为了承载文明,兼顾社会价值、历史价值、文化价值……其表意通常是模糊的、泛化的,“词义消岐”常年来就是 NLP 领域的一个固定科目。而已经习惯了自然语言表述逻辑的我们,要使用自然语言做精确的工程性描述,也比较困难。
第二个难点是 任何一个场景都有大量的专用术语,普通人用白话很难精确代换。 比如在平面设计行业,你至少需要知道伦布朗光、径向、层次等级、Ascender、Descender、互补色……才能较为精确的描述需求,修改 Prompt。这导致所谓的 Prompt 工程师至少应该成为某个领域的业务专家。
针对以上两个难点的考察,李晋松在采访中提到,目前招聘企业都非常务实,基本上需要面试者实机演示 Prompt 输入和输出结果,并对微调过程进行考察。
InfoQ 同时也采访了珠海太乙人工智能技术合伙人 & 项目总监、极客时间 21 天 AIGC 行动营讲师尹会生,他从另一个角度聊到这个问题:“IT 领域大部分岗位的入门难度是逐渐上升的。比如运维工程师,早期是研发工程师兼职转任,熟悉资源、环境就好了,慢慢地,运维工程师要开始会编程语言、脚本语言,比如 Shell、Python,门槛开始升高。到了今天,运维工程师的门槛已经相当高,需要了解容器、监控技术等。所以相对来说,现在的 Prompt 工程师入门门槛,可能是历史最低值,是入行的好时机。”
两个角度相结合,我们或许可以得出一个复合结论:Prompt 工程师并非一个“麻瓜”可以随便上手的工作,且未来可能越来越难。
尹会生同时谈到另外一个思考:当下的 Prompt 工程师最好来自于技术行业,是某一领域的技术人员。因为 Prompt 工程师很可能是 AI 技术专家身旁的“副驾”或合作者,与之协作的都是资深技术人员。如果 Prompt 工程师本身不懂技术,那么也就无法顺畅协作。
Prompt 工程师还应该与时俱进,根据 InfoQ 写作社区的一位算法工程师小伙伴汀的分享:Prompt 工程师目前也要关注和解决与大模型相关的风险和安全问题,因此需要了解对抗性 Prompt 的理念和方法,与此类似的新 Prompt 思想还包括 Active-Prompt、GraphPrompts、Multimodal CoT Prompting 等,其背后是大量的学术论文支撑。
图 Active-Prompt 示意图
此外,站在企业的角度,所有受访嘉宾一致同意,Prompt 工程师的一大价值,应该是能归纳总结 Prompt 的相关经验、实践、思路,把项目做成产品、平台和能力,赋能企业。而针对大部分企业的普通工程师而言,这算作是一项进阶能力,明显更为合理。
于是,当我们将以上所有要求汇总,得出的岗位画像是这样的:
Prompt 工程师最好是一个 AI 领域研发出身,有充足的 Prompt 实践经验和理论知识,十分了解公司业务和所在行业、能持续学习大模型相关前沿技术,并将其沉淀为团队能力乃至平台、产品的复合型人才。
根据极客邦科技双数研究院在 2021 年对数字化转型进程中的“业务架构师”的研究表明,既懂技术又懂业务并能将二者合二为一的人,往往是行业内最稀缺的人才。
这一岗位的发展前景,也是广大开发者所关注的问题——甚至比工作难度大、面试通过率低,更令人担心。
道理很简单,“Prompt 工程师”的发展存在一个悖论:
AI 的发展,本质上是以劳动力替代为目标的,也就是将越来越多的工作交给机器,以达成企业降本提效的诉求。而 Prompt 工程师本身是大模型技术在某一发展阶段的特定产物,因受交互方式限制,所以不得不专人专岗,理论上也是 AI 的替代目标之一。况且对于企业而言,先裁撤数名业务人员,再引入数名 Prompt 工程师,考虑到薪资水平的差异,人力成本未必会降低。
最近技术圈的新闻似乎也在印证这一点:6 月 13 日,阿里云机器学习 PAI 团队在InfoQ 写作社区发文称,推出自研 Prompt 美化器 BeautifulPrompt,服务 Stable Diffusion。其原理是当用户输入了一个极其简单的 Prompt,该工具可以将其扩写成一个经过语言模型优化过的、细节描述详细的 Prompt,再吐给 Stable Diffusion。
BeautifulPrompt 整体架构
虽然工具效果还未受到行业内的广泛检验,但可以看出,围绕“Prompt 工程师”开展的优化动作早就已经开始了。随着类似工具的不断完善,行业专有大模型的不断推出,“Prompt 工程师”未来可能会变成一个纯粹的“蓝领”岗位。
当然这并不意味着这一岗位的寿命已经进入倒计时,“开始优化”和“优化成功”,到底还是两个概念。一旦技术的发展对市场产生了结构性影响,那么相关人力岗位的迭代往往是漫长的。
以“云计算工程师”为例,该职位伴随着云计算的崛起而出现,高光时期曾登上人社部新兴岗位名单。尽管云计算产业秉持着“云服务应该像自来水一样,让客户对基础设施完全无感”的理念,十数年间持续优化产品体验。可在今日的招聘平台,我们依然能见到“云计算工程师”的招聘启事。
另外一个例证来自“数据分析师”。让大数据的能力普惠各行各业,让只有数据科学家才能使用的产品退出舞台,多年来都是众多大数据从业者努力的方向。但经过了二十年的大数据基建和产品研发,“数据分析师”仍然是一个庞大的从业群体。
李晋松和尹会生两位专家都赞同“Prompt 工程师”会成为 AI 行业接下来一段时间的常见岗位,相关热度会越来越高。未来,会不会有新技术代替人类优化提示词,人类与 AI 大模型的交互方式会不会发生改变,还是个未知数。李晋松提到:“技术发展的每一个阶段,都有特定的岗位设计。早期人们甚至需要打字员,现在则不需要。AIGC 现阶段的主要交互方式就是 Prompt,企业应该大胆地开始招聘,不要因为未来某一天的变化而放弃当下的发展机遇。”
两位专家同时默契地指出,即便未来大模型不再需要人工调优 Prompt,也只是该岗位的消亡,并不代表对应的工程师会失业。李晋松作为实际的企业招聘者,对此已有规划和安排:“我们更倾向于选择一些在 AI 技术、产品维度有一定知识储备的同学,假设真的有一天,技术把 Prompt 工程师这一岗位取缔了,他还可以转型成为 AI 产品经理或 AI 研发工程师。”
尹会生则简洁地告诉 InfoQ:“我认为,真正取代碳基生物的,永远是另一个碳基生物。”
关于“要不要转行做 Prompt 工程师”这一问题,尹会生的回答是:
“我举双手双脚赞成”,他说:“当下是入行最好的时间,后面的门槛会越来越高。而且未来被淘汰的人,一定是拒绝了解、学习使用 AI 这种先进工具的人。”
唯一要注意的是,当下行业还属于懵懂期,各家企业基本都对 Prompt 工程师的绩效设定、量化考核没有太明确、成型的想法。这就导致一旦企业增长放缓,高层考虑降低人力成本,说不清自身价值的 Prompt 工程师就可能会被优先裁撤。
所以 积累 Prompt 实践经验,优先谋求内部转岗或兼任尝试,可能是更稳妥的选择。 当然,如果对自身的能力有信心,和用人单位也充分对齐了期望、达成了共识,快人一步,全职转型 Prompt 工程师,也未尝不可。尚在迷雾中的新兴岗位“Prompt 工程师”,正在一步步走向台前。
文中关于 Prompt 工程未来技术趋势的参考:
Prompt 工程师指南[高阶篇]:对抗性 Prompting、主动 prompt、ReAct、GraphPrompts、Multimodal CoT Prompting 等 _ 人工智能 _ 汀丶人工智能 _InfoQ 写作社区(https://xie.infoq.cn/article/a55192a58c1880e82dbb58df7) 作者: 汀,一名算法工程师,主要在自然语言处理,强化学习以及机器学习领域耕深推理。欢迎大家关注 id 汀丶人工智能一起 AI 学习。
极客时间《AI 大模型应用开发 · 实战营》首发,作者是深耕 AI 领域多年的技术专家彭靖田。
课程 8 周全程直播授课,覆盖硬件选型、大模型理论、 LangChain 开发框架剖析和落地实践,全程紧贴实际生产环境。现在市面上流行实用的,比如 AutoGPT 数字员工、翻译助手、智能销售顾问等经典项目,课程中都会带你动手实践。
不容错过的历史机遇,帮助你掌握利用大模型开发相关的 AI 应用的能力!
点击底部阅读原文访问 InfoQ 官网,获取更多精彩内容!
这将是一场灾难?37年历史的PostgreSQL数据库将进行重大架构变更
GitHub Copilot:做出一个划时代的产品,只需要 6 个人
苹果Vision Pro商标撞车华为;Vue作者入驻爱发电赞助平台,称国内赞助非常少;14岁天才少年入职SpaceX|Q资讯
ChatGPT 的诞生打响了现代 AI 军备竞赛的第一枪。以 GPT-4、ChatGTP、Bard 等为代表的大语言模型在全球各界引起了广泛关注。结合 ChatGPT 的底层技术逻辑,未来中短期内 ChatGPT 产业化的方向大致有四类:即智能客服、文字模态的 AIGC 应用、代码开发相关工作以及图像生成。其中,最适合直接落地的项目就是智能客服类的工作。那么,想要将 LLM 大语言模型与智能客服产品进行结合,或者将前者落地于 ToB SaaS 应用软件领域,该如何着手搭建技术栈?AIGC 大模型在智能客服产品中该如何落地?
👆 添加小助手,领取 AIGC 资料包 👆
微信扫码关注该文公众号作者