Redian新闻
>
将GPT推到企业级应用,我们趟过哪些坑|对话惟客数据

将GPT推到企业级应用,我们趟过哪些坑|对话惟客数据

公众号新闻

采访嘉宾 | 李翔
编辑 | Tina

自去年年底 ChatGPT 掀起一轮 AIGC 热潮以来,国内外科技企业扎堆发布大模型,大佬也纷纷为自家大模型站台,甚至不惜掀起“口水战”。我们不可否认大模型优化了人类与机器交互方式,是效率的革命,然而作为开发者,我们更关心的是如何让大模型深入落地,在更多场景中把大模型的能力真正用起来。

现阶段这种实践经验尤为宝贵,但好在如何落地也是惟客数据的关注焦点,自 ChatGPT 出现后,惟客数据就开始了探索,并将之应用到了内部开发人员使用的场景,以及给已有产品赋能的场景中。应用新技术有哪些门道,我们为此采访了惟客数据 AI 算法专家李翔博士,他从模型选择、应用搭建、提示工程、实践效果等多方面进行了解答。

InfoQ:在大数据领域,目前 LLM 大语言模型能做哪些工作?LLM 和 GPT 之间的区别是什么?它们跟以前的 NLP 有哪些不同?

李翔:LLM 是大规模语言模型的统称,GPT 是其中的一种,两个都属于 NLP 领域,可以简单理解成为 NLP 包含 LLM、LLM 包含 GPT,当然 ChatGPT 这种又不是传统的 NLP,已经有一点 AGI 的雏形了,它涌现的能力主要体现在两块儿:一个是理解能力;一个是逻辑推理能力。比如通过理解人通过自然语言描述的需求,结合上下文信息去做合适的逻辑推理,生成人想要的内容,包括文案、代码等。

InfoQ:您们是什么时候开始决定将 GPT 这样的大模型融入业务?您们是如何选择模型的,基于什么原因,当前模型跟 ChatGPT 的区别主要是什么?

李翔:从去年 ChatGPT 一上线就开始关注了,当时的直接感觉就是“惊艳”,觉得所有的交互方式都可以也值得被重写,无论是提高软件的使用效率,还是降低人对软件产品的学习成本,可以在各种场景大幅度提高效率。

之前的大模型,无论是 OpenAI 的 GPT3,还是其他大厂的大模型,比如 Google 的 Palm(5400 亿参数),还有国内盘古或者悟道,都达不到 ChatGPT 的理解和推理能力,所以在那个时间点并没有其他的选择。之后有了 Google 的 Bard,百度的文心一言,还有 OpenAI 前团队的 Claude 这些跟随者。另外,还有一条开源的路线,比如基于 Meta 无意“泄露”的 LLaMA,衍生出了一系列的开源平替 Alpaca、BELLE 等。这些都会做为底层模型能力,接入到我们的 WakeMind 平台中来,我们还联合业界领先的千亿参数多模态预训练大模型厂商,通过知识蒸馏和动态量化,压缩出 100 亿参数量的 WakeMind 模型。不同的模型有各自的优劣,需要结合场景去挑选最合适的,比如在数据隐私极其敏感的场景,例如销售和客户的会话数据,就需要私有化部署的模型去提供对应的服务。

InfoQ:在这些场景中,该模型存在什么优势?是否存在对准确性和可靠性的担忧?

李翔:如上面所说,我们不会局限于某个单独的模型,而是通过 WakeMind 把这些模型都接入管理起来,作为底层的服务,提供给不同的场景和业务去用。

通常来说,一个新的技术出现时并不可靠,时灵时不灵,要将这样的技术转化成产品,需要足够的耐心和智慧,克服一个又一个困难,走完从 1 到 N 的漫长路程。

准确性决定了其服务的可靠性,和模型打交道也是一种学问,所以才会有 prompt engineer 这个说法,好的 prompt 可以回答的明显很准确,除此之外,还有其他的方式,比如大模型就有一个重要的参数“温度”,可以通过设置这个值去限定模型回答问题的发散程度,再比如 langChain 里的 prompt 模板里也明确了“必须基于给定的上下文去做理解和推理”,有很多的方法可以用来大幅度降低其回答跑偏的概率,这些都需要尝试,用实际落地的经验将这个准确率提高,为了把prompt和langChain管理起来,我们打造了WakeMind,去把这些经验沉淀到我们的母舰平台上去。

InfoQ:您们是如何在工作环境中使用大模型的?在落地过程中,您们遇到的最大挑战是什么?

李翔:我们的应用分两个场景,一个是内部开发人员使用的场景,一个是给已有产品赋能的场景。最大的挑战就是,每次碰到一个新的场景,都需要不同的人去把模型的接入和 prompt 的调试的过程趟一遍,大量的重复劳动以及经验没法传承的浪费,所以我们就想把这些重复性的过程通过一个平台管理起来。基于 WakeMind 平台去使用,针对某个具体的应用场景,会建立一个新的项目进行管理,并在这个项目中新增对应的 prompt。新增的同时,可以在平台提供的 playground 中对 prompt 进行调试后保存。如果上下文的长度超过了模型对 token 数量的限制,就通过新增 langChain 的方式对提供的超长材料进行 embedding 映射,并建立对应向量检索的预处理。最后通过接口发布的方式把这个场景的服务开放出来,给到不同场景的人去用。

InfoQ:用于数据分析和商业智能的 AIGC,针对不同场景是否需要不同训练数据(以及使用数据进行模型微调的步骤)?怎么保证效果更好?

李翔:有些场景是需要结合具体情况去做微调的,但不是所有的场景都需要,因为像 ChatGPT 这类大模型,最强的就是其通用的理解和推理能力,对于垂类场景的问题,可以通过 langChain 的方式把相关的上下文内容和问题一起包装成一个合适的 prompt,就已经可以达到一个不错的效果,解决很多场景的问题了。但对于有些场景来说,如果对准确率有更高的要求,那就需要结合数据进行进一步的微调,但这个对微调的要求很高,因为让大模型收敛是一件非常有难度的事情,如果过程没有控制好,甚至会起到不增反降的效果。

InfoQ:该模型在客户支持、潜在客户生成和数据分析等方面的效果如何?

李翔:客户支持方面,直接的应用就是智能客服,可以大幅度降低生成智能客服的成本,不需要像传统方式对垂直场景进行训练建模调优的流程。

潜在客户分析和运营方面,也可以提高运营对人群的理解,从而提高运营投放的效率以及效果。

数据分析的价值点主要在两个,一个是可以提供一些新的分析角度和建议,毕竟人的想象力是有限的;另外一个就是提高分析过程的效率,比如通过 textToSQL 以及 SQL 优化等方式。

InfoQ:是否可以估算下使用 “GPT”模型的相关成本?对比成本,您们如何看待它的价值?

李翔:ChatGPT 刚出来时,还是比较贵的,但今年 2 月份通过他们的优化已经大幅度降低了使用成本,而且按 token 数量进行收费的方式也是比较合理的,这个价格是公开的。从目前各个场景对 token 数量的消耗来看,这个成本完全是可以商用的。另外,最近还有一些新的技术比如 GPTCache,通过重复使用的方式去降低这个消耗。

InfoQ:使用“GPT”模型能写出比数据分析师更好的 SQL 吗?

李翔:使用大模型能够生成高质量的 SQL 查询语句,但是否比分析师的 SQL 更好,这取决于具体情况。

  1. 大模型生成的 SQL 查询语句通常是准确的、高效的,并且可以处理大量的数据,因为大模型已经学习了大规模的数据,并从中发现了一些数据之间的关系和特征。而人类分析师则需要花费更多的时间和精力在 SQL 查询语句的编写上,同时也需要具备一定的 SQL 编程技能和经验;

  2. 大模型也可能存在一些误差和偏差,需要进行监督和调整才能达到最佳的效果。而人类分析师则具有更好的判断力和经验,能够处理一些特殊情况和异常情况,并且能够从数据中发现一些潜在的规律和趋势;

  3. 大模型在理解模糊或不清晰的需求方面可能存在困难。人类数据分析师可以通过与其他人沟通来澄清需求。

在实际应用中,我们可以结合二者的优势,发挥它们的作用,来实现更高效、更准确的数据分析。

InfoQ:您认为会对哪些岗位造成影响?AIGC 会让数据分析师失业吗?为什么?

李翔:从现在的应用效果来看,代码编写者、包括 ETL 这类型的工程师,也包括数据分析师,都可以通过大模型提高自己的工作效率,这些是已经可见的现象。而且随着使用的熟练度以及大模型本身的进化,这个效率会提高的越来越多,如果一个人就可以做以前要十个人才能做的事情,同时市场上又没有出现更多的需求,那之后大概率市场上对这些岗位的需求会逐渐下降。

InfoQ:有人认为 AIGC 对数据库 / 大数据产品的改进可能只占其所有功能 / 亮点的 1%,还有剩下的很多考量因素对于客户来说更加关键,您怎么看?

李翔:保持中立。像上面说的,大模型改变的是和产品的交互方式,提高了使用软件的效率。同时我们一直举例说现在是“iPhone 时刻”,iPhone 对手机操作体验的改变就是质变,其他产品会不会是质变呢?举个例子,假设所有的业务人员,都可以直接通过问询的方式和大数据产品进行直接沟通,通过简单交互就可以快速获得自己想看的数据,同时还能提供很多基于数据的推理和建议,让人对自己的业务有更深层次的、不同的理解,那会不会让业务做得更好呢?这种是不是也算一种质变呢?需要让时间来回答和证明。

InfoQ:在辅助写代码方面,目前大家有两种看法,一个是认为写出来的不好用,另一个是觉得效果很好,那在您们内部使用过程中,是个什么情况?

李翔:在我们使用过程中,发现大模型非常擅长处理单个具体的场景,简单说就是不需要或没有太多的上下文信息,这种场景都能通过约束好 prompt 来完整地生成出来。但如果编码过程中包含了很长的上下文,比如有对负责需求的理解,以及和其他部门的沟通和协同,模块之间有很强的依赖关系之类的场景,从现在的体验来看,就处理的不是很好。

我们使用的核心逻辑是把需求文档转换成架构设计图,可视化的架构设计图转换成为 DSL,再通过 DSL 转换成为模板代码,开发人员在编码过程中通过大模型的辅助嵌入到已有的过程中:比如在开发过程中,做规则类代码生成、单元测试代码生成、开发代码优化、代码解释自动生成文档等,使编码效率与编码质量都得到了提升。

InfoQ:提示工程是否非常重要?您们积累了哪些经验或心得?

李翔:提示工程是非常重要的,prompt 描述的是否详细和贴切,决定了生成结果的质量。

在使用提示工程之前,应该了解大模型的限制和能力,以便于更好地指导大模型生成所需的结果;还可以尝试不同的提示和参数组合,从而获得更好的结果。例如,可以尝试不同的主题、关键字或参数来调整生成的文本;除此之外,还要学习和不同的模型打交道的方式,虽然各家大模型都有理解和逻辑推理的能力,但是由于训练数据和方式的不同,涌现的能力也会有较大差别,所以打交道的方式也会有很大的不同,需要摸索合适的方式,我们通过 WakeMind 的 prompt 管理平台,把这些经验都沉淀到了平台中,可见、可管理、可分享。

InfoQ:贵公司在辅助软件开发的方面还有哪些应用?效果如何?

李翔:在公司内部已发起自我生产力革命,从设计师、产品到程序员,全面运用大模型的工具,初步运用已实现人效达到 20% 的提升。更准确地讲,是开发过程的人效提升了 20%,也就是说,一个人有 20% 代码量是机器帮他完成的。在辅助软件开发方面,基于和大模型的结合提供了可视化的架构设计:包括构建数据模型,构建 SQL,构建领域模型图,构建流程图,识别并补充统一语言,通过需求文档总结需求并输出初步的架构设计等。

InfoQ:从行业发展角度来看,您认为“GPT”和生成式人工智能会催生出一波新的人工智能公司吗?

李翔:会,但不会很多。

对于前几次工业革命的技术爆发来说,不会让产业发生本质的变化,新的技术是用来做产业升级的,当前围绕各个产业的升级已经有了足够多的公司,新的技术会成为这些公司新的利器,做事情的细节会产生一些变化,但是做产业升级的大方向不会发生太多的变化,而且也不会再有很多新兴的公司去做应用和产业升级。从目前来看,新的公司更多是偏向底层做大模型的研发,这个门槛很高,所以不会很多。

采访嘉宾简介

李翔,惟客数据 AI 算法专家。中山大学人工智能方向博士,珠海市产业青年优秀人才,师从中山大学印鉴教授,在人工智能领域有 11 年的研究与落地经验;熟悉资讯流推荐、画像预测标签、NLP、CV、语音识别等多个 AI 方向,并将对应落地成果发表在国际一流期刊以及申请多项发明技术专利。

今日好文推荐

ChatGPT写21个程序,16个有漏洞:离取代程序员还远着呢!

华为投入数千人实现自主可控ERP;SpaceX星舰爆炸了,马斯克:祝贺!谷歌合并两大人工智能部门,加速力战ChatGPT|Q资讯

马斯克将起诉微软,称其使用 Twitter 数据“非法”训练GPT,吃瓜网友:事情变得更有趣了!

谷歌或被抛弃!ChatGPT 引爆手机市场新一轮洗牌:Android 手机销冠三星30亿美元大单欲改投 Bing

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
不愿再错失AI热潮!从政府到企业,日本在争议中“拥抱”ChatGPT手足口病流行季,我们需要知道这些坑唐人七律谁第一?前TapTap高管黄希威发布Hayo AI应用,融合ChatGPT、Stable Diffusion甲子光年:2023AIGC市场研究报告及ChatGPT推动的变革趋势与投资机会国际代工转品牌后,电动工具「大卖」Litheli和我们聊了聊踩过的坑|Insight全球ChatGPT的广泛应用,会带来哪些网络安全危机?微软将GPT-4植入Office;阿里云盘推出学生1T永久容量;高通骁龙7+Gen2发布「你在大学经历过哪些后悔的事?」我们请到了博士后、太空部队中尉来回答对话深蓝:推理小说推到最后,是对人性的推导 | 人间夜话ChatGPT插件全宇宙爆炸级开放!无需排队,下周可用,GPT-4突然「紫」了选刊:请ChatGPT推荐接受率最高的SCI期刊(神经科),靠谱吗?微软将GPT-4全面接入 Office / OPPO Find X6发布定档 / 《炉石传说》被移出亚运黑镜成真:强人工智能应用中的法律与伦理|对谈预告04.27(星期四)19:30Vision Pro预计销量降至15万台:接班iPhone尚需“杀手级应用”OpenAI推出ChatGPT企业版:用户有权决定对话数据和API数据的去留丨最前线拼多多被曝临时确定五一放假三天,淘宝用户信息疑泄漏,GPT推出联网模式,欧盟达成《人工智能法》协议,这就是今天的其他大新闻!OpenAI创始人:ChatGPT推理能力将进一步提升我们是如何探索把ChatGPT推到企业级应用的? | 直播预约视频-最新出版发行-“二十大暨建军95周年“珍藏版大型纪念邮册调用多个ChatGPT API相互对话,清华开源的多轮对话数据UltraChat来了ChatGPT爆出插件功能后,我们准备了一份GPT应用构思攻略丨数智前瞻ChatGPT推出“联网模式”!可直接读取网页内容,网友:更好用了男的打到晕,女的脱光撅着,真实的边境赌博,到底有多可怕?侨商道 |从科学家到企业家,黄晨东:创业如在泥泞路上跑马拉松跳绳ChatGPT推出APP!iPhone可用、支持语音输入 | 环球科学要闻陈春花:从创业者到企业家,必须经历这件事陈春花:从创业者到企业家,必须经历一件事米芾晚年的一幅“神作”,曾一度流落民间,如今被美国人买走了!iPhone 14新颜色或今明发布/微软利用ChatGPT推进无代码开发/ 京东百亿补贴商品不支持价保BC成加拿大的驱逐之都? 驱赶租客数据地图出炉,租户被逐原因和现状企业级 Azure OpenAI ChatGPT 服务发布(国际预览版)建筑设计「民营企业」要突围,数字创新与资本整合成为关键命题|对话国恒设计执行总裁杨淋早鸟报|ChatGPT推出iPhone版;UP主新增变现渠道;美团外卖加大直播投入...
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。