Redian新闻
>
对话圆代码 CEO 张朝明:做不跟 ChatGPT 对抗的企业大模型,用更少的数据达到更好的效果

对话圆代码 CEO 张朝明:做不跟 ChatGPT 对抗的企业大模型,用更少的数据达到更好的效果

科技

小型知识图谱配合大模型,是做私有化部署的新思路。
作者 | 黄楠
编辑 | 陈彩娴

通过统一的自然语言指令调用大量知识,ChatGPT 改变了人与 AI 交互的方式,并将进一步改变更多软件的交互模式和底层架构。

例如,现实生活中,各行各业都与海量的数据处理有关,比如把企业的季度营收数据填进报表中,记录证券市场交易数据和市场趋势波动,处理保单医疗图文数据等等,但将数据从非结构化的图文信息中抽取、整理出用户需要的信息,往往需要耗费相当的人力和时间。

近日,《连线》杂志创始主编 Kevin Kelly 在接受媒体采访时表示,他很认同一个观点,就是:在未来,人们需要放大自己身上 10% 的技能,因为剩下的 90% 将被 AI 取代。例如,在医疗领域中,AI 特别擅长搜索和分析,可以协助人类医生进行诊断。

业界对大模型的需求呈井喷之势。基础大模型的优势在于它的通用性,通过强大的图文理解能力和交互方式,目标在于追求最终的通用人工智能(AGI),但与此同时,通用大模型在满足阶段性的、细分场景下的 B 端需求上也体现出“牛刀小用”的短板,在工程优化、降低成本等方面有很大的提升空间。

对于这一问题,近日 AI 科技评论与深圳市圆代码互联网有限公司的 CEO 张朝明进行了探讨。

张朝明指出,今天的大模型有非常强的话语权,甚至可以决定一个生态的生死;从资金、技术和人才等角度体系思考,创业公司入场的门槛正在降低。小公司要参与大模型的浪潮,张朝明认为最大的机会还是在 To B 市场上。

“首先,不是去做一个跟 ChatGPT 对抗的大模型,而是聚焦私有化部署,做一个具备行业 Know-How 的企业大模型;第二,ChatGPT 给出的结果是对是错,需要交给专业的人用专业的知识去判断。”

以下是 AI 科技评论和张朝明的对话:



1

大模型也需要专业知识参与

AI 科技评论:怎么看小公司在大模型产业变革中的机会?

张朝明:今天大模型在任意领域的问答生成表现都非常好,但它在需要专业知识的领域问答上还是有不足之处的。专业知识的数据在网上不好获取,训练也就不够充分。

比如保险行业中的核保,关于核保的规则往往很难在公开渠道中获取,这属于保险公司的核心机密,我们只能通过在案例里去学习,因此也就存在不够精准的问题。大模型在专业知识领域大概只能做到百分之六七十的准确率,外行人看着可能觉得效果不错,但在内行人看来是无法使用的。

在行业里,95% 是一个生产标准。什么意思?也就是说做到 80% 也好、70% 也好,对生产环节而言没有区别。行业的判断标准之所以是 95%,是因为人的准确率大概在 92% 到 98% 之间,95% 刚好是个中位数,差额的几个点默认是人为也会出现的损失,这是一个容忍度的问题。而越在生产环节,对模型效果准确率的容忍度越低。

在 To C 的场景里,比如娱乐行业、泛娱乐场景,我们用 ChatGPT 聊天、写文章、生成图画、写文案,达到 60% 就觉得效果非常好、很满意,但进入金融行业或其他一些行业,没有 95% 准确率,基本上可认定为它没有任何意义。因此在生产环节里,模型的生成是容忍度非常低、但精度效率要求非常高的一件事情。

我们能看到的一个趋势是,大模型在 To C 方面很难超过 ChatGPT,这是由 To C 特殊的环境决定的,当一家中国企业做出一个 ChatGPT 后、美国人会不会使用,这是个很重要的问题,这也从语料、用户数量等等方面决定了国内厂商的模型很难达到 ChatGPT 的水准,但中国人自己使用是可以实现的。我认为 ChatGPT 和以前的淘宝搜索等不一样的地方在于,它是跨语言的。以前在淘宝上想使用英文搜索、或在谷歌上使用中文,都存在语言问题,但 ChatGPT 很好地处理了跨语言的问题。

因此,最大的机会还是在 To B 的市场上。

首先,不做一个跟 ChatGPT 对抗的大模型,我们看到的市场是在私有化部署上,具备行业 Know-How 能提供专业知识结果的企业大模型。私有化部署解决的是两个问题,一个是数据隐私的问题,这是私有化部署的核心,另一个则是专业性,所以这个大模型用户要自己训练;ChatGPT 给出的结果是对是错,需要通过人专业的知识去判断,且无法矫正数据的准确率,并不是将专业知识灌进去,就可以得到专业的结果,因此,企业也需要训练自己的大模型。

AI 科技评论:用小模型来实现 95% 的生产标准和用大模型来做,思路差异是什么?

张朝明:它是两个概念。小模型的优势是,它是在专业领域里一定是超过大模型的,知识图谱对知识的提炼和数据的获得,都属于小模型的优势,而大模型的优势在于它 60% 左右的通用性。比如说我想写一篇调查报告,写一个调查报告框架描述这件事、肯定是大模型写的好,但里面数据的填入是小模型更专业。所以这件事情需要大模型配合小模型来完成。

AI 科技评论:大模型配合小模型来完成,这么做的核心逻辑是什么?

张朝明:在大模型还没有起来之前,人们很难看到行业知识图谱背后的价值,只看到了完成它所需要付出的巨额成本。直到大模型火爆后,知识图谱成为了生成报告的数据内容,可以为多轮问答提供支持等等,才展现出它的价值。

从商业逻辑上看,在仅用小样本就能完成一个行业知识训练的情况下,使用几个亿、几十个亿的成本来训练行业知识的人、即便将这部分成本平摊到各个业务环节中,也肯定是赔钱的。核心的逻辑就在于,知识整理、储备整理和这个成本是多少?而这件事情过去很少有人去做。

过往知识图谱很多只能售卖一次,但好的商业模式应该具备可持续的续费能力。小模型的问题在于它构建知识图谱的成本太高。当一个做小模型的公司,构建知识图谱需要花费高达一两个亿,就又回到了不挣钱这件事。而大模型提供的能力是,写文章的时候让你怎么写得更优美、问答更通顺,而核心的知识来源一直没有解决。也就是说,无法使用大模型来指导工作,因为成本太高了。

为此,圆代码之所以能够极大地减少成本开支,是基于我们从小模型时代就基于自研技术、所提出的核心抽取模型。通过核心抽取模型所具备的复杂语义抽取能力,可实现用小样本解决构建知识图谱的成本问题。



2

AI 时代需要新的“操作系统”

AI 科技评论:圆代码所做的是提供基础大模型,还是帮助客户训练大模型?

张朝明:我们提供的是一套基础的东西。前几年零代码特别火,但其大家都非常清楚它的价值有限。在我看来,它并不是一个跨时代、变革的产品,而只是在原有生态体系下减轻工作量的一个工具,难以使用它跨任何行业去做无代码,但现在 AI 我们认为它已经是一个全新的生态。

PC 时代是操作系统为王,到互联网时代浏览器成为了入口、入口为王,再到移动互联网时代又是操作系统(iOS 和安卓)为王,发展路径十分清晰,非常简单的道理是、操作系统没有强势地位就会被剥削掉。

因此我们认为,大模型跟零代码的区别就在于,大模型一定是个基础设施,有非常强的话语权,甚至可以决定一个生态的生死。我们想做的就是一套操作系统,任何玩家都可以用,我们把这套东西提供给企业,企业的人不需要会编程,而是只要会业务、把他的业务数据放到这套东西上就可以使用,任何领域的人都能非常简单地完成相应的工作,这是我们对这套“操作系统”的定义。

比如一个公司要做研报解析,需要派 100 个人完成这件事,现在交给了 AI 公司,但如果 AI 公司也需要用 80 或者 90 个模型工程师来完成这件事情时,那么它所发生变化很小,赔钱的人从原来的公司变成了 AI 公司,这是一个核心的问题,只有解决了它,AI 公司才能够是赚钱的。

解决问题的关键在于,怎么通过使用我们所提供的这套操作系统,让 AI 公司仅需要用 1 个模型工程师和算法就能把问题解决到 95% ,这才是有价值的。

AI 科技评论:圆代码目前客户群体主要是哪些行业?

张朝明:目前我们只聚焦教育和医疗保险两个行业。

以医疗为例,圆代码做的主要对病例报告的解析,但我们不对影像报告的内容做解读,而是解析影像报告解读出来的文字内容。这部分需求放在医疗行业里,很难看到它的生态,但保险行业对这部分内容的需求很大。用大模型做医疗的事情,把保险行业的需求平移、解决保险人员对报告数据的需求问题。

跟银行不同,银行大多数的数据都是结构化的,因此在日常的运转过程中对数据解析的需求并不大。银行在正常运转下,使用 IT 软件就能处理 90% 左右的事情,剩下 10% 是由人在处理,例如贷款审核等等,因此报告解析在对应的工作内容体量中非常少。而保险公司从一开始就是人为处理的事情居多,其业务内容中人为占比达到 90% ,AI 只支持 10% 的信息存取、数据的流转,根本原因是,二者的数据源不一样,一个就是结构化的数据,一个就是非结构化的数据。

当 AI 巨大变革来临,或许银行在审核环节也会有变革,但其绝没有 AI 对保险行业的影响直接。

AI 科技评论:有了体检报告和这个表格之后的话,圆代码会对数据进行解析,那是否会进行下一步的分析处理?

张朝明:我们不进行下一步的分析处理,因为能处理这些数据的人全国能找出来不止 1 万个。但是能将这些数据它进行结构化、给到这 1 万个人的公司或机构很少。

当今天保险行业需要处理医疗的数据内容,通过人工来处理报告的数据输入、往往需要花费一天时间,结构化成本非常高;而借助我们的模型和平台、可以实现秒级速度迅速完成资料的结构化,这就是我们的技术实力。

AI 科技评论:数据样本的问题怎么解决?

张朝明:举个简单的例子,医疗行业的体验报告样式各不相同,当使用 AI 模型对体检报告进行结构化处理,几万篇同一模板格式的报告数据、对圆代码的技术研究作用不大。当体检报告样式有十几万种,要将这十几万种报告都找齐、再进行模型识别训练,这件事也并不现实。此外,如保险等此类隐私数据,我们也很难通过网络途径获取,隐私数据禁止买卖,上述均是十分现实的情况,如果问题无法解决,很难进行后面的训练。

对此,圆代码的思路是,在找不到一千份、一万份前提下,我们能否找到二十份小样本数据,基于二十份数据加上我们的技术,将适用于整个行业的模型训练出来,把图文信息转化为结构化数据,走自研底层技术、用更少的数据达到更好效果的模式。



3

小公司创业能做、但难度很高

AI 科技评论:小公司想做大模型创业,今天还有机会吗?

张朝明:有机会,但也很难,看的就是谁先能跑出来。

今天小公司想做大模型创业,我觉得其创业门槛相比小模型时代已经极大地降低了,但同时我们也要看到它最终能做成功的难度非常高。非常难的原因在于,首先一定需要有极强的科研能力,这对创业公司来说要在技术和人才上迅速拉平需要非常大的成本,这是第一点。

第二点,在现在这个情况下,不管做大模型也好、做小模型也好,一个公司手里如果没有四五十块显卡,连模型都跑不起来。显卡的投入轻易在几百万、上千万,这也意味着,一笔投资两三百万的种子轮融资,难以支撑一家企业购买硬件设备的钱。

可以说,上述两个问题就已经把绝大部分的创业公司都杀掉了,所以我认为,当前创业公司已经很难能够跑出来,在这个纯技术的赛道上,窗口已经关闭了。

AI 科技评论:AI 公司和 “AI+”公司的区别在哪里?

张朝明:区别在于 AI 为二者的服务、业务提供了哪些方面的能力。很多 AI 大模型的创业公司会使用开源模型,在开源模型上建模,但我们要看它建的是哪种模。

举个例子,做 AI 的公司把证券公司需要的数据给到证券公司,使用了它在 AI 上的能力来解决证券公司的人的需求,这叫做 AI 公司;而使用 AI 能力解决证券问题,体现的是公司在证券方面的建模和分析能力,这种我们称之为 AI +证券公司。大多数做 AI 公司会采用开源的解法来解决一个行业的具体问题,但它的核心能力是在金融建模上的能力,而并非 AI 建模上。

AI 科技评论:做什么模型跟细分行业的相关性大么?

张朝明:在大模型之前,我们做的是行业通用小模型,即对任何文本都可以进行非常结构化的处理。比如律师怎么看合同、想从哪些层面来使用数据等等,这些问题都可以完成。再比如医院的体检报告,通过我们的模型,可以把所有的数据都提供给客户去做任意的筛选分析,也可以向企业提供定向化数据。

AI 科技评论:它跟行业垂类大模型的区别在哪里?

张朝明:垂类大模型并不是针对具体某一个细分领域,它解决的也是行业性的问题。以医疗病例和体验报告的结构化问题为例,假设一家做糖尿病垂类大模型的公司,我可以输入糖尿病病人的病情数据、借助糖尿病垂类大模型解决相关的问题,也可以基于通用大模型基础上、就任意一个疾病种类,用同一套技术去解决新的病情。

这是商业模式的设计,而非技术的设计。也就是说,当你解决了数据源的问题,其实并没有解决别的问题。但在我们看来,大模型应该是一种基础技术,并不是说数据加模型的服务,就能够成为一个大模型。圆代码用大模型提供了一种数据处理的方式,最终也并不参与解决具体的行业问题。

正如前面提到的例子,保险行业需要处理好的、结构化的医疗数据,同时他们也拥有大量的优秀的核保人员和理赔人员,这种高级人才在中国并不稀缺,我们做的事情是,把这些结构化数据给到这些专业的人、擅长的人去分析,而不是去做分析的事情。

更多内容,点击下方关注:

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!


公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
【城事】巴黎市长将重修Châtelet 广场以方便行人国内团队提出全新RLTF框架,刷新SOTA!大模型生成代码质量更高bug更少早财经丨ChatGPT高三物理得零分,张朝阳解读;网信办:严打雇佣水军诋毁、抹黑企业;罗永浩直播卖房,上架一分钟就被订下360正式发布自研大模型,周鸿祎:国产大模型追赶GPT4的速度远超想象大型语言模型技术公开课上线4讲!直播讲解ChatGPT开源平替、类GPT4低成本定制以及GPT4ToolsChatGPT长出狗身子!波士顿动力ChatGPT狗,说话、整理数据超级6OpenAI推出ChatGPT企业版:用户有权决定对话数据和API数据的去留丨最前线用ChatGPT「指挥」数百个模型,HuggingGPT让专业模型干专业事对话竹间智能简仁贤:做大模型不能唱高调,企业需要低成本、平民化的模型产品巴黎市长将重修Châtelet 广场以方便行人开源中文医疗大模型华佗GPT来了,真人医生盲测效果优于ChatGPTElectron末日来了?又一应用将其抛弃!WhatsApp强制推行原生应用:速度更快、内存占用更少目前只To B,腾讯云为什么优先发布行业大模型,而非大模型?【吃顆米大會(つっこみたいかい)】暖場《いつの 日ひ 君きみ 帰かえ る》亚马逊高调入局ChatGPT大战,发布Titan大模型、AI编程助手全免费,CEO:改变所有体验且随诗吟:《轮回》by 星如雨智能周报|网信办发布生成式AI算法备案清单;腾讯跳过类ChatGPT产品,直接发布行业大模型《我的父亲是流亡学生》: 19. 一场大火ChatGPT 干倒了补习班股票, CHGG 近乎腰斩几行代码,GPT-3变ChatGPT!吴恩达高徒、华人CEO震撼发布Lamini引擎英伟达 CEO 黄仁勋还是有两把刷子微信回应「文件传输助手」是真人/ 苹果最强 Mac Pro 难寻受众 / ChatGPT 应用更新最新RLHF拯救语言模型「胡说八道」!微调效果比ChatGPT更好,两名华人共同一作2000元训练比肩ChatGPT的开源大模型!GPT-4亲自盖章认证,模型权重均可下载如何更好地蒸馏ChatGPT模型能力:Lion闭源大型语言模型的对抗性蒸馏模型原理及实验工作介绍Python吞噬世界,GPT吞噬Python!ChatGPT 上线最强应用:分析数据、生成代码都精通大模型的思想钢印:如何让ChatGPT相信水是有毒的?​中文信息处理实验室最新研究揭示虚假信息在大模型中的扩散机制调用多个ChatGPT API相互对话,清华开源的多轮对话数据UltraChat来了月季扦插大法ChatGPT 美国用户人群画像出来了:年轻、富裕、受过良好教育Chatgpt 眼中的“马云数钱”,大家看AI绘画靠谱么?大羊驼、羊驼、小羊驼和ChatGPT比差在哪儿?CMU副教授测评了7个类ChatGPT大模型坚持做行业大模型,竹间智能给大模型造了一座「模型工厂」对话销售易 CEO 史彦泽:ChatGPT 本质上是一个虚拟人,大模型将为 CRM 带来用户体验革命5039 血壮山河之武汉会战 鏖战幕府山 8Python 吞噬世界,GPT 吞噬 Python!ChatGPT 上线最强应用:分析数据、生成代码都精通马斯克成立X.AI公司对抗GPT,网易云音乐上线鲸云母带音质,GPT-5并不存在,雷军首谈AI大模型,这就是今天的其他大新闻!说好的web3怎么悄无声息了?反倒AI有了突破(ChatGPT)为什么花大价钱做了全屋定制,却没有达到想要的效果?【装修干货】阿里达摩院大模型公开课上新!主讲中文个性化对话大模型ChatPLUG和模块化多模态大模型mPLUG-Owl
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。