Redian新闻
>
对话 APUS 李涛:全面转型做 AI,蒸馏法训练大模型,沉淀中小模型

对话 APUS 李涛:全面转型做 AI,蒸馏法训练大模型,沉淀中小模型

科技

作者丨何思思

编辑丨林觉民

走进融新科技中心A座23层,映入眼帘的是绿植、野营桌椅帐篷,在如此轻松的环境下,雷峰网见到了APUS创始人李涛,他着一身休闲装,显得尤为放松。

对谈前,他用八个字总结了创办APUS的心路历程——“享受过程、追求快乐”,对谈过程中,也始终强调着“快乐”的重要性。一场对谈下来,他口中有关“创业压力、至暗时刻”的抱怨很少,更多的是应对变局时的从容淡定。

雷峰网从侧面了解到,APUS在选择办公地址时通常首选高层,原因是窄小的格子间只会给程序员带来压迫感,毫无快乐可言,高楼层视野开阔,可以让程序员们员工心胸更宽广。站在APUS办公室的窗前能看到北京最高的建筑“中国尊”。

李涛是国内最早一批接触到大模型的人之一,早在2019年,他就和字节跳动创始人张一鸣、红杉中国创始人沈南鹏在硅谷见了OpenAI创始人Sam Altman,这也为APUS全面转型人工智能埋下了伏笔。

2022年11月底,OpenAI上线ChatGPT引发了全球性的关注,随后谷歌母公司Alphabet宣布将推出名为“Bard”的AI(人工智能)聊天机器人服务以及多个人工智能项目,紧接着Azure OpenAI重磅推出了 GPT-4,相继微软宣布将大型语言模型(LLM)和Microsoft 365应用相结合,正推出全新的AI功能。

至今国际市场上有关大模型的角逐仍在持续上演。

反观国内市场,其激烈程度不亚于国外,自今年2月份ChatGPT在国内火爆出圈后,互联网厂商们坐不住了,迅速加入AI赛道。首先是百度官宣文心一言,并在之后的邀约测试环节中吸引了12万人,随后阿里、腾讯、360等互联网企业相继官宣加入该赛道。

相较百度而言,虽然后者还没有推出可商用的大模型产品,但也纷纷转投了大部分精力到大模型的研发工作上。

全球化智能手机操作系统企业APUS,以工具类产品为基础逐渐衍生出内容等相关产品和服务,从2014年成立至今已经在全球拥有了超24亿用户,覆盖200多个国家和地区,支持超25种语言。面对此次AI大模型风口,APUS早在2019年就开始了相关布局,并于去年底启动大AI战略,比国内的AI热潮提早了一到两个月的时间。

从移动互联网企业转型人工智能,李涛坦言,“和公司的定位有很大的关系,2020年以前我们对自己的定位是‘中国出海企业’,之后转成‘全球化公司’。这决定了我们会更早的感知到国外的技术、思维等方面的变化,去年年底则真正感受到了AI 带来的竞争压力,也看到了其巨大的发展潜力,我们随之启动了全面拥抱AI的战略转型。”

以下为雷峰网和李涛的对话:



1

“不要抱着补偿心理创业,创业者要享受过程”

雷峰网:您怎么看待创业这件事?

李涛:创业是一个动态的过程,不是开始,更不是结果。创业者必然会经历高光也会经历低谷,不能单纯的追求三年或者五年后的特定高光时刻,高光后还会回归到落寞的状态是自然规律,所以创业者没必要为了高光而辛苦,而是要享受过程,从中让自己更快乐。

雷峰网:所以您属于很享受过程的人?

李涛:对,我觉得人做事第一要顺势而为,第二要学会造势,第三要享受过程,这三件事你都做到了,就会很快乐,你的心态也会非常平衡,成功之后也不会有很强的补偿心态。

雷峰网:要想创业成功,什么特质是最重要的?

李涛:积极稳定的心态。有些上市公司并不赚钱,因为这些创业过程艰难,企业家认为太苦了,上市后补偿心理就会太重,一旦有了这种心态就很难成功。现在很多成功企业的领头人恰恰是在享受过程,并不是为了追求走到哪一个高光时刻,但是这些企业一旦进入高光区往往就会持续很长时间,这是积极的心态带来的正向效应。

我创办APUS以后,企业的业务增长很快,因为创造了社会价值,我在其中也感受到快乐,没有补偿心理,这种心态让我更容易做出正确的判断,帮助企业维持了比较好的发展态势。



2

全球化视野提前感知AI变革

决定全面转型

雷峰网:怎么定位APUS?

李涛:APUS是一家以产品技术为核心竞争力的全球化移动互联网公司,2014-2019年一直做出海业务,我们那时的定位是中国出海企业,2019年APUS战略升级为“全球化”,把自己定位为全球化公司,无论中国、美国或其他地方,都是我们选择的一个市场区域。

雷峰网:决定让你全面转型做人工智能,是有什么契机吗?

李涛:ChatGPT出来后再次证明了国内互联网的全球化发展很不充分,去年10月ChatGPT就在美国火了,当时很多美国学生都用它来做作业,但这个概念到今年2月才在国内出圈,这意味着中国在技术意识方面要比美国晚3到4个月以上的时间。而APUS是全球化企业,在这个定位下,感知和思维模型就会有全球化视野,我们大概去年就已经接触到了ChatGPT并开始了相关研究和自我筹备。

雷峰网:APUS最早是怎么做的?

李涛:从AIGC开始入手,当时不是按照ChatGPT 这个方法,但我们很快就发现了ChatGPT 模型的训练能力是极强的。因为语言模型训练是非常困难的一件事,比AIGC的挑战大的多,今天大部分AIGC都不能算是大模型而是自建的中等模型。

雷峰网:所以如谷歌这类公司在大模型方面是最有优势的?

李涛:我不这么认为。因为他们很难颠覆自己的“商业模式”去实现自我革命。搜索引擎是归纳法,在归纳法的基础上创建自己的商业模式,他们不太可能去做演绎法的事情。像谷歌做大模型就是很被动的在做,因为它在大模型方面是落后的,就必须按照别人制定的规则来做,而OpenAI已经把规则定下来了。假如谷歌能做出一个超越 OpenAI的大模型,他会试图重新把这套东西拉回到自己原来的那套规则上,去发挥它原有的优势向下做,这必然会导致落后。这是谷歌这类公司的痛点,它很难改变。

雷峰网:如果中国出现下一个GPT企业,您认为小公司比大公司的可能性大?

李涛:对,目前能做GPT的大多是互联网企业,但这些企业本质上都有既得利益,他们不愿意舍弃这些既得利益。王慧文投5000万美金这个事就值得我们期待。

雷峰网:为什么值得期待,能做成吗?

李涛:中国试图做AI大模型的企业都值得期待,只是王慧文在所有人没表态的时候就站出来了,但这仅仅是表态,最终能输出什么样的产品我们还要再观察。

雷峰网:有人愿意投入大量资金,是不是意味着我们离大模型更近了?

李涛:大模型靠的是什么?第一场景,第二数据,第三算法,第四算力,不仅仅是砸钱就能搞定的事情。

客观来看,我们有场景,也有不小的数据体量,但这个数据放在全球市场来看也没有绝对优势。我们有算法,但都是割裂状态,没有一个开放平台让大家把拥有的算法都贡献出来。算力方面,我们正面临高性能算力的限制,芯片方面较美国,中国还是有很大差距的。

总的来讲就是,场景丰富;但数据只能算中等规模;算法是极度分散,没有形成合力;算力则是严重不足。

雷峰网:怎么解决这些问题?

李涛:一方面,中国的算力大部分掌握在政府手里和运营商手里,所以需要政府推动进行算力整合。另一方面,也需要行业推动,公开算法。

雷峰网:为什么倡导大家把算法公开出来?

李涛:大模型不公开是正常的,因为大模型和商业模式挂钩,会直接决定企业营收。算法是可以公开的,只有算法公开,才可以把大家的智慧集中起来。所有代码都开放出来意味着有更多人能够维护和优化代码,代码一旦升级到很高的水平,数据和模型能力就会迅速提升,这本质上是一个利己的行为。OpenAI就很聪明,它做完这件事就把接口全部开放出来了。而且也更利于训练自己的模型,模型训练需要更多的数据和场景,这不是千百个程序员坐在办公室能想出来的。

从另一个角度来看,公开算法会促使更多开发者进行创新,能够推动行业进步,也是在创造更好的创新环境和发展氛围。这样看来,开源利人利己,何乐而不为?

雷峰网:真正解决了这个问题,中国企业有没有机会?

李涛:有机会,但不会一下起来,这场AI潮比拼的本质是你能不能先抓住场景;第二是数据,第三是国际化的问题,只有足够国际化才能解决算法不断更新迭代的问题,才能解决算力不足的问题。



3

用蒸馏法训练AI大模型

沉淀中小模型

雷峰网:今年APUS在AI大模型方面的目标是什么?

李涛:2019年APUS开始从中国出海企业转为全球化公司,今年就是要全面拥抱AI,成为一家人工智能公司,这是非常明确的目标,我们预估转型后企业业绩有望实现200%的增长。

雷峰网:成为人工智能公司的标志是什么?

李涛:第一,企业内部生产工具的改进和生产效率的提升;第二,用人工智能改造现在所有的产品;第三:在人工智能的环境下去探索新的物种和新的产品;第四:把人工智能推到全产业链中,让AI成为新引擎。

雷峰网:会和大模型公司(诸如文心一言)合作吗?

李涛:或许会合作,但存在一个关键问题,双方合作沉淀下来的模型在他那还是在你这儿,这个关系很难平衡。所以国内企业都要考虑沉淀出属于自己的中小模型,这是未来一切发展的基础。

雷峰网:具体应该怎么做?

李涛:要用别人的大模型方法实现自我训练,也要反向的通过领先的大模型用蒸馏法训练自己的模型,另外在关键节点还要加一部分人工干预。

雷峰网:APUS在自己训练大模型吗?

李涛:我们自研了一个参数在1000亿以内的“天燕”大模型,并形成了无数个精炼模型(中小模型),另外还反向用像GPT这样的大模型通过蒸馏法来训练自己的大模型。

从商业化角度,针对不同场景有不同的小模型,每个场景可能有1到10款不同的产品和软件,这样也能保障有足够大的用户量来训练我的小模型。

雷峰网:中小模型和大模型有什么区别?

李涛:区别在于参数、算力和场景。大模型和中小模型有非常明显的界限,中小模型之间则没有很大的界限。大模型的使用面非常广,它可以分装成中模型和小模型,中模型是最复杂的,一般是独立建的模型,像商汤和旷视。未来可能很少会存在单独的小模型,一般在大模型的训练场景中加上参数,就会形成一个小模型。

雷峰网:您觉得大中小模型哪个会率先迎来爆发,或者商业机会更多?

李涛:毋庸置疑肯定是中小模型,下半年各种中小模型会迅速产出商业价值,但从长远来看更具潜力的一定还是大模型。如果说第一个时代的操作引擎是 windows 和Linux,第二个时代的操作引擎就是安卓和iOS,那么下一个时代的操作引擎就是人工智能,OpenAI其实就是想把GPT做成一个操作系统,大家都想争这个操作系统的掌控权和话语权。



4

ChatGPT不是很热

是还不够热

雷峰网:你怎么看待ChatGPT?

李涛:ChatGPT帮我们利用人类的智慧生成了一个全新的结果,且这个结果在历史上从来没有出现过的,它把这个结果作为唯一性的选择给到我们,这是过去机器无法完成的。

它相当于一个7岁小孩的智慧,会模仿会创新,就像他看了无数幅画后,他自己会画一幅画,进行全新创作。

雷峰网:目前行业对ChatGPT的接受度如何?

李涛:业界对ChatGPT的认知还比较落后,前段时间我的MBA 课程留了一份课堂作业,基于纪录片《寿司之神》描述日本工匠精神,我用ChatGPT完成了这份PPT,第二天讲的时候,很多人都还惊讶,不知道ChatGPT是什么。

雷峰网:APUS内部对人工智能的使用到什么程度了?

李涛:我们内部所有系统都已经接入人工智能,图片图标制作完全用AI替代,一半以上的程序员代码都是用人工智能来review的。

雷峰网:怎么提升内部员工对人工智能的使用度?

李涛:去年春节以后APUS制定了一个奖励机制,要求所有程序员、设计师以及生产一线的同事都必须用人工智能来提升自己的生产效率,提升30%效率的加薪10%,如果提升 50% 以上加薪20%-30%,激励大家使用人工智能。

雷峰网:如果全行业都用上人工智能,那企业的核心竞争力在哪里体现?

李涛:谁优先想到用人工智能,谁把人工智能用得更彻底,谁的生产效率最高,谁在行业内的潜力就越大。

更多内容,点击下方关注:

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!


公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
Habby刺激下,Voodoo宣布全面转型混合变现,目标单款创收1亿美元“土豪”玩家来了!深圳集体经济转型做创投,“躺在银行吃利息,实在太浪费”!泰国30天落地签临时政策结束,恢复15天停留期!菲律宾下月起全面转电子出入境卡 !沈联涛:全球竞争已成为一场“百年马拉松”“ChatGPT 黑化”暴露出太多问题令人恐慌,是时候对大模型做安全评估了!CVPR 2023 | 可扩展的视频基础模型预训练范式:训练出首个十亿参数量视频自监督大模型华为官宣了!孟晚舟“身份大变”,网友:任正非还是食言AIGC 军备竞赛开启,但训练大模型存在的问题却无解?马斯克成立 X.AI 搞大模型,硬刚 OpenAI,已囤万张 GPU布林肯决定不来华,中方不会惯着,我副外长直接赴俄,获热情接待纽约州哈里曼州立公园(Harriman State Park),深秋一天谷歌 I/O:全新大模型,赋能「全家桶」;广汽埃安+滴滴,2025 量产 L4 车型;加入通话功能,推特变微信 | 极客早知道轮到美国被卡脖子,中国禁止24项技术出口,美国越需要我们越不卖CVPR'23 最佳论文候选 | 采样提速256倍!蒸馏扩散模型生成图像质量媲美教师模型13948道题目,涵盖微积分、线代等52个学科,上交清华给中文大模型做了个测试集马斯克成立X.AI搞大模型,硬刚OpenAI,已囤万张GPU蒸馏也能Step-by-Step:新方法让小模型也能媲美2000倍体量大模型从BERT到ChatGPT,百页综述梳理预训练大模型演变史To B大模型,一场重塑企业软件的大模型革命OpenAI、谷歌双标玩得溜:训练大模型用他人数据,却决不允许自身数据外流海淀中考一模试卷出炉!从考题来看未来的命题趋势,小娃该准备些啥?不想被白嫖了,Reddit 将向 OpenAI 、谷歌等公司收取 API 费用,后者一直免费用其聊天内容训练大模型【广发策略】OpenAI发布预训练大模型GPT-4—新兴产业景气扫描(3月第2期)OpenAI、谷歌双标玩得溜!训练大模型用他人数据,却决不允许自身数据外流...较小模型,超高性能:DeBERTa和自然语言理解的未来【元宵节快闪】咦,门怎么还开着呢?《声声慢》包邮送6本!NLP与ChatGPT的碰撞:大模型和小模型联合发力对话李志飞:大模型的关键在于如何把大模型用起来|年度AI对话网易伏羲中文预训练大模型“玉言”问鼎中文语言评测分类冠军:参数达 110 亿,浪潮提供 AI 算力支持2023一季度:外交战线全面转守为攻阿里达摩院大模型公开课上新!主讲中文个性化对话大模型ChatPLUG和模块化多模态大模型mPLUG-OwlLLM推理提速2.8倍,CMU清华姚班校友提出「投机式推理」引擎SpecInfer,小模型撬动大模型高效推理IBM 入局:开源自对齐方法训练「单峰骆驼」,比GPT4更值得信赖弱!全面转弱!CVPR 2023 | G2SD: 让小模型也能从自监督预训练中受益的蒸馏方法
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。