云启合伙人陈昱：ChatGPT的质变，不是一场技术变革

公众号新闻

2023-03-06 02:03

大语言模型研发，创业公司灵活性比大公司更好。

来源 | 云启资本

出品 | 投资人说（touzirenshuo）

伴随着ChatGPT的横空出世和破圈热议，大模型创业日益升温，AGI（通用人工智能）仿佛已经离人类越来越近。

早在2021年底，云启作为唯一的早期投资机构参与了国内一家多模态AI大模型创业公司MiniMax的天使轮投资。

目前首款产品「Glow」已拥有近500万用户，可能是国内第一家同时拥有3个模态（语音、图像、文本）大模型能力的创业公司。此外，云启多家早期被投企业也进行了相关探索。

陈昱长期关注前沿科技、智能驾驶等领域的投资，在加入云启前曾任Google（谷歌）工程师、国内上市公司CTO（首席技术官）。

他认为，ChatGPT背后的质变，其实并不是技术上的变革，而是工程上的创新，模型参数量规模扩大导致的质变，人工反馈是ChatGPT脱颖而出的根源。

伴随ChatGPT商业落地场景的显现，前往通用人工智能的方向也逐渐清晰，虽然抵达终点的路程还很遥远。

人工反馈是ChatGPT脱颖而出的根源

“有多少人工智能就有多少人工”，陈昱说，“这句话已经不是行业内的秘密。”

训练大规模语言模型，需要大量人工做数据清洗和标注，还需要得到人工反馈，使得语言模型更贴近人的语言习惯和拥有正确的价值观。

自然语言处理技术（NLP）早在上世纪50年代便已进入科学家的研究视野，2010年后，计算机算力的大幅增长和深度学习的技术加持让NLP奠定了如今的技术发展方向，“模型参数量上去以后，突然间质变就到来了。”

陈昱介绍，除了参数量的提升，“人工反馈强化学习（RLHF）”的技术对语言模型质量的提升也起到了关键的作用，它使得语言模型能够学习人类的表达方式。

人工反馈是ChatGPT脱颖而出的根源。

用强化学习训练来逐渐改进AI 模型，就像教小孩学习，做对获得奖励，做错接受批评，经过无数次正负反馈迭代后最终让模型收敛.

接近人类期望的结果，而这背后需要极为大量的人工劳动。

因此，ChatGPT选择了劳动力价格低廉的非洲和东南亚，雇佣当地员工进行数据标注。

其中肯尼亚数据标注员高强度的工作时薪仅2美元，也引发了国际社会的关注。

目前成本是传统搜索的5-10倍

“AI大模型是躺在钱堆上的赛道。从买算力，到顶尖AI工程师的雇佣，再到数据的收集、标注和评估（反馈），都需要大量的资金投入。”

陈昱介绍，“起步创业的话5000万美元是够了，但如果长期来说，融资量得到3-5亿美元这个规模，才能叫真正上了牌桌。”

他补充道，“这和当年的自动驾驶很像，对融资的要求特别高。”

ChatGPT背后的大模型不但拥有高昂的训练成本，其推理成本亦不容小觑。

陈昱介绍说，“现在ChatGPT每服务一次客户要花费传统搜索5-10倍的成本，这笔账能不能算过来还是个问题。”

但陈昱同时也表示，成本的降低同样也已经能够展望，首先能够确认的就是，摩尔定律在大模型的算力中同样也有作用。

“英伟达的GPU从V100、A100到下一代的H100，每次算力的整体效能都提高了一个数量级，所以未来成本还会继续往下走。”

陈昱介绍，“现在业内已经在实验各种降低成本的方式，包括从芯片算力、改进算法等，还会研究未来是不是真的需要这么大的一个参数量，可能100亿参数、500亿参数的模型效果就很好了。”

据他了解，微软和ChatGPT整合后，用的模型也不是最大的千亿级参数模型，而是一个中等大小的模型，只有几百亿的参数量，这些都会大幅降低模型的推理成本。

传统大厂VS创业公司

在陈昱看来，对大模型公司而言，数据量非常重要，但创业公司同样拥有在市场上挑战大厂的机会。

OpenAI取得的成绩挑战了Google在搜索引擎领域的商业模式，更是为人们津津乐道。

“互联网上的数据对所有玩家都没有区别，区别在于数据背后的人工反馈。”

陈昱介绍，“创业公司肯定没有大厂那么多的数据量，但它可以有一些创新的方式来收集数据和反馈，比如ChatGPT的聊天服务，其实用户每一次和他的对话都会被记录下来，它就在这样的对话反馈中学习。”

另外，陈昱也认为，大语言模型的研发中，创业公司的灵活性让他能比大公司做的更好。

如果是大公司里的一个部门，就会有大公司病带来的一系列弊端。

如果一个大公司想去推出一个类似的服务，肯定公司内部会有人跳出来说你这个模型做的不完美。

这样的话出去会损害公司品牌，或者说你会挑战我们已有的商业模式……无数理由让它做不下去，但在创业公司我就是无畏无惧的。

早在2021年底，云启作为唯一的早期投资机构参与了国内一家多模态AI大模型创业公司MiniMax的天使轮投资。

陈昱透露，目前MiniMax首款to C（面向消费者客户）的产品Glow已近500万用户，在商业层面，MiniMax可能是国内第一个基于用户反馈跑通大模型的公司。

此外，云启多家被投企业——如Jina AI、PingCAP、智齿科技、百炼智能等也有相关产品探索。

商业化之路逐渐清晰

在陈昱眼中，ChatGPT已经拥有了很多商业落地场景，尤其是在和人的语言能力有关的领域。

“to C领域（面向个人）如情感陪伴，to B领域（面向企业）如智能客服、语法校对、文章摘要、财经分析等，这些都是大语言模型擅长的东西。”

陈昱介绍，“当然目前它更多还是为人类提效。现在的人工智能、包括机器人都不能完全替代人类，未来很长一段时间都会是人机协同。”

通用人工智能（AGI）是人工智能发展的终极目标，即能够达到一般人类的智慧，能够执行人类智力水平的任务。

而ChatGPT是通用人工智能的研究发展中产生的阶段性成果。

“现在的研发进展比想象的快，也让大家一下子找到了前往通用人工智能的一个方向，虽然这个方向具体能走多远不清楚，但它是有阶段性成果，而且是能商业化的。”陈昱表示。

“通用人工智能现在仍然是一个遥远的概念，我们也不知道是5年、10年还是100年后才能做到，所以团队除了有技术之外，真的要有理想、有情怀。”

陈昱表示，“作为VC（风险投资人）本身也需要理性的理想主义，除了资金助力之外，要真正去支持那些比较宏大的理想，不然不管是ChatGPT还是其他创新，就永远不可能发生。”

· END ·

近期活动

----------------------------------------

阅读推荐

· 从8位大佬在乌镇互联网大会的演讲中，我看到了这个趋势

· 沃衍资本魏斌：制造业投资大有可为，选对方向才是关键

· 雷军小目标：做世界TOP5，每年至少1000万辆

· 沈南鹏：15年投了上千创业者，我发现这样的CEO能成事

· 张一鸣：为什么我不赞同控制人力成本？

视频推荐

合作对接

寻求报道、商务合作、投融资对接媒体互推、开白、投稿、爆料等……

扫码添加投资人说运营者微信，备注「商务合作」详细沟通。

超级社群

【投资人说】正在组建超级投资者社群、超级创业者社群、超级读者群、超级媒体群等，目前总人数已超1000人。

关注【投资人说】微信公众号，发送信息「进群」，与各行业精英直接交流，共同进步。

旗下媒体

发现赞和在看了吗，戳下看看

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章