“千模大战”100天，文心一言与15万申测企业如何“软着陆”？

科技

2023-06-07 13:06

推理性能提升50倍，对文心一言和15万企业客户意味着什么？

作者 | 三北

编辑 | 漠影

过去三个月，随着“千模大战”在全国爆发，头部玩家百度文心一言“大招”不断。

昨日，百度智能云在成都举办的技术交流会上公布了最新成绩单：过去近三个月，文心一言实现了推理性能提升10倍，高性能版推理性能提升50倍。这意味着，同等效果的大模型，企业获取的成本大大降低。

同时，百度文心一言大模型在应用上“再攻一城”：继百度搜索、百度地图、小度音箱等应用接入文心一言之后，昨日，基于文心大模型的AI辅助编程工具Comate启动邀测，助开发者提高研发效率。

▲基于Comate辅助的“贪吃蛇”游戏编程

在市场和生态方面，百度智能云也公布了一组数据：截至当下，已有超15万客户申请接入文心一言，超300家企业成为文心一言生态伙伴，实现超400个具体场景落地。结合此前百度公布的10亿元文心投资基金，这些数据展现出文心一言的强劲表现。

头部客户方面，包括百图生科、长安汽车、地平线、知乎、软通动力等在内的多家企业，都基于百度文心千帆大模型平台取得了大模型落地进展。

AI大模型的“百度速度”，从一定程度上代表了国产大模型的发展速度。而在国产大模型加速赛跑的同时，国外的微软、亚马逊的AI竞赛同样愈演愈烈，为国产大模型施压。

加速AI发展成为各地政策所向，如何缩短与GPT-4的差距，也一直是国内产业持续关注的问题。通过对话百度智能云AI平台副总经理施恩，我们深入了解了百度文心一言过去三个月的迭代思路和心路历程，同时也探讨了AI大模型落地产业的真实挑战和应对之道。

01.

从代码助手到千行百业
国产AI大模型加速“软着陆”

首先来看看大模型应用更新。在本次技术交流会上，AI代码助手Comate是一个文心大模型应用矩阵中的新物种。

作为一款程序员“神器”，Comate可帮程序员实现代码的快速补齐、自然语言推荐代码、自动查找代码错误，从而提升研发效率。根据百度官方数据，在Comate辅助编写的代码中，近50%的建议代码被开发者采纳。

实际上，市面上已经有一些同类AI代码助手上线，包括微软旗下GitHub推出的Copilot X、AWS推出的CodeWhisperer等。那么Comate的实际体验效果如何？

会上，施恩通过一个“贪吃蛇”小游戏的开发现场演示了Comate。当开发者输入“canvas”，以及“弹性布局，水平居中，垂直居中”等中文备注，Comate即自动识别语义，生成游戏画布代码。当他再输入“param color”、“left”、”food=”等颜色、方向、食物的简单词汇，Comate自动联系上下文理解指令，补全代码，并在多条推荐代码之间切换，选择合适代码，系统就直接生成了可运行的“贪吃蛇”小游戏。

据悉，百度自2021年起就基于文心大模型研发代码辅助工具，自2022年9月起就在内部全面测试。Comate目前已经覆盖了30余种编程语言，包括 C/C++、Python、Java、Go、PHP、JavaScript等。Comate支市面上主流IDE，开发者可以通过插件等形式，在不同软件中使用Comate。同时，结合飞桨深度学习框架与文心大模型，Comate可确保推理单次请求300ms左右，以极快的响应速度保障用户使用体验。

面对市面上已有大厂的编程辅助工具，百度的AI代码助手有什么差异化价值？

施恩告诉智东西，市面上代码助手工具的定位都是用于辅助代码撰写，提升效率，Comate的一大差异化在于考虑了国内开发者的中文注释习惯，具备中文注释推荐代码能力。同时，相比于市面上产品大多基于开源代码训练，百度Comate是结合其内部众多业务开发代码训练而来，能做到业务实用性更强；此外，相比市面上产品需要基于公有云部署，Comate则支持私有化部署，从而减少安全隐患。

根据百度智能云的规划，在第一阶段，Comate的主要功能是以辅助代码撰写为主；在第二阶段，Comate将实现在特定领域、场景的自然语言代码生成；第三阶段，将实现全领域的自然语言开发。

纵观过去三个月里文心一言落地的应用，已经形成了一个矩阵。除了Comate，文心一言已落地百度搜索、新闻推荐、百度地图、如流办公平台、小度智能音箱等百度自有业务，同时落地了百图生科、长安汽车、地平线、知乎、软通动力等企业场景。

尽管很多场景还在探索之中，实际效果尚待验证，但大模型在行业的“软着陆”目前来看进展顺利。

02.

推理性能提升50倍

文心一言主动“瘦身”赋能行业

除了肉眼可见的应用方面进展，按照百度智能云公布的情况，文心一言大模型本身的迭代也达四版，效果和性能方面显著提升。

根据百度智能云官方数据，自3月16日文心一言开放测试以来，模型本身的推理性能已提升10倍。同时，在企业应用的高频、核心场景中，文心一言的高性能模式“文心一言-Turbo”，其推理服务性能已经提升了50倍。

文心一言-Turbo是什么意思？50倍性能提升又意味着什么？

文心一言-Turbo，简单来说，可以理解为一个“瘦身”的文心一言大模型，能在保证实现文心一言相同效果的同时，降低模型参数规模，从而降低企业的使用大模型的算力成本。

而在50倍这一数字背后，施恩告诉智东西，随着文心一言-Turbo带来50倍性能提升，未来客户将能感受到使用成本的降低。同时，模型的响应时长将被缩短，使得对时延要求高的场景体验大大提升。此外，在资源扩展性方面，文心一言-Turbo使得私有云部署的客户算力储备和占用变少，取得明显收益。

文心一言及文心一言Turbo有各自适用的场景，为不同企业提供了不同选择。

一类是通用应用型企业，往往需要用大模型改善终端应用效果或孵化创新应用，比如WPS、石墨等，核心关注的是大模型的效果保障。由于很多企业的应用是通用的，因此会选择泛化性更强的文心一言，以解决更多问题。

一类是行业龙头企业，希望构建行业大模型服务上下游企业。比如教育、金融、能源等方向的龙头企业，手握行业数据和场景积累，需要在专业领域构建基于行业大模型的应用。文心一言Turbo更适用于终端的应用场景，结合企业自身数据能达到更好的场景化效果。

可以看到，经过近3个月迭代发展，百度文心一言的行业落地正在分出两条清晰的路线：通用大模型和行业大模型并举。

纵观全球AI大模型发展格局，国内AI大模型与OpenAI旗下的GPT-4的差距难以在短时间内赶超。但3个月的落地让施恩对这一问题有了新认识，他认为，企业更关注的是大模型如何与企业场景做结合解决实际问题，而不是大模型评测情况。

“通用模型能力是一方面的，怎样更好地跟行业数据、行业知识相结合，去解决问题是更重要实用的。”施恩说，“我们这两个方面都会关注。通用模型的逻辑、推理等能力提升，有助于更好训练行业大模型；同时也不完全依赖于通用模型的全面性，不影响我们在一些特定的行业去应用落地。”

03.

文心千帆进化10周
大模型正颠覆云计算范式

根据科技部新一代人工智能发展研究中心发布的《中国人工智能大模型地图研究报告》显示，目前中国10亿以上参数规模的大模型已达79个。但这可能仅仅是冰山之上的情况，一场“千模大战”在过去三个月里已经铺开。

市场需求在过去三个月已发生微妙变化，也影响着智能云产业的发展走势。

百度集团副总裁侯震宇在5月的闭门技术交流会上谈道，在3月16日文心一言刚开放时，来咨询的客户大多是CEO级别的一把手，从战略上认可大模型的重要性；两个多月之后，团队接触到越来越多业务负责人，他们希望更快用大模型提高业务能力，从而在竞争中获得优势。

与此同时，随着AI大模型落地行业，一些实际挑战也显现出来。施恩告诉智东西，一是客户使用上的困难，比如大模型需要较好的Prompt（提示词）做触发，而一些客户难以结合场景去编写Prompt，就使效果打折扣；二是通用大模型与专用场景的匹配不足，专业知识库的缺乏阻碍大模型效果发挥；另外是与企业业务系统集成的挑战，这需要与更具行业经验的伙伴合作，等等。

AI大模型发展势在必行，产业如何解决这些挑战？

对此，百度实际上在文心一言上线之后就给出了解法——标准化平台赋能行业。

3月27日，百度文心千帆一站式企业级大模型平台开启测试。这是一个包含了文心大模型及第三方模型，以及构建大模型能力所需要的全场景工具链。比如行业伙伴需要的SFT大模型效果调优、Prompt工程等，都可以从这个平台上获取。

而经过近10周的迭代，文心千帆平台虽然还不能说取得成绩，但已经在生态方面有一些进展。除了文心一言大模型本身已迭代4个版本，还包括15万企业申请内测、推出五大行业样板间、400多场景测试取成效等，包括长安汽车、百图生科等伙伴都已经公布了成果。

如下图所示，文心千帆平台大目标是能够覆盖AI研发的全生命周期，包括数据管理、模型训练、模型评估、预测部署和插件服务等多项能力，支持公有云服务和私有化部署多样化部署方式，从而实现更易用、更全面、更安全、更高效、更开放、更集成。

据悉，文心千帆的核心迭代思路可以归结为两个核心关键点：一是效果，推理能力如何，与业务结合能否解决问题，是企业第一关心的。二是性能，要持续降本，对百度智能云的要求就是要在技术架构上持续提升性能。为此，大模型落地需要由算力、框架、模型、应用构筑的四层架构相互配合提供支撑。百度智能云正通过AI大底座，从芯片层、操作系统层、框架层、应用层4层架构占据先发优势。

可以看到，随着AI大模型展开落地，云计算行业的产业规则正在被AI改变。主流商业模式正从强调规模的IaaS（基础设施即服务），向强调多层技术栈协同的MaaS（模型即服务）发展，为云计算产业带来进化升级的新机遇。

04.

结语：“千模大战”100天
头部企业服务版图基本成形

随着AI大模型加速产业落地，打头阵的百度文心一言已实现多次进化迭代。

3月16日，百度大语言模型产品文心一言邀请测试；3月27日，百度智能云文心千帆大模型平台面向首批企业客户启动内测，在智能办公、旅行服务、电商直播、政务服务、金融服务五大领域打造行业样板间。

4月25日，百度智能云宣布六大智能产品系列将基于文心一言升级，未来将在安全评估完成后上线。4月26日，百度智能云宣布文心一言大模型推理成本降到原来的1/10。

5月9日、5月23日百度智能云在北京、深圳举办技术交流会，首次演示用“文心千帆”大模型平台可视化微调大模型的全过程。5月31日，百度将设立10亿元人民币的百度文心投资基金。

6月6日，百度智能云推出文心一言高性能模式（文心一言-Turbo）、开放代码助手Comate邀测。

可以看到，百度文心一言企业服务版图成形。追溯到其升级思路，则是主要沿着效果和性能两条主干线，以助各行各业的企业更快地通过大模型，满足业务的实际需求。

当我们提到AI大模型时，很自然地想到的是算力。而实际上，随着大模型在产业场景中找到更多的结合点，能否解决客户问题成为最关键的问题。因此，更智能的算力、灵活的框架平台、丰富的大模型体系以及优质的应用方案，都将成为企业决胜“千模大战”的关键。

（本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章