Redian新闻
>
百度智能云:千帆大模型平台接入Llama2等33个模型,推理成本可降低50%

百度智能云:千帆大模型平台接入Llama2等33个模型,推理成本可降低50%

公众号新闻


从今天起,百度生态成为了可以看见的力量。

作者 | 何思思
编辑 | 林觉民                                                                                   
       

近日,百度智能云方面表示,千帆大模型平台已完成新一轮升级,重点升级了两大功能。

据了解,目前千帆大模型平台已经全面接入Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33个大模型,成为国内拥有大模型最多的平台。接入的模型经过千帆平台二次性能增强,模型推理成本最高可降低50%。同时,千帆平台上线了国内最全的预置Prompt模板,模板数量多达103个,覆盖对话、游戏、编程、写作十余个场景。
2023年3月,百度智能云推出“千帆大模型平台”,它是全球首个一站式的企业级大模型平台,不但提供包括文心一言在内的大模型服务及第三方大模型服务,还提供大模型开发和应用的整套工具链,能够帮助企业解决大模型开发和应用过程中的所有问题。
百度智能云方面表示,本次千帆大模型平台升级的目的是给企业、开发者提供更加灵活、多样化、高效的大模型服务,客户可选择最适合自身业务的大模型,再利用千帆平台全套工具链进行模型再训练、指令微调等,高效率、低成本地打造企业专属大模型。此外,海量Prompt模板库可提高大模型内容准确性和满意度。

01

千帆接入Llama 2等33个优质模型,推理成本最高可降低50%

当前,开源大模型生态发展迅速,大量优质模型涌现,在不同任务场景、参数量级与算力环境下体现出了差异化优势。如何选择适合的大模型、如何应用大模型能力提升市场竞争力,成为越来越多企业迫切探索的方向。
文心大模型是百度发布的产业级知识增强大模型,据IDC 最新发布的《AI 大模型技术能力评估报告,2023》显示,文心大模型得到“综合评分第一,算法模型第一,行业覆盖第一”三个绝对第一。而在文心大模型3.5版支持下的文心一言,中文能力突出,在多个公开测评也显示有超出 GPT-4 的表现。
为了满足企业对大模型多样的需求,千帆大模型平台除百度自研的文心大模型外,还支持Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33个大模型。
企业用户可将不同大模型搭配使用,以满足不同细分场景的业务需求。企业和开发者可以登陆千帆大模型平台操作台,在“模型仓库”中直接调用、部署。
据了解,千帆平台接入的大模型均经过严格优选,主要考核三大指标:模型效果、模型安全性、可商用。为给企业客户带来更好的模型产品,千帆对这33个大模型进行了性能+安全的双重增强。
一方面,千帆对每一个大模型进行了二次性能增强。通过优化模型吞吐、降低模型尺寸,实现模型推理速度的大幅提升。据测算,调优后模型体积可压缩至25%-50%,推理性能显著提升。这意味着,企业在千帆上调用这些模型可极大地节约成本,提升效果。
另一方面,千帆对第三方大模型做了二次安全增强,更好管控模型输出的安全性。客户在千帆上调用第三方模型,也享有平台的安全保障。
值得一提的是,为方便开发者和企业做模型调优,千帆还提供多种低门槛调优工具,包括SFT(全量参数微调、Prompt Tuning、LoRA)及强化学习(奖励模型学习、强化学习训练)等,同一模型可通过多种方式持续调优。此外,千帆还支持数据回流功能,可在实际生产过程中持续微调,提升模型效果。

02

上线国内最全Prompt海量模板库,大幅优化模型输出效果

是指通过自然语言向大模型提出问题/提示,帮助大模型更好的理解人类的问题。实际应用时,大模型往往因为缺乏针对性、描述不清晰等原因影响到内容准确性。
为帮助客户提高Prompt提问质量、提升模型输出满意度,本轮升级后,百度智能云千帆大模型平台上线了海量预置Prompt模板库,模板数量多达103个,包含对话、编程、电商、医疗、游戏、翻译、演讲等十余个常见场景。用户可以根据需求选择合适的模板,直接输出给大模型, 即可提高模型内容的针对性和准确度。
百度智能云表示,很多企业使用大模型时,认为效果不好是模型本身的问题,其实很多时候重新编写Prompt就能达到预想的效果。海量Prompt模板的推出,大幅降低了Prompt撰写难度。很多情况下,企业无需花费大量资源调优大模型,基于模板优化Prompt,即可得到满意的模型效果。
如今,大模型正在重塑各行各业,进入产业落地期。为降低大模型使用门槛,千帆大模型平台将持续汇聚优质的大模型资源,提供易用可靠的大模型工具链,帮助每个企业、开发者打通拥抱大模型的最短路径,共同探索大模型与行业结合的创新实践。

福利票上线,免费抢3000元/张的大会通票

为答谢忠实读者,我们提供20张GAIR SUMMIT 2023免费门票,点击文末【阅读原文】注册,即可有机会获取,先到先得。

//

近期热门文章

港中文「1026实验室」往事:贾佳亚与他的学生们


独家对话黄学东:我在微软30年的风风雨雨


硅谷NEC Lab往事:将中国企业拽进AI时代的人

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
加速大模型产业落地,百度智能云千帆再升级紫东太初全模态大模型来了,一个模型打通感知、认知、决策交互屏障又见琳娜百度Q2财报超预期:智能云、广告业务强劲,抓住大模型机遇将迎来10倍机会大模型爆发!百度智能云千帆2.0全面升级,讯飞星火正式开放早鸟报|视频号小店推出运费险服务;拼多多Temu即将上线日本版;首个百度文心千帆大模型平台成立...Erklärung zur Zusammenarbeit华为率先把大模型接入手机!小艺+大模型,智慧助手智商+++孩子的大学去年有两个学生被汽车压死百度云MaaS升级:接入国内外33个大模型,进行二次性能增强|甲子光年从技术创新到应用实践:百度智能云发起大模型平台应用开发挑战赛!接入Llama 2等33个大模型,上线Prompt模板,百度智能云千帆大模型平台重磅升级智讯|理想汽车二季度毛利率超特斯拉;地平线智能驾驶研发总监加入比亚迪;广汽 AI 大模型平台亮相MindMap: 将知识图谱引入LLMs,实现稳健且可解释的推理《夏日冰湖》: 雪岭银湖玉山巅, 碧宇苍松云水间。 不随尘世夏时令, 冰雪依旧方外天。神秘「血浆疗法」来源公布,可将生理年龄降低50%,即将针对狗进行试验火山引擎推出大模型平台;云知声提交上市申请;联通推出首个运营商大模型丨AIGC大事日报腾讯推出混元大模型,已接入微信搜一搜、腾讯会议等 50 多个业务及产品首批AI大模型获批上线,BATH在列;华为Mate 60开售即火,接入盘古大模型;AI操控无人机能力超越人类冠军丨AI周报美国大西洋城,赌城扫描BELLE-7B-1M逻辑推理超预期?10B量级开源中文对话LLM,谁最「懂」逻辑推理?Llama2等30+模型接入千帆大模型平台,推理成本降50%!还有超全Prompt模板开放体验腾讯AI将至!消息称腾讯9月初发布混元大模型,多款软件已接入测试百度云上交大模型成绩单:接入42个大模型,月活企业近万家|甲子光年百度智能云技术委员会主席王耀确认担任QCon联席主席并将发表主题演讲智能周报|苹果营收连续3个季度下降;苹果中国区应用商店下架多款AIGC应用;鸿蒙4.0将接入盘古大模型LMOps 工具链与千帆大模型平台谷歌云AIGC火力全开!推出新AI芯片TPU v5e,企业AI服务30美元/月,接入Llama 2等大模型等不来自家大模型,火山引擎先搭了一个模型​「货架」|最前线引入33个大模型,百度智能云千帆大模型平台的“破茧时刻”爱奇艺VR公司业务停滞,员工或被欠薪;阿里云开源通义千问 70 亿参数模型,免费可商用;华为正式发布鸿蒙 4,接入大模型|Q资讯彩蝶,花丛追寻百度高管解读财报:智能云单季营收45亿 继续投资文心大模型坚持做行业大模型,竹间智能给大模型造了一座「模型工厂」百度华为阿里等入选大模型“国家队”;盘古大模型3.0发布;阿里云推AI绘画大模型丨AIGC大事日报
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。