目前只To B,腾讯云为什么优先发布行业大模型,而非大模型?
撰文/宇婷
“我们认为必须有针对性的行业大模型,再加上企业自己的数据、精调,才能打造可需要和可应用的服务。”
“企业要的不是在一百个场景中,解决70-80%的问题。而是精准解决问题。”腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生在现场表达。
6月19日,腾讯云正式发布了行业大模型,尽管在发声的速度上,晚于百度、阿里巴巴、讯飞、360等多家厂商。但腾讯云也有自己的独特性,着重优先发布了行业大模型,而非大模型,目前只TO B。
在一波又一波大模型发布会冲击之后,用户们已经分不清楚不同独角兽巨头们发布的模型之间的区别到底是什么。另一方面,在具体的行业场景中,通用大模型不能满足企业的很多需求,比如不懂得专业的行业术语,回答虚且笼统。
信息不够及时,大家期待能力越来越强大的大模型,同时也在思考如何在布局大模型的同时,保护好企业的产权与隐私,降低企业的大模型使用成本。这是不可回避的现实问题。
特别是,在当前中国产业现状下,面临企业的深度共建,以及监管政策,真正能够解决行业和企业围观挑战,仍有距离。
对于腾讯大模型,最值得关注的有两个方向。
首先,如果是行业大模型,那么应当是有明显的行业属性,如何解决行业问题,例如新零售、新能源、金融、交通等细分行业问题?
其次,腾讯云或将围绕云平台、会议、客服、低代码等领域级应用,腾讯大模型的应用场景会发生哪些改变?
在行业大模型标准体系方面,腾讯正在联合中国信通院,共同构建行业大模型的标准体系及能力架构,包括1套ILMOps方法论、60多项能力建设指标。这个标准体系覆盖多个行业,涵盖模型行业能力、模型工程化性能、模型算力网络、模型安全可靠等方面。
TI平台MaaS解决方案,覆盖十大行业,提供50个解决方案
腾讯云发布自身MaaS解决方案,覆盖十大行业,提供50个解决方案。
腾讯云副总裁、腾讯云智能负责人、优图实验室负责人吴运声发表《腾讯云MaaS,打造一站式行业大模型精选商店》的主题演讲,分享了腾讯云在行业大模型方面的技术方案,以及产业客户实践、行业大模型标准体系构建的进展。
吴运声在演讲中详细拆解了腾讯行业大模型特质:腾讯云TI平台内置了多个高质量行业大模型,涵盖金融、传媒、文旅、政务、工业等多个行业场景,同时开放支持客户多模型训练任务,满足个性化需求。比如针对客服等场景中的“对话问答”、“相似问生成”等任务,有较好的优化,使用时仅需少量训练数据,便可达到较好的精调效果。
其次,TI-ONE平台提供完善的大模型工具链,包括数据标注、训练、评估、测试和部署等全套工具,同时具备强大的多机多卡训练加速能力,客户可快速在TI-ONE平台上进行一站式的大模型精调。
其中,大模型训练,算力是基础。腾讯云在大模型算力方面拥有领先优势。早在今年4月,腾讯云便发布了面向大模型训练的新一代HCC高性能计算集群,采用最新一代腾讯云星星海自研服务器,结合多层加速的高性能存储系统,具备3.2Tbps业界最高互联带宽,算力性能提升3倍。
全新升级框架加速能力太极Angel,可以提供更优的训练和推理加速能力。在传统CV、NLP算法模型的基础上,新增了对大模型的训练和推理加速能力,通过异步调度优化、显存优化、计算优化等方式,相比行业常用方案性能提升超过30%。
同时,支持更适合AI运算的向量数据库,将帮助高效处理图像、音频和文本等非结构化数据,支持日处理千亿级的检索,将为客户模型训练提供充沛动力。
在旅游场景中,针对性的行业数据训练出来的行业大模型,客服机器人可以给出景点经济实惠的定制化推荐方案。
与共创客户中央广播电视总台与腾讯的合作中,传统数据标签体系无法达标,重新构建传媒专属的数据标签体系,重新研发了数据权重引擎,让数据颗粒度更细。在数据标签支撑下,跨模态检索,能够快速剪辑搭配素材生成视频。
在上海大学的案例,打通了数据古道,推行一网通办。每天涉及到的数据,相当于重新建造一座上海大学的图书馆。
腾讯会议、腾讯企点、向量数据库产品迭代
行业应用场景上,提高工作效率低。比如腾讯会议,覆盖全流程场景的智能小助手,协助日程安排。会后还可以自动生成智能总结和摘要,基于智能录制,帮助用户高效回顾。
腾讯企点客服,可以结合客户的需求进行训练。
腾讯会议的AI助手功能,以及腾讯企点呈现出在此轮AIGC浪潮之后的改变。其中腾讯企点智能客服的效果与传统智能客服产生了差异化的进化。
值得关注的是,这是腾讯企点这一款产品的第16年,它在AI大模型的加持之下,全新变身。
在大模型的训练和使用过程中,需要大量异构算力的支持,对网络速度与稳定性要求也很高,加上GPU服务器比一般服务器稳定性更低一些,服务器的运维、问题的排查更频繁,整体运维的难度与工作量会高很多。
例如,在训练集群中,一旦网络有波动,训练的速度就会受到很大的影响;只要一台服务器过热宕机,整个集群都可能要停下来,然后训练任务要重启,这些事件会使得训练时间大大增加,投入在大模型的成本也会飙升。因此,腾讯云所提供的稳定计算、高速网络与专业运维,可以为算法工程师大大减轻设备运维的压力,让他们把精力放在模型的构建与算法的优化上。
腾讯云也打造了面向模型训练的新一代HCC(High-Performance Computing Cluster)高性能计算集群,搭载最新次代GPU,结合多层加速的高性能存储系统,加上高带宽、低延迟的网络传输,整体性能比过去提升了3倍,获得了很多客户的高度认可,几家AI独角兽都与我们展开了合作。
在计算集群的“硬实力”之外,推出更适合AI运算的“软能力”——向量数据库,它能更高效地处理图像、音频和文本等非结构化数据,支持单索引10亿级规模,比单机插件式检索规模提升10倍,数据接入AI的效率,也比传统方案提升10倍。
宇婷
To B行业观察者、资深媒体人、博主。
提问、思考🔭To B的商业模式与创业路径。
公众号/同名视频号:《To B新势力》、《B Impact》
读者群vx:
也欢迎您旅行我的知识星球:
微信扫码关注该文公众号作者