解决算力供需不均衡问题,专家呼吁建立全国算力“一张网”
最近,以ChatGPT为代表的人工智能大模型引发社会热议,各行各业都已感受到了人工智能的春江水暖。大模型是人工智能行业飞速前行的缩影。如今,以大模型、算力等为代表的前沿领域不断发展,正在塑造人工智能产业发展的新格局。
从2012年至2022年,我国电子信息制造业营业收入从7万亿元增长到15.4万亿元,软件和信息技术服务业的业务收入从2.5万亿元增长到10.8万亿元,新一代信息技术赋能、赋智、赋值的作用深入显现。近日在珠海举行的第十六届中国电子信息年会上,《中国电子报》记者感受到更多以人工智能为代表的电子信息行业发展新趋势。
人工智能:进入产业级大模型时代
像诗人一样写出含蓄隽永的诗歌;像作曲家一样创作悦耳的旋律与和弦;像博学鸿儒一样撰写深奥论文;像工程师一样编写严谨代码,只需轻按鼠标就可以一键做出精美PPT.....ChatGPT、GPT-4的横空出世,是当前人工智能进入产业级大模型时代的重要标志之一。
大模型正在改变AI领域的关键创新。中国电子学会常务理事、中国工程院院士高文在论坛上表示,在减少对有标记训练数据的要求方面,ChatGPT、GPT-4、ViT(视觉转换器)等通用智能模型发展迅速。目前,国际上已形成以谷歌BERT/ViT和OpenAI GPT为代表的AI大模型研发与应用生态。
高文在谈及ChatGPT要点时说,人工标注结合强化学习精调模型,达到可控生成的目标,从而产生更接近人类的生成结果;SFT(监督调优)对预训练语言模型根据标注员的标准答案进行调整优化;在标注员的标准答案不一定是最优的情况下,RLHF(基于人类反馈的强化学习)范式可以进一步提升模型性能。
“现在主流的大模型基于大规模无标注数据进行预训练,再经过精调,从而在各领域中得到很好的应用。”中国电子学会副理事长、百度首席技术官王海峰在论坛上表示,大模型的这种模式具有效果好、泛化性强、研发流程标准化的特点,为人工智能的进一步发展带来了新机遇。此外,大模型对深度学习模型的开发、训练和推理部署提出了更高要求,牵引着深度学习平台的发展方向。
从2018年开始,世界著名机构及中国产学研各方都在积极拥抱大模型。近期,Open AI推出了ChatGPT,百度则推出了文心一言。
“大语言模型是大模型方面近期最受关注的热点。”王海峰表示,大语言模型蕴含的参数和知识模型非常庞大,基于预训练大模型,通过监督精调(SFT),能更好地执行并完成任务。但是,就像一个学生学了很多知识、很多理论,理论最终还是要联系实际。
针对如何让理论符合实际情况,王海峰解释道,基于人类反馈的强化学习,会出现一个奖励模型,这个奖励模型会告诉模型理论应用结果的对错,通过强化学习不断实现优化。
“大模型发展到今天,已经表现出了能理解、有逻辑、会推理、能创作、有情感的能力。同时,大模型也出现了一些问题,比如信息时效性相对差。”王海峰说,这是因为在进行模型训练时,不会把每天最新的数据和信息及时训练到底座模型中,导致模型在生成过程中出现准确性较低问题。
王海峰进一步表示,大模型研发依赖算法、算力和数据综合支撑,在应用层面上也面临一系列技术挑战:首先是数据规模大,数据质量参差不齐;其次是模型体积大,算法难度高;第三是算力规模大,性能要求高。
尽管大模型涉及非常复杂的算法和算力数据,王海峰对其应用前景十分看好。他表示,大模型打造出来之后,应用方只需基于大模型平台进行操作和使用。
“大模型的产业化路径可以简单理解为,生产大模型的厂商基于复杂的算法和算力数据把模型生产‘铺装’出来,然后通过推理部署支持千行百业,让大模型得到很好的应用。”王海峰说。
智能算力:形成随处可及“一张网”
事实上,大模型的本质是数据、算力与算法的组合。大模型爆火的背后,是对算力基础设施建设的更高要求。算力作为整个数字经济时代的“水电煤”,为ChatGPT等人工智能大模型的快速发展提供了关键的技术与基础。
“曾经有人问为什么我们没有抓住这波热潮?国内对算力太不重视,很多做算法的人认为弄十几块卡、百十块卡就够了,事实上,做ChatGPT这种大模型,没有1万块卡是根本不行的。”高文在论坛上强调,算力和经济增长的模式正相关,算力每增加一个点,经济就会增加接近一个点。
“现在算力最强的是美国,算力第二是中国,但我们的算力增长速度是全世界第一。算力在整个经济活动中、在高质量发展中是非常关键的,不仅在改变目前人工智能的格局,也在改变科学研究的格局。”高文说。
然而,国内算力布局存在供需对接失衡的情况:中西部地区算力过剩而用于产业互联网的算力不足。在高文看来,这一问题的解决途径是像建设电力网一样建成算力网络,即把算力通过网络连接起来,形成随处可及的一张网。
“算力要上网需要解决两个挑战性问题,一是这些资源怎么封装、调度,二是怎么让这些节点有高速、超宽带的技术连接。这是我们现在亟须解决的技术问题。”高文介绍说,为了让用户像用电一样方便使用算力,今年将组织全国做算力、做网络的人一起推进项目。
中国电子信息产业集团有限公司党组书记、董事长曾毅在论坛上表示,当前我国与算力有关的问题并没有解决,国内95%以上的算力仍然依托于x86架构。在PLC和BCS等工业控制领域,可能超过97%的算力要承载于x86架构。
“如果不解决算力问题,我们再去研究算法、再去研究大模型,就相当于在没有粮食、没有面粉的情况下,去做包子、馒头。”曾毅坦言,解决算力问题其实难度非常大,还要涉及发展其他领域。
除算法之外,数据同样是人工智能技术发挥作用的重要基石。曾毅表示,数据要素作为人类社会未来发展的五大基础之一,近年来受到高度重视。此前,中国电子信息产业集团会同国内一流高校开始布局数据要素,围绕数据要素打造数据平台、数字平台。在国家有关部委的领导下和地方政府的支持下,去年组建了中国电子数据产业集团,目前正在积极推动中。
阿里巴巴集团副总裁李飞飞目前负责阿里巴巴、阿里云数据库的产品研发。在李飞飞看来,大数据、云计算,以及ChatGPT等大模型的火热,离不开基础研究的重要推动作用,也离不开产学研的深度融合。
“最近推出ChatGPT的Open AI,公司规模只有100多人,但是通过七年间的不断投入,这家创新公司的代表带来了突破。”为此,李飞飞建议,在数据库、核心基础软件等人才培养方面,高校及科研院所应持续加大对基础学科、基础软件系统、基础电子材料、化学等方面的教育培养。希望国家出台指向性政策,牵引业界培养更多基础学科人才。
编辑丨陈炳欣
美编丨马利亚
微信扫码关注该文公众号作者