Redian新闻
>
5年后AI所需算力超100万倍!十二家机构联合发表88页长文:「智能计算」是解药

5年后AI所需算力超100万倍!十二家机构联合发表88页长文:「智能计算」是解药

公众号新闻



  新智元报道  

编辑:LRS
【新智元导读】AI模型所需算力每100天就要翻一倍,远超摩尔定律的18-24个月,智能计算能破局这种算力困境吗?


人工智能就是一个「拼财力」的行业,如果没有高性能计算设备,别说开发基础模型,就连微调模型都做不到。


但如果只靠拼硬件,单靠当前计算性能的发展速度,迟早有一天无法满足日益膨胀的需求,所以还需要配套的软件来协调统筹计算能力,这时候就需要用到「智能计算」技术。


最近,来自之江实验室、中国工程院、国防科技大学、浙江大学等多达十二个国内外研究机构共同发表了一篇论文,首次对智能计算领域进行了全面的调研,涵盖了理论基础、智能与计算的技术融合、重要应用、挑战和未来前景。


论文链接:https://spj.science.org/doi/10.34133/icomputing.0006


这也是第一篇正式提出智能计算的定义及其统一理论框架的评论文章,全文结构如下。



AI开启大规模算力时代


人类社会正在从信息社会进入智能社会,计算已经成为规范和推动社会发展的关键因素。在万物互联的数字文明新时代,传统的数据计算远远不能满足人类对更高智能水平的日益增长的需求。


人们对智能计算的兴趣日益浓厚,加上计算科学的发展,对物理世界的智能感知,以及对人类意识认知机制的理解,共同提升了计算的智能水平,加速了知识的发现和创造。


近年来,计算和信息技术快速发展,由于深度学习的空前普及和成功,人工智能(AI)已被确立为人类探索机器智能的前沿领域,并在此基础上取得了一系列突破性的研究成果,包括:


Yann LeCun提出的卷积神经网络(CNN);Yoshua Bengio在深度学习的因果推理领域的贡献;Geoffrey Hinton,人工智能的先驱之一,在2006年提出了深度置信网络(Deep Brief Network)模型和反向传播优化算法。



J̈urgen Schmidhuber提出了广为使用的循环神经网络(RNN)和长短期记忆(LSTM),并成功用于处理序列数据,如语音、视频和时序数据。


2016年3月,DeepMind推出的人工智能围棋程序AlphaGo与世界顶级人类围棋大师李世石展开对战,引起了全世界前所未有的关注,这场划时代的人机大战以人工智能的压倒性胜利而告终,并成为将人工智能的浪潮推向一个全新的高度的催化剂。



人工智能的另一个重要推动者是大型预训练模型的出现,这些模型已经开始广泛用于自然语言和图像处理,在迁移学习的帮助下处理各种各样的应用。


例如,GPT-3已经证明,一个具有高度结构复杂性和大量参数的大型模型可以提高深度学习的性能,在GPT-3的启发下,涌现了大量的大规模深度学习模型。


智能和计算


计算能力是支撑智能计算的重要因素之一。


鉴于信息社会中天文数字般的数据源、异构的硬件配置和不断变化的计算需求,智能计算主要通过垂直和水平架构来满足智能任务的计算能力要求。



垂直架构(vertical architectures)的特点是同质化的计算基础设施,主要通过应用智能方法提高资源利用效率来提升计算能力。


相比之下,水平架构(horizontal architecture)协调和安排异构和广域(wide-area)计算资源以最大限度地提高协作计算的效率。


例如,2020年4月,为了应对全球COVID-19研究的计算需求,Folding@home在三周内联合40万名计算志愿者实现了2.5Exaflops的计算量,比世界上任何一台超级计算机的计算能力都要强。


尽管在智能和计算方面已经取得了巨大的成功,但这两个领域仍然面临着一些难题。


智能的挑战


使用深度学习的人工智能目前在可解释性、通用性、可进化性和自主性方面仍没有解决。


目前的大多数人工智能技术与人类智能相比,只能发挥微弱的作用,而且只在特定的领域或任务中发挥作用,实现强大且通用的人工智能仍有很长的路要走。


最后,从基于数据的智能升级到更多样化的智能形式,包括感知智能、认知智能、自主智能和人机融合智能等,也存在重大的理论和技术挑战。


计算的挑战


数字化浪潮带来了前所未有的应用、连接、终端和用户的增长,以及产生的数据量,都需要巨大的计算能力。


例如,人工智能所需的计算能力每100天翻一番,也就是说,预计在未来五年内将增加超过100万倍。


随着摩尔定律逐渐失效,要跟上如此快速增长的计算能力要求变得很有挑战性。

摩尔定律:集成电路上可容纳的晶体管数目,约每隔两年便会增加一倍


智能社会中的大规模任务的处理依赖于各种具体计算资源的有效组合,传统的硬件模式不能很好地适应智能算法,极大限制了软件的发展。


何为智能计算?


时至今日,仍然没有一个被广泛接受的智能计算定义。


一些研究人员将智能计算视为人工智能和计算技术的结合,但这种观点将智能计算的定义限制在人工智能领域内,同时忽略了人工智能固有的局限性以及人类、机器和事物之间三元互动的重要作用。


另一个学派将智能计算(intelligent computing)视为计算智能(computational intelligence),模仿人类或生物智能来实现解决特定问题的最优算法,并将智能计算主要视为一种算法创新。


在这篇论文中,研究人员从解决复杂的科学和社会问题的角度提出了智能计算的新定义,同时考虑到世界的三个基本空间,即人类社会空间、物理空间和信息空间的日益紧密融合。 


Intelligent Computing的定义


智能计算是指在支持世界互联的数字文明时代,包含了新的计算理论方法、架构系统和技术能力的领域。智能计算根据具体的实际需要,以最小的成本完成计算任务,匹配足够的计算能力,调用最好的算法,并能获得最佳的结果。


智能计算的新定义是针对人类社会、物理世界和信息空间三者融合中快速增长的计算需求而提出的。智能计算以人为本,追求高计算能力、高能效、高智能、高安全。


其目标是提供普遍、高效、安全、自主、可靠和透明的计算服务,以支持大规模复杂的计算任务。  图1显示了智能计算的总体理论框架,它体现了支持人类-物理-信息整合的各种计算范例。



首先,智能计算既不是现有计算机、云计算、边缘计算以及其他计算技术(如神经形态计算、光电计算和量子计算)的替代品,也并非是简单整合。相反,它是一种计算形式,通过根据任务要求系统地、全面地优化现有的计算方法和资源来解决实际问题。


相比之下,现有的主要计算学科,如超级计算、云计算和边缘计算,属于不同的领域:超级计算旨在实现高计算能力,云计算强调跨平台/设备的便利,而边缘计算则追求服务质量和传输效率。


智能计算动态地协调边缘计算、云计算和超级计算领域之间的数据存储、通信和计算,构建了各种跨领域的智能计算系统,支持端到端的云协作、云间协作和超级计算互联。


智能计算应当充分利用现有的计算技术,更重要的是促进新的智能计算理论、架构、算法和系统的形成。


其次,智能计算概念的提出是为了解决未来人类-物理-信息空间融合发展中的问题。


随着大数据时代信息技术应用的发展,物理空间、数字空间和人类社会之间的界限已经变得越来越模糊。


人类世界已经演变成一个新的空间,其特点是人类、机器和事物的紧密融合,社会系统、信息系统和物理环境构成了一个动态耦合的大系统,在这个系统中,人、机器和事物以高度复杂的方式整合和互动,这促进了未来新计算技术和应用场景的发展和创新。

参考资料:
https://spj.science.org/doi/10.34133/icomputing.0006




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
Chiplet:超级算力时代的解药之一1000万只螨虫陪你睡!用它喷一喷,千万螨虫“集体自杀”!比太阳暴晒强1万倍!9位院士Science发表长文:人工智能的进展、挑战与未来柏林—Anhalter Bahnhof人工智能300年!LSTM之父万字长文:详解现代AI和深度学习发展史感恩节后在家养羊/阳百亿私募掀调研热!13只票获超100家机构调研,这3只票成"香饽饽"!明星私募密集发新产品比ChatGPT强大100万倍!老黄预测未来AI模型,网友:夸张但又不无道理把家务甩到社会很危险ChatGPT热潮后的反思:我国应加速构建新型智能计算中心以生物为灵感,开启智能计算新维度|闭门活动限定报名「中科时代」获数千万元Pre-A轮融资,以国产工业智能计算机加速工业自动化发展|早起看早期火爆!金刚线龙头获280多家机构拜访,有啥事?节后机构密集调研股出炉9位院士12位专家联合撰文:智能计算的新进展、挑战与未来 | Science合作期刊美联储出手了!硅谷银行破产进展:美监管机构联合声明,储户本周一可支取存款~【最新】反演研究太阳活动情况!中外科研机构联合开展“天问一号”日凌观测,取得重要研究成果2022百度智算峰会邀请函:带你解锁智能计算与产业共生的最短路径 | Q推荐谷歌砸了4亿刀的Anthrophic:AI模型训练计算量5年增加1000倍!IDC&浪潮:2022-2023中国人工智能计算力发展评估报告澳洲执法机构联合雷霆行动,将严厉打击这类活动!做这些事情的人小心了罕见13部门联合发文,这次针对培训机构的新规有何不同?不只5G!曝美国要进一步限制华为4G/Wi-Fi6/Wi-Fi7/人工智能和高性能计算.....近200家机构组团调研,数字经济龙头透露关键信息!这些机构密集调研稳增长低估值股比尔·盖茨发7页长文,事关人工智能未来北京发布高风险培训机构名单,多家机构上榜投资丰台朋友圈再扩容 十二家国际知名机构正式加入早报 | 国务院机构改革方案出炉,精减中央国家机关人员编制,还有这些变化;鲍威尔释放鹰派言论,美股三大指数均跌超1%最高收益翻倍!近100家机构参赛,"精英投顾"大赛第一季落幕!都谁执牛耳?不顾员工反对,库克:我就要 MR 头显;数百投资机构联名:硅谷银行不能倒;迪士尼门票 50 年涨 40 倍 | 极客早知道听爷爷奶奶们“杀鸡”欧洲43家机构联手,打造了新型IGBT开年募资大回暖,2月超1000家机构LP出资 | 募资情报安大略省79号议案受阻,加拿大社会仍然歧视华人?哈佛大学肯尼迪学院院长引众怒,数百家机构联名要求其辞职“硅谷银行不能倒!”红杉等325家机构、650名创始人联合声明;潘石屹称从未在硅谷银行开户;软银等限制使用ChatGPT丨邦早报
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。