Redian新闻
>
天气预报不准的难题,被AI突破了

天气预报不准的难题,被AI突破了

公众号新闻


打开手机里的天气预报,你不仅可以看到今天实时每小时的天气,也能知道未来十几天的预测。


如今天气预报变得更及时、便利,但是你有时仍感到它不够准确。明明预报是风和日丽,结果暴雨杀得你措手不及;在气象专家说的台风天出门,结果耀眼的太阳刺得你睁不开眼,穿着全套雨衣、雨鞋的你仿佛成了小丑。


但这一次,时不时会“骗”一下你的天气预报,将迎来一次全新的改变。


7月6日,国际顶级学术期刊《Nature》正刊发表了华为云盘古大模型研发团队独立研究成果Accurate medium-range global weather forecasting with 3D neural networks,审稿人评价华为云盘古气象大模型让人们重新审视气象预报模型的未来。


这一新的预报模型能让天气预报变得更准确吗?它会给我们的生活带来什么变化?



混沌的天气,难以百分百预测



2022年,匈牙利政府在国庆烟花表演开始前7小时,收到了极端天气警报,被迫只能将活动推迟。但在当晚,首都布达佩斯却风和日丽。气象局预测的那场暴雨改变了方向,没有影响首都,转而袭击匈牙利东部地区[1]。


这样不准的天气预报,在我们的日常生活并不少见。想要完全准确预测出天气,为什么这么难?


首先,这是由气象本身的特性决定的。所有天气都是由大气运动引起,后者涉及到太阳辐射、空气对流等诸多物理过程,还有大气圈、冰冻圈、生物圈、岩石圈、水圈这5大圈层在共同作用[2]。


大气运动处在实时变化中,各种各样的因素都无时无刻不影响着未来我们所感知到的天气。就像一场混战,一个微小的扰动就可能引起整个系统长期的巨大连锁反应。



面对如此复杂的天气系统,人类目前主要的预测方法是“数值天气预报”。


科学家们长期研究气象后,设计出一套有海量参数的模型来模拟大气运动。这本质就是在解一套极为复杂的方程。人们要预测天气时,需要先获取无线电探空仪、卫星、气象站等观测到的气象数据,将这些数据作为初始条件输入方程组,而后运算得出结果[3]。


但这个方法十分依赖初始条件的准确性,而天气又是一个处在实时变化中的混沌系统,在计算过程中,一些微小的误差都会造成最终结果的巨大不同。另一方面,复杂的参数化物理模型始终是不完备的,再复杂的物理模型也难以完全模拟出大气运动状况,这就会不可避免地向数值预报引入系统误差[4]。


在3天天气预报上,数值预报的准确度在全球范围可达95%以上的。但如果要预测7天、10天后的天气,准确率就会掉到60%、40%左右,精度仍显不够[5]。



不只如此,数值预报精确度的进一步提升,还面临着算力问题。


天气预报的准确度,受到数值模式的复杂程度影响。数值模式越复杂,就能更准确捕捉更小规模的天气现象。


但是,数值模式越复杂,就意味着要搜集更多气象数据,进行更大量的计算,这对算力的消耗非常大。如 0.25∘×0.25∘ 精度的未来10天数值预报,需在超过3000个节点的超级计算机上花费数小时进行仿真,这让数值预报的预测速度难以进一步提升[6]。


一些地方的气象监测也确实面临着算力问题。马来西亚发生对流风暴普遍,但需要精度更高的分辨率才能捕获对流数据;中国台湾也是一个非常容易受到台风和暴雨等自然灾害影响的地区,要预测这些极端天气状况,也需要更多的算力。


即使在科技高速发展的今天,天气的复杂性、物理模型的不完备、算力的限制,这些都仍制约我们对天气的进一步认知。



被AI改变的天气预报



AI预报的出现,给天气预报带来了全新可能。


AI擅长处理重复任务、拟合未知数据关系。它不需要像科学家那样熟知大气运动中的物理原理,只要用深度学习的方法了解各种气象数据中的关系,就能完成天气预报的任务。


这就像短视频平台给我们推荐视频,算法不需要知道我们会喜欢这类视频的原因,它只要掌握大量的数据并学习其中的规律,就能对每个用户投其所好。


这些特点让AI预报在预测速度上有着巨大优势:数值预报方法无法给出分钟级的气象预测,而AI方法拟合雷达回波数据的能力,超过了光流法等外插方法,这让AI方法能更快预测出天气,甚至能在几秒内就预测出未来的天气状况。


平时手机上的天气预报都是用数值预报预测,其预报速度比不上AI预报


但是,在中长期气象预测上,AI预测的精度却明显落后于数值预报方法。


2022年,英伟达推出AI预报模型——FourCastNet ,该模型首次把预报水平分辨率提升到了和数值预报相比拟的水平。但FourCastNet预测5天天气时,位势预测的均方根误差为484.5,即使使用100个模型进行集成预报,其均方根误差依然高达462.5,远高于欧洲气象中心的数值预报系统operational IFS报告的333.7[7]。


可以说AI在天气预报上的使用,仍处于初阶阶段。英国皇家学会发表的一项研究也表明,将深度学习应用于气象数据分析的研究还处在起步阶段,难以判断AI究竟能否取代传统的数值预报方法[8]。


然而,华为云团队研发出的新AI预报模型,让AI天气预报迎来了新的转机。


7月6日,国际顶级学术期刊《Nature》正刊发表了华为云盘古大模型研发团队的独立研究成果。在该研究中,我们可以看到,盘古气象大模型提供的Z500五天预报均方根误差为296.7,显著低于之前最好的数值预报方法(均方根误差:333.7)和AI方法(均方根误差:462.5)[6]。



保持精度的同时,盘古气象大模型也有着无可比拟的预测速度。在一张V100显卡上只需要1.4秒就能完成24小时的全球气象预报,相比传统数值预报提速10000倍以上[6]。


这一成果的背后,汇聚着研发人员对AI模型的多次训练。华为云的研发人员向我们解释,他们让盘古大模型进行丰富的数据学习,內容包括43年(1979-2021年)的全球实况气象数据,涵盖了垂直高度上的13个不同气压层,每层中有温度、湿度、位势、经度、纬度五种气象要素,以及地球表面的海平面气压、风速等四种气象要素。


此外,过往的AI气象预报模型都是基于2D神经网络,无法很好地处理不均匀的3D气象数据。为此,华为云研发团队提出了3D Earth-Specific Transformer方法,也就是在原本的每一个视觉transformer模块中新引入和纬度、高度相关的绝对位置编码,从而更好地处理复杂的3D气象数据。


AI方法预报中长期气象需要多次迭代模型才能得到预报结果,但在迭代的过程中会不断积累误差。比如若将盘古气象预报的1小时模型迭代168次,预报误差就会明显上升。


为了解决这个问题,研究人员训练了4个不同预报间隔的模型,分别为1小时间隔、3小时间隔、6小时间隔、24小时间隔。这样拆分成各个不同的时间段模型分散训练,就能减少单个模型迭代的次数,从而减少迭代误差。


在多次钻研、训练之下,盘古气象大模型首次在中长期气象预报上超过了传统数值方法。它强大的预报精度与速度,将为气象预报结合人工智能方法创造无限可能。



精准的天气预报,对我们有多重要



如果盘古气象大模型落实到应用层面,真正实现秒级的精确天气预报,会对我们的生活产生什么影响?


你手机上的天气预报可能不会再以小时为单位预测,而是能实时刷新,你不必再担心明明出门前看了天气预报,却还是遇到突发天气变化。


但更重要的意义,是在极端天气的预测上。


哪怕进入了21世纪,人类依然不断面临着极端天气的考验。近20年来,全球每年极端天气灾害发生次数都在300以上,多则500多次[9]。



每一次极端天气灾害,都将带来巨大的损失。美国国家海洋和大气管理局发布的报告显示,2022年美国一年的极端天气灾害共造成1650亿美元的损失。其中,飓风“伊恩”于去年9月摧毁佛罗里达州的部分地区,损失高达1129亿美元,更造成至少150人死亡[10]。


极端天气越来越频繁,但我们对极端天气的预测却仍不够精确。2016年“莫兰蒂”台风袭来时,刚开始各大数值预报模式均预期台风会在台湾以东海域转向,然而随后两三日预报却大幅将其路径向西调整,结果“莫兰蒂”台风重创中国东南沿岸、中国台湾地区、菲律宾巴丹群岛。


所以,应对极端天气状况,需要一个更精准的预报模型,而盘古在预测极端天气时,就有着出色的表现。


在《Nature》刊登的期刊中,盘古气象大模型计算了RQE值来衡量不同预报方法的极端天气预测趋势,RQE值越接近0表示模型预报更准确。结果显示盘古气象大模型在U10上的RQE值比FourCastNet更接近0,这代表盘古气象大模型在确定性预报上有着更高的精度[6]。


不只是理论上的数值,盘古气象大模型在一些实际运用中也有着不错战绩。


在预测台风“马鞍”的轨迹和登陆时间,盘古气象大模型准确率达90%,远超行业平均水平;在近期另一个台风“玛娃”的路径预报中,中央气象局指出,华为云盘古大模型提前五天预报出台风将在台湾岛东部海域转向的路径。


欧洲中期天气预报中心的对比数据也显示,在预测2022年芬兰寒潮的时候,盘古气象大模型比欧洲中期天气预报中心更快预测出温度下降趋势,提前预测出寒潮的可能[11]。



在第19次世界气象大会上,欧洲中期天气预报中心主任弗洛伦斯·哈比耶展示了华为云盘古气象大模型与欧洲中期天气预报中心的实时运行检验对比情况,前者惊人的预报能力令现场参会人员惊叹如今人工智能技术的发展。


弗洛伦斯·哈比耶评价道:“人工智能技术为发展中国家提供了重要机遇,因为它不再需要大规模的超算资源,还为提升全球预报能力提供了难得的机遇。

华为轮值董事长胡厚崑也在人工智能大会上表达了对盘古大模型的期许,他认为人工智能的发展,关键要“走深向实”,赋能产业升级。当前阶段,在人工智能领域,华为有两个着力点:第一,打造强有力的算力底座,支撑中国人工智能产业的发展。第二,从通用大模型到行业大模型,让人工智能服务好千行百业,服务好科学研究。“我们希望,AI for Science,能为科学家,科学工作者带来更多新思路、新方法、新工具,也为我们产业输入新的动力。”

正如胡厚崑轮值董事长所说,人工智能的发展要走深向实,让人工智能为千行百业的生产活动服务,为科研创新服务。


一个具有前瞻性的天气预报AI模型的诞生,不仅能让我们更深入了解那喜怒无常的天气,减少因天气的变化莫测而带来的灾害,同时它也将给各行各业带来新变化,让人们切实感受到“精准预报天气”带来的便利。


作者 | 斯嘉 奈奈未

设计 | Kwon 卜卜脆



[1]BBC.(2022).天气预报出错,匈牙利气象局局长被解职.

[2]Weather Forecast Office. (2023)The Forecast Process: Observing and Analysis. Weather Forecast Office.

[3]张涛, & 张格苗. (2020). 为什么有些天气很难准确预报?. 中国气象报.

[4]Buizza, R. (2001). Chaos and weather prediction-A review of recent advances in Numerical Weather Prediction: Ensemble forecasting and adaptive observation targeting. Il nuovo cimento C, 24(2), 273-302.

[5]Bauer, P., Thorpe, A., & Brunet, G. (2015). The quiet revolution of numerical weather prediction. Nature, 525(7567), 47-55.

[6]Kaifeng Bi, Lingxi Xie, Hengheng Zhang, Xin Chen, Xiaotao Gu, Qi Tian.(2023).Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global Weather Forecast.

[7]Pathak, J., Subramanian, S., Harrington, P., Raja, S., Chattopadhyay, A., Mardani, M., ... & Anandkumar, A. (2022). Fourcastnet: A global data-driven high-resolution weather model using adaptive fourier neural operators. arXiv preprint arXiv:2202.11214.

[8]Schultz, M. G., Betancourt, C., Gong, B., Kleinert, F., Langguth, M., Leufen, L. H., ... & Stadtler, S. (2021). Can deep learning beat numerical weather prediction?. Philosophical Transactions of the Royal Society A, 379(2194), 20200097.

[9]国际灾害数据库.(n.d.).极端天气灾害统计.

[10]美国国家海洋和大气管理局.(2023).去年美国极端天气共造成1650亿美元损失.

[11]ECMWF.(2023).The rise of machine learning in weather forecasting.




网易文创浪潮工作室出品   未经授权禁止转载



微信编辑 | 田鄢怡


❖  欢 迎 分 享 到 朋 友 圈 哦  ❖



浪潮工作室长期招聘作者,稿费千字300到800


公众号后台回复“招聘”即可查看。


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
8-10级雷暴大风或冰雹,局地最强风达11级!强对流天气预警!抓紧享受夏天吧!加拿大今冬天气预报出炉:冷冷冷+雪雪雪!破了!破了!法拉盛全体华人沸腾!中国学者突破表面码重复多轮纠错难题,攻克量子计算可扩展化和实用化关键技术科学高效“种草”的难题,谁来破局?日本30年来未能解决的难题,怎么就突然迎刃而解了?地龙卷风+漏斗云+冰雹!环境部发布GTA特殊天气预警,多伦多西区风险最大!看到立即躲避!PubMed检索加上CNKI,搞定文献阅读与检索过程中的99%的难题真正的难题留给了普京天气预警!美东将出现强雷暴 新英格兰地区或有山洪希腊雅典,海港黎明天气预警:明州将迎来风暴不怕做不到,就怕想不到一位“退休”农民工的难题挺进气象服务「无人区」,墨迹天气让「普通人」的天气预报进入Next Level?中国目前最大的难题不是美帝,也不是台湾,而是......撕裂的社会下, 三世同堂有多难? 海外华人最大的难题, 在这里找到答案!念了一辈子大白字墨尔本春季天气预警!更暖更干燥,气温比往年高,山火风险增加(组图)清华&中国气象局大模型登Nature:解决世界级难题,「鬼天气」预报时效首次达3小时变幻莫测!加拿大7省发布天气预警!一周内面临30cm雪暴、洪水、霜冻和山火!这地温度甚至高达35度...上海中考期间天气预报出炉!18-19日降水较为集中,可能伴有雷电、短时强降水和雷雨大风恶劣天气预警, 全澳大降温! 新变种FU.1疯狂扩散, 传染性超强, 又将有一大批人倒下大话三国225:曹操为什么敢铁索连舟?他也会天气预报?冷空气预警!新西兰全国多地出现雷暴风险,这些高速因冰雪天气关闭...GPT-4数学能力大蹦极!OpenAI爆火研究「过程监督」突破78.2%难题,干掉幻觉预报名 | 个人信息出境标准合同项目落地方案:“法律+管理+技术”的难点及痛点 | DPOHUB沙龙第17期(线下闭门会)这儿理工科落后,而最落后的是文科导演都抢不到票的上影节纪录片,拍出所有家庭的难题《江山无限》&合唱《飞鸟和蝉》巴黎下了“塑料雨”?新推出了“塑料天气预报”?这都是个啥“速度是传统方法一万倍”,欧洲用华为AI模型预报天气澳洲东南部将迎狂风,多地发布恶劣天气预警波士顿恶劣天气预警!暴雨+雷暴下午抵达阔面圆身仿佛气球?刘亦菲没解决的难题却让她惊艳逆袭了…
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。