清华&中国气象局大模型登Nature：解决世界级难题，「鬼天气」预报时效首次达3小时
西风 发自 凹非寺
量子位 | 公众号 QbitAI
真·“未雨绸缪”，清华大学「鬼天气」预报大模型来了！
是能破解世界未解难题的那种——
公里尺度下0～3小时极端降水都能预报。
包括短时强降水、暴风雨、暴雪、冰雹等在内的极端降水天气，都能做到提前预警。
完成这项研究可实属不易。
清华大学软件学院与国家气象中心、国家气象信息中心合作，联合攻关三年才提出这个名为NowcastNet的极端降水临近预报大模型，并用了近六年的雷达观测资料完成了模型的训练。
在全国62位气象预报专家的过程检验中，该方法大幅领先国际上的同类方法，研究成果现已登Nature。
目前，NowcastNet已经在国家气象中心短临预报业务平台（SWAN 3.0）部署上线，将为全国极端降水天气短临预报业务提供支撑。
那么极端降水的临近预报为什么这么难？清华团队又是如何解决这一难题的？
为什么被列为科学难题？
近年来，受全球气候变化影响，极端降水天气频发，实现更准确、更精细和更长预警提前量的降水临近预报成为人们的关注点。
由于极端降水天气过程大多只持续几十分钟且空间尺度在几公里范围，受到对流、气旋、地形等复杂过程和大气系统混沌效应的影响较为严重。
而基于物理方程模拟的数值预报技术很难对公里尺度的极端降水做出有效预报。
因此，在今年5月27日世界气象组织峰会上，三小时内降水临近预报就被列为了未解决的重要科学难题之一。
△基于雷达观测的降水临近预报是世界性难题之一
此前也有预测极端降水天气的方法。
数值计算和深度学习就是降水临近预报的两类主流方法，但均存在明显的缺陷：
数值计算方法难以有效建模降水过程的时空多尺度特征，同时受到预报累积误差的制约，预报时效往往在一小时以内。
深度学习方法虽然擅长建模非线性系统，但统计模型存在固有的小样本过平滑问题，预报求解过程缺少物理守恒规律约束，生成的数值场模糊失真严重，难以提供有业务价值的极端降水预报。
临近预报大模型NowcastNet
针对上述挑战，2017年起，清华大学软件学院王建民教授、龙明盛副教授团队就与国家气象中心、国家气象信息中心建立研究团队，就人工智能技术在气象大数据的应用开展合作。
经过三年联合攻关，提出了临近预报大模型NowcastNet，并在美国和中国近六年雷达观测资料上完成了训练。
该模型的核心是端到端建模降水物理过程的神经演变算子，实现了深度学习与物理规律的无缝融合。
△物理建模与深度学习融合的临近预报大模型NowcastNet
具体而言，研究团队首先设计了中尺度演变网络，用以建模平流运动等物理性质更显著的中尺度降水过程，并基于物质连续性方程（即质量守恒定律）设计了神经演变算子，端到端模拟降水过程中的十公里尺度运动，并通过反向传播最小化预报累积误差。
其次，研究团队提出了对流尺度生成网络，以中尺度演变网络预测结果为条件，通过概率生成模型进一步捕捉对流生消等混沌效应更显著的公里尺度降水过程。
得益于上述融合设计，该模型兼具深度学习与物理建模的优势，在国际上首次将降水临近预报的时效延长至3小时（上文提到，此前数值计算方法通常在1小时内），并弥补了极端降水预报的短板。
为了充分检验临近预报大模型NowcastNet对典型天气过程的业务指导价值，国家气象中心邀请了62位来自23个省市气象台的一线预报专家，针对中美两国2400个极端降水过程进行了后验检验和先验检验，并与目前业务中使用的方法进行了对比。
其中，pySTEPS是一种基于平流的方法，是目前世界各地气象中心所广泛采用的预报系统。PredRNN是一种数据驱动的神经网络，已在中国气象局部署。而DGMR是由谷歌DeepMind与英国气象局联合提出的模型。
所有模型都在美国和中国降水事件的大型雷达数据集上进行训练和测试。
△气象专家检验结果和数值指标评测结果，CSI用于衡量预报的位置准确性；PSD用于衡量预报的频谱特征与雷达观测的降水变化性之间的比较。
正如上图所示，NowcastNet在临界成功指数（CSI）、能量谱密度（PSD）等数值指标上全面超越现有技术，在71%的天气过程中被认为具有最高的预报价值。
在极端降水过程中，NowcastNet是唯一展现较强业务价值的临近预报技术。
以中美两国的典型极端天气过程为例：
2021年5月14日23时40分，中国江淮地区出现强降水过程，湖北、安徽等多个地区发布了暴雨红色预警，NowcastNet可以准确预测出三个强降水超级单体的变化过程。
△a. 预测的地理信息、b. 不同模型在T+1小时、T+2小时和T+3小时上的预测结果、c. CSI是一种用于评估预测准确性的指标
2021年12月11日9时30分，美国中部地区突发龙卷风灾害，造成89人死亡、676人受伤，NowcastNet可以对强降水的强度、落区和运动形态等给出更清晰、更准确的预报结果。
检验表明，NowcastNet对于极端灾害天气的精准防控具有良好的指导意义。
目前，该研究成果以“高技巧极端降水临近预报大模型”（Skilful Nowcasting of Extreme Precipitation with NowcastNet）为题发表在《自然》（Nature）上，同时被《自然·新闻和观点》以“The Outlook for AI Weather Prediction”为题做了报道。
研究人员认为：
该研究探索了数据驱动与物理驱动的“科学学习”新范式，提出了物理守恒约束下时空物质场建模和预测的一般方法，对其他具有多尺度物理特性的问题也具有应用前景。
他们还表示：
未来将进一步推进该方案在物理问题求解、大气海洋模拟、工业设计仿真等场景下的应用。
团队信息
清华大学软件学院王建民教授、龙明盛副教授，以及机器学习泰斗、加州大学伯克利分校教授、清华大学荣誉教授Michael I. Jordan为论文的通讯作者。
清华大学软件学院博士生张育宸和龙明盛副教授为论文的第一作者，硕士生陈凯源、邢蓝翔参加了研究工作。
国家气象中心金荣花研究员提供了气象知识和数据支持并主持了全国范围内气象专家检验工作，罗兵、张小玲、薛峰、盛杰、韩丰、张小雯等专家为研究工作提供了指导、建议和帮助。
研究得到国家自然科学基金创新研究群体项目、优秀青年科学基金项目和大数据系统软件国家工程研究中心的支持。
论文链接：https://www.nature.com/articles/s41586-023-06184-4
— 完 —
「AIGC+垂直领域社群」
招募中！
欢迎关注AIGC的伙伴们加入AIGC+垂直领域社群，一起学习、探索、创新AIGC！
请备注您想加入的垂直领域「教育」或「电商零售」，加入AIGC人才社群请备注「人才」&「姓名-公司-职位」。
点这里👇关注我，记得标星哦～
微信扫码关注该文公众号作者