速度提升1万倍!“几分钟”就完成7天天气预报成为可能

[百科] 时间:2024-05-01 19:25:34 来源:蓝影头条 作者:时尚 点击:198次
■本报记者 赵广立 实习生 沈秋月

毕恺峰是几分钟清华大学钱学森力学班2016级本科生,他于2020年毕业后加入华为,速度成为一名工程师。提升天天3年后,倍完成他作为第一作者在《自然》发表论文。气预

该论文通讯作者、报成华为云人工智能首席科学家田奇向《中国科学报》证实:数据显示,几分钟这是速度近年来中国科技公司首篇作为唯一署名单位的《自然》正刊论文。

这篇论文发表于7月6日,提升天天介绍了华为云盘古气象大模型研发团队研究成果,倍完成报告了业内“首个在中长期气象预报上精度超过传统数值预报方法的气预AI模型”。

《中国科学报》进一步了解得知,报成毕恺峰加入华为云后,几分钟曾“半年内连升两级”,速度目前已是提升天天主任工程师。论文主要完成人、华为云高级研究员谢凌曦透露:“这篇文章90%以上的工作量是毕恺峰完成的。”

盘古气象预训练模型已于2023年3月公开。“我们公开了论文中使用的1小时、3小时、6小时、24小时模型,这些模型的运行速度很快,即使在CPU上单步迭代所需时间也不超过1分钟。这意味着研究者在电脑上花几分钟就能完成未来7天的高分辨率全球天气预报。”谢凌曦说。

适应地球坐标系统的三维神经网络

盘古气象大模型的研究始于2021年。这年正是毕恺峰选定AI气象预报方向的时间。2020年底,毕恺峰开始涉足AI科学计算领域。在做了许多科学计算课题的调研后,2021年下半年他选定了AI气象预报方向。

人们日常看到的每日天气预报、极端灾害预警、气候变化预测等均属于“数值天气预报”,它比较依赖高性能计算和复杂的物理模型,因此瓶颈问题比较突出。田奇告诉《中国科学报》,传统数值方法预报一次28公里×28公里水平精度的未来10天全球天气,需要在有3000台服务器的超级计算机集群上计算4至5小时。而如果想得到更高精度、更小范围的预测,算力需求和计算时间都将呈几何级数增长。

但AI天气预报也存在问题。比如,在传统数值方法应用最广泛的中长期预报中,现有的AI预报方法精度有限,并受到“可解释性欠缺”“极端天气预测不准”等问题的制约。

田奇团队认为,这主要有两个原因:一是原有的AI气象预报模型都是基于2D神经网络,难以很好地处理不均匀的3D气象数据;二是AI方法缺少数学物理机理约束,因此在迭代过程中会不断积累迭代误差。

为此,研究团队提出了适应地球坐标系统的三维神经网络(3D-EST)来处理复杂的不均匀3D气象数据,并使用层次化时域聚合策略减少预报迭代次数,从而减少迭代误差。

3D-EST方法在理论上可以解决很多问题,但很快,“缺少实际气象数据”又成为新的难题——空有理论,无法进行模型训练,也无法对比预测结果并不断优化模型。

从欧洲气象中心下载超200TB的数据

到底是年轻人,毕恺峰干劲十足。

他花费了大半年时间,从欧洲气象中心下载了超过200TB的再分析数据,并且利用早期的10年数据,逐步搭建起AI气象预报的训练框架。有了一定的调参经验后,2022年中,他开始在40年数据上做实验。

“我们使用了全球40年的天气数据,用了200张GPU卡进行预训练,大概经过2个月,训练出了参数量达到亿级的盘古气象大模型。”田奇对《中国科学报》说。

结果出乎预料地喜人。盘古气象大模型在1小时至7天预测精度上均高于传统数值方法(对比欧洲气象中心的IFS系统),同时,在一张V100显卡上,盘古气象大模型只需要1.4秒就能完成24小时的全球气象预报,包括位势、湿度、风速、温度、海平面气压等数值。相比传统数值方法,预测速度提升1万倍。

2022年11月,欧洲气象中心通过邮件与研究团队取得联系,并沟通试用事宜。模型开放后,欧洲气象中心积极测试,并给出了一系列反馈正面的测试报告。报告肯定了盘古气象大模型在确定性预报和一些天气过程的预报中表现良好,还指出其提供了一种“推理功耗显著低于传统方法”的技术模型。

今年5月,台风“玛娃”的走向受到广泛关注。中央气象台称,华为云盘古气象大模型在“玛娃”的路径预报中表现优异,提前5天预报出其转向路径。

欧洲气象中心的系列报告和中央气象台的反馈,无疑给盘古气象大模型的天气预报能力“背了书”。

投稿后,《自然》编辑对论文非常认可,并找来3位审稿人,他们不是计算机或人工智能领域的专家,而是气象领域的学者。

3位审稿人均对该成果给出高度评价。其中一位审稿人称赞:“华为云盘古气象大模型让人们重新审视气象预报模型的未来,模型的开放将推动该领域的发展。”

论文审稿人之一、美国科罗拉多州立大学教授Imme Ebert-Uphoff还为《自然》撰写了一篇观点文章,进一步补充说明了这项工作的价值,该文与盘古气象大模型的论文同日在线发表。

不是替代而是互补

华为云盘古气象大模型在天气预报中的亮眼表现,让人不禁好奇:AI预报会替代传统预报吗?

“谈替代传统数值预报方法是不合适的。”田奇表示,盘古气象大模型的目标不是替代,而是让每个行业、企业乃至每个人都拥有专家助手,让工作更高效、更轻松。

毕恺峰、谢凌曦也表示,AI气象预报还存在诸多缺陷,例如未做同化、高度依赖于再分析数据、极端天气估计能力偏弱等。“至少在未来一段时间,AI气象预报方法和传统气象预报方法会结合起来,形成一种混合预报系统。两种方法会发挥各自优势,例如传统方法的可解释性和AI方法的高效性。”

“我们认为,AI天气预报应该和数值天气预报并存、互相对比验证,为人类提供更加精准可信的天气预报。”田奇表示。

“AI与医学影像分析已经结合了10年以上,至今AI还是辅助作用,无法替代医生,特别是高水平专家。同理,在气象领域也是一样。”谢凌曦说,虽然盘古气象大模型在一定程度上得到了业界认可,但前方的路还很长,未解决的问题还很多。他希望能有更多同仁一起,探索AI在气象预报以及更广阔的科学领域中的应用。

(责任编辑:休闲)

    相关内容
    精彩推荐
    热门点击
    友情链接