基于坐标生成模型的多源降水记录融合方法PRIMER研究

《Nature Communications》:Fusion of multi-source precipitation records via coordinate-based generative models

【字体: 大 中 小 】 时间:2025年12月30日 来源:Nature Communications 15.7

编辑推荐:

  为解决降水观测中精度、覆盖度和分辨率难以兼顾的难题,孙森灿团队开发了PRIMER框架,通过坐标扩散模型融合站点、卫星和再分析数据。该研究实现了降水场的无插值多源融合,在偏差校正、降尺度和最优插值任务中显著降低误差(如MAE从0.46降至0.14 mm/hr),并能零样本泛化至业务预报和CMIP6未来情景,为地球系统变量融合提供了新范式。

  
降水——这种从天空落到地面的水,看似简单,却是最难以捉摸的气候变量之一。它不仅决定着全球淡水资源的分布、农业的收成、洪涝灾害的风险,还关系着生态系统的健康。然而,降水的本质是离散的、间歇性的脉冲,具有惊人的不连续性。其复杂的时空组织依赖于微小的云微物理过程,而这些过程对温度、湿度或气溶胶浓度等环境条件的微小扰动都极为敏感。更复杂的是,产生强降水的主要机制——对流,其触发和组织依赖于边界层湍流、大气稳定度和中尺度环流之间复杂的相互作用,这些在数值模拟中计算成本极高,难以精确刻画。这些复杂性给降水的观测和预测带来了根本性的挑战。
目前,我们主要依赖三种来源获取降水信息:地面雨量计(gauge)观测、遥感卫星反演和数值模拟(通常同化前两种数据)。但这三种来源各有其固有的局限性。地面雨量计能提供点位最直接、最准确的测量,但站点分布稀疏,甚至在2.5°×2.5°的网格单元内平均不到两个站点,在海洋和偏远地区更是稀少。卫星遥感提供近全球覆盖,但测量是间接的。极轨卫星上的被动微波传感器通过探测水凝物的发射和散射信号来估算降水,相对直接但时间采样有限。静止卫星上的红外传感器可提供高频观测(每10-30分钟),但仅能测量云顶温度,需要借助经验关系推断地面降水,这对于在热带和海洋区域产生显著降水的浅层暖云而言尤其不准确。数值天气预报和再分析产品通过将可用观测同化到动力模型中,提供了物理一致、完整的时空覆盖。然而,这些系统中的降水是一系列复杂参数化过程(辐射、对流、云微物理、边界层湍流)的最终结果,每个过程都会引入误差,并且误差会 multiplicative 地累积。这些观测和模拟的局限性后果严重:当前不同降水数据集之间的差异可能与其信号本身一样大。在热带地区,不同产品之间的差异可能超过平均降水率的300毫米/小时,这从根本上限制了我们闭合全球水循环、验证气候模型或为水资源管理提供可靠信息的能力。
应对这些挑战的一个有前景的解决方案是数据融合(data fusion),即利用多源数据的互补优势,生成在准确性、分辨率和覆盖度上超越任何单一数据源的降水估计。在数据融合方法中,贝叶斯(Bayesian)方法提供了一种连贯且基于概率的解决方案。其核心思想很优雅:通过从所有可用数据源推导出一个信息丰富的先验分布(prior),我们可以以统计上一致的形式编码现有知识。一旦建立,这个先验分布可以通过贝叶斯定理(Bayes' theorem)用任何新的观测进行更新,通过定制的似然函数(likelihood function)考虑每个数据源独特的误差特征和观测模式。该框架自然地根据观测的可靠性进行加权,并传播不确定性以产生完整的后验分布(posterior distribution),这对于风险评估至关重要。
近年来,深度生成模型,特别是概率扩散模型(probabilistic diffusion models)的进展,为实施上述贝叶斯框架带来了变革性的机遇。扩散模型通过学习逆转一个逐渐添加噪声的过程来近似目标分布。前向过程(forward process)用高斯噪声逐步扰动数据,而由神经网络参数化的反向过程(reverse process)则学习逆转这种破坏以恢复样本。这种迭代去噪过程使扩散模型能够生成高质量和多样化的样本,应用领域从自然图像到蛋白质结构,同时也可作为贝叶斯推断的先验,使其特别适合捕捉降水的复杂模式。一旦训练完成,它们可以作为“即插即用”(plug-and-play)的先验:相同的学习分布可以通过简单地改变似然函数而无需重新训练,应用于不同的推断任务,如偏差校正(bias correction)、降尺度(downscaling)或空隙填充(gap-filling)。尽管前景广阔,但将该框架应用于降水仍面临三个基本挑战。首先,降水极端的时空变异性——从局地对流单体到大陆尺度的锋面——使其难以被单一的先验分布捕获。其次,当没有任何单一数据源是可信或全面时,构建信息丰富的先验分布变得自相矛盾。每个数据源在不匹配的尺度上捕捉降水的不同方面,形成了一个循环依赖:我们需要准确的数据来构建先验,却又需要先验来评估数据的准确性。第三,即使有了合理的先验,后验采样仍然具有挑战性,因为从机器学习的角度看,降水场是高维的,且相关的观测似然是复杂的。这些障碍定义了在地球系统科学中部署生成式AI的前沿,需要超越传统方法的创新。
为了应对这些挑战,孙森灿(Sencan Sun)等研究人员在《Nature Communications》上发表了题为“Fusion of multi-source precipitation records via coordinate-based generative models”的研究,引入了PRIMER(Precipitation Records Infinite MERging)框架,该框架重新构想了扩散模型如何从不完美、异质的降水记录中学习。研究团队的关键见解是,概率扩散模型无需在完美样本上训练——相反,它们可以被视为谱回归模型,随着我们使用高斯噪声逐渐破坏目标分布,模型从低频结构到高频细节逐步学习。这一特性使我们能够通过学习每个数据源的降水模式的条件分布来构建信息丰富的先验,其中条件化(conditioning)明确捕获了每个数据集的特征偏差。
正如其他研究强调的,整合从稀疏网格到密集场的不同稀疏程度的数据是一个主要的机器学习挑战。PRIMER承认这个问题并提出了一种方法来更好地处理这种异质性。传统上,扩散模型处理固定分辨率网格上的样本,这迫使我们将异质观测插值到共同分辨率。这种插值对降水尤其具有破坏性:它平滑了对流边界的尖锐梯度,在稀疏站点之间引入人为相关性,并且最关键的是,破坏了使站点数据有价值的精确性。对于覆盖域不到1%的稀疏站点网络,插值 essentially 制造了不存在的信息。因此,我们需要一种能够直接从每个数据源的本机采样结构学习先验的架构。这一必要性驱动我们采用基于坐标的扩散模型(coordinate-based diffusion models),该模型将降水表示为空间场 x: R2→ R,而非张量。在这种表述中,密集网格和稀疏站点观测都只是同一底层场的不同采样模式。PRIMER直接从任意稀疏分布的点——每个点由其位置和降水强度定义——进行学习,而不依赖于空间插值。站点观测在局部影响函数,而网格数据约束大尺度结构。
因此,PRIMER采用两阶段训练策略是自然的选择:首先学习基线先验 PERA5(x) 和 PIMERG(x),它们分别代表来自气候再分析(即ECMWF第五代大气再分析ERA5)和卫星反演数据集(即GPM的集成多卫星检索IMERG)的降水场x的气候学分布。然后,使用站点观测(数据描述见方法4.6)对模型进行微调(fine-tuning),以纳入局部准确性,产生更新的先验 P★(x)(图1b;星号表示它应该是更好的先验)。基于坐标的表征确保站点信息是增强而非破坏先验,因为每个数据源都在其自然尺度上做出贡献。一旦训练完成,PRIMER通过原则性的后验采样支持多种应用:给定观测 O——无论是来自有偏差的卫星、稀疏站点还是粗分辨率预报——我们可以从后验 P(x|O) 中采样,以产生改进的集合估计(图1a)。实证评估证明了该方法的有效性:相对于约1000个独立站点,它实现了统计显著的误差降低;通过降尺度补充高频细节;并通过将站点观测与背景场合并进一步减少误差,方式类似于最优插值(optimal interpolation),凸显了其业务应用潜力。它还能在没有重新训练的情况下泛化到未见过的业务预报,并扩展到降尺度CMIP6中的未来情景降水场。通过将异质、不完美数据的挑战从限制转化为优势,PRIMER为降水数据融合建立了一个范式,该范式可以自然地扩展到受观测权衡困扰的其他地球系统变量。
为开展研究,研究人员主要运用了以下几项关键技术:基于坐标的扩散模型架构,实现了对不规则分布站点和规则网格数据的直接融合学习;两阶段训练策略,先利用ERA5和IMERG网格数据预训练基础先验,再使用中国气象局提供的自动气象站(AWS)观测数据进行微调,获得优化先验P★(x);后验采样技术,包括Inpainting和SDEdit等方法,用于在给定新观测条件下从先验分布中生成改进的降水场估计;以及一系列统计评估方法,如平均绝对误差(MAE)、连续分级概率评分(CRPS)、径向平均功率谱密度(RAPSD)和经验正交函数(EOF)分析,用于系统评估生成结果的准确性和物理合理性。
2.1 再现气候学分布
PRIMER的核心是学习一个可信的降水场先验,然后将其应用于广泛的相关概率推断任务。在验证概率推断结果之前,必须确保所学先验分布的准确性。由于直接评估如此高维的先验分布是棘手的,研究人员转而评估其统计特性作为代理指标。他们将从 PIMERG(x)、PERA5(x) 和更新先验 P★(x) 无条件生成的样本与其各自的参考数据集进行比较,重点关注降水的气候学平均值和标准差(图2)。在网格点层面,一致性很明显。对于平均降水(图2a-f),PIMERG(x) 和 PERA5(x) 都与IMERG和ERA5表现出强烈的空间对应性,皮尔逊相关系数(PCC)分别达到0.85和0.97。标准差场(图2g-l)同样得到了很好的再现(PCC=0.75和0.86),突出了PRIMER不仅能够表示平均降水空间结构,还能表示其方差的能力。值得注意的是,还引入了通过使用稀疏但可靠的站点观测微调PRIMER构建的 P★(x)。尽管站点观测的空间覆盖有限,这种校准产生了一个气候学上一致的先验,它保留了从网格产品中学到的大尺度空间结构,同时注入了局地的真实性。这种“气候学越狱”(climatological jailbreak)说明了PRIMER如何能够适应稀疏的站点记录而不牺牲跨尺度的一致性。为了进一步评估空间结构,研究人员进行了径向平均功率谱密度(RAPSD)分析(图2m),证实了所学的先验准确地恢复了参考数据集的多尺度谱特征,尤其是在对对流过程至关重要的中尺度波长上。
2.2 高影响天气事件的个案研究
上一节评估了PRIMER匹配气候学的能力。在第二阶段微调之后,更新先验 P★(x) 预计与站点观测更接近;然而,其实际技能仍需通过后验采样实验验证。为此,研究人员在使用不同先验的同时,以相同的观测 O 为条件进行后验采样。通过将后验样本与预留的站点观测进行比较,直接评估了先验对后验准确性的影响,从而量化微调在多大程度上改善了与真实世界观测的一致性。研究考察了三个代表性的高影响天气事件,这些事件涵盖了广泛的降水类型,包括与梅雨锋相关的持续性降水、由登陆台风驱动的强降水以及局地对流极端事件。主要个案是2016年7月2日05 UTC东亚夏季风期间发生在湖北省上空的降水事件(图3)。如图3c和3f所示,更新先验 P★(x) 显著优于从ERA5和IMERG衍生的基线先验。集合平均的△MAE从 PERA5(x|OERA5) 的0.46 mm/hr降至 P★(x|OERA5) 的0.14 mm/hr;在IMERG案例中也观察到类似的改进,△MAE从0.29 mm/hr降至0.14 mm/hr。这些增益超越了集合均值:在个体样本中,P★(x|OERA5) 的△MAE值 consistently 低于 PERA5(x|OERA5)。PRIMER的一个重要特性是能够将额外的站点观测纳入后验采样过程,而不是仅仅依赖背景场。这种能力类似于业务分析系统的要求,其中整合稀疏站点可以显著提高质量。为了评估这一特性,研究人员设计了一个模拟真实世界条件的实验,在采样过程中包含一个子集(20%)的站点观测(同时在剩余的80%上评估误差)。加入这些观测约束后,准确性显著提高,对于ERA5和IMERG案例,集合平均△MAE分别增加到1.11 mm/hr和0.97 mm/hr。
2.3 统计验证
研究人员将PRIMER应用于一个从2016年精心挑选的包含150个降水事件的测试集。对于每个事件,从 P★(x|O) 中抽取50个后验样本,其中 O 对应于ERA5或IMERG的原始数据。在此过程中,PRIMER将ERA5数据降尺度到0.1°分辨率并进行偏差校正,同时直接校正IMERG的偏差。在每个站点位置,计算了后验分布的MAE和CRPS。图4a-b揭示了MAE的广泛降低,突出了PRIMER系统校正原始数据集中固有偏差的能力。图4c-d显示CRPS显著降低,更深的蓝色调表示概率估计的实质性增益。这些结果表明PRIMER准确地捕捉了后验分布,并且t检验证实了这些改进具有统计显著性。除了PRIMER,研究人员还评估了基线先验(PERA5(x) 和 PIMERG(x))以及基线方法BCSD-EQM(偏差校正与空间降尺度-公平分位数映射)和RM(随机混合)。这些基线方法接受了相同的应用测试。PRIMER通常优于这些基线方法。最大的改进出现在四川盆地和珠江三角洲这些人口密集、经济活动强烈的地区。研究人员进一步分析了站点密度与性能改进之间的相关性。尽管存在正趋势,但相关性在统计上不显著,表明PRIMER提供了相对空间一致的改进,与局部站点密度无关。
除了降低点误差,PRIMER还增强了现有降水数据集的物理真实性。为了全面评估PRIMER的性能,研究采用了两个互补的视角:成员视图(member view)和包络视图(envelope view)。成员视图分析单个样本的统计量,代表一个物理上合理的实现。相反,包络是通过在每个站点位置、对于给定事件,选择50个后验样本中的最大降水值来构建的。如图5a所示,P★(x|OERA5) 和 P★(x|OIMERG) 的后验样本都更准确地再现了降水频率分布,尤其是在较高强度下。两种视角都揭示了与现有数据集相比,在表示强降水尾部方面的改进,强调了PRIMER探测常被原始产品低估的高影响降水事件的能力。使用与站点观测的PCC来量化空间结构的改进(图5b)。P★(x|OERA5) 和 P★(x|OIMERG) 相对于现有数据集显示出显著增强的结构一致性,表明PRIMER不仅减少了局部偏差,还恢复了空间相干性。研究人员采用了一种基于二维
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号