1. 项目概述当天气预报遇见机器学习“未来两周会不会下雨” 这个问题对于农业种植、水利调度、能源规划和重大活动筹备来说至关重要。这就是次季节天气预报Sub-seasonal to Seasonal, S2S要解决的难题它填补了常规7-10天天气预报与季度气候预测之间的空白。然而做过数值模式预报的朋友都知道直接跑出来的原始预报结果往往存在系统性偏差——可能总是预报的雨量偏大或者高温偏低。这种偏差不消除预报的指导价值就大打折扣。传统的偏差校正方法比如简单的线性回归或分位数映射虽然有效但常常假设偏差是静态的或者处理多变量、复杂非线性关系时力不从心。这几年我和团队一直在探索如何将机器学习ML更深度地融入气象预报的后处理环节。我们尝试的就是基于概率思想的机器学习偏差校正框架我们称之为ML-PBCMachine Learning-based Probabilistic Bias Correction。它不是一个单一的模型而是一套结合了现代机器学习算法与气象预报概率评估思想的工具箱核心目标是不仅要把预报值“扳正”还要校准其概率分布让“降水概率30%”这个说法真正可靠。简单来说ML-PBC框架要干两件事第一识别并修正数值模式预报中的系统性偏差第二将确定性或集合预报的输出转化为更可靠的概率预报。这对于依赖气象信息做风险决策的行业来说意味着更清晰的“可能性”地图而不仅仅是“是或否”的猜测。如果你正在处理气象、水文、甚至任何存在模型输出偏差的物理预测问题这套思路或许能给你带来一些新的启发。2. 核心思路为什么是“概率”偏差校正在深入技术细节前我们必须先统一思想为什么次季节预报的偏差校正必须强调“概率性”这源于次季节预报本身的固有特性。2.1 次季节预报的挑战与偏差来源次季节预报的时间尺度15天到60天决定了它处于可预报性的“灰色地带”。初始条件的影响逐渐减弱而边界条件如海温、土壤湿度、积雪等和外强迫如大气季节内振荡MJO的作用变得突出。数值模式在这个尺度上面临几个核心难题模式系统性误差这是“老生常谈”但最关键的一点。由于物理参数化方案的不完美、分辨率限制等模式会对某些天气过程产生固有的、可重复的偏差。例如某个区域模式可能总是高估地形抬升引起的降水。初始条件不确定性放大虽然集合预报通过扰动初始场来估计这种不确定性但在次季节尺度误差增长的非线性极强集合离散度往往无法充分表征真实的不确定性导致预报概率分布失真。低频信号捕捉能力不足模式对MJO、准定常波等次季节关键信号的传播速度、强度预测存在偏差直接影响下游的温、雨预报。传统的确定性偏差校正如减去一个平均误差只能解决第一个问题的部分而忽略了预报本身的不确定性信息。概率偏差校正则追求给定模式的原始预报可能是一个值也可能是一个集合我们输出一个经过校准的、能够更好反映未来天气事件发生可能性的概率分布。2.2 ML-PBC框架的设计哲学我们的ML-PBC框架设计遵循以下几个核心原则以观测为“真值”基准所有校正的“金标准”是历史观测数据如站点降水、格点再分析资料。我们利用历史同期或相似环流背景下的模式预报与观测配对数据作为训练样本。处理完整分布而非单点我们不满足于只校正平均值。目标是让校正后的预报其整个概率分布包括方差、分位数、极端值特征都与观测的统计特性一致。例如观测中百年一遇的暴雨在校正后的预报里也应该是百年一遇的量级而不是被平滑掉。利用机器学习捕捉复杂关系模式偏差与预报状态本身、季节、地域、天气型态的关系可能是高度非线性的。机器学习模型如梯度提升树、神经网络擅长从海量历史数据中挖掘这些复杂映射关系。分而治之的策略针对连续变量如温度、间断变量如降水、分类变量如晴雨的不同统计特性设计不同的校正模块或损失函数。这套框架的输入通常是模式输出的多个预报变量如海平面气压、500hPa高度场、比湿等以及可能的地理、时间特征。输出则是目标变量如区域平均降水量校准后的概率分布参数例如服从Gamma分布的形状和尺度参数或直接是多个分位数的预报值。3. 技术选型哪些机器学习模型能担此重任选择什么样的机器学习模型作为PBC的核心引擎是项目成败的关键。这需要平衡模型的表达能力、计算效率、可解释性以及对不确定性量化的支持。下面是我们评估和实践过的几种主流方案。3.1 梯度提升决策树GBDT家族稳健的起点以XGBoost、LightGBM和CatBoost为代表的GBDT模型是我们初期大规模试验的首选。它们在结构化表格数据上的表现极其稳健。为何首选它们无需特征标准化气象变量量纲差异大气压hPa、温度℃、湿度g/kgGBDT对此不敏感省去预处理麻烦。自动特征交互能够自动捕捉预报变量之间的非线性相互作用例如“高温”遇上“高湿”对降水概率的影响。处理缺失值大多数GBDT实现有内建的缺失值处理机制适合处理不完整的历史观测数据。效率与可扩展性训练速度快对于需要滚动训练如用过去20年数据训练预测今年的场景非常友好。在PBC中的具体应用分位数回归使用LightGBM的objectivequantile分别训练多个分位数如0.05, 0.25, 0.5, 0.75, 0.95的模型。这样对于一组输入特征我们能直接得到预测值的分位数从而构建经验概率分布。分布参数预测假设降水服从Gamma分布我们可以训练两个GBDT模型一个预测形状参数shape一个预测尺度参数scale。模型的监督标签来自对历史观测序列拟合Gamma分布得到的参数。实操心得GBDT的陷阱尽管GBDT强大但直接用于降水校正要小心。降水有很多“零值”无雨日数据分布极度不平衡且非连续。我们的经验是先训练一个二分类模型预测“有雨/无雨”再对有雨的子集训练一个回归模型预测雨量。这种“两步法”比直接用一个模型预测所有数据效果更好。此外要警惕过拟合历史气候态导致无法预报出超越历史极值的新情况这需要引入极端值理论进行补充。3.2 神经网络灵活性与深度表征对于更复杂的关系或高维输入如直接处理模式输出的格点场神经网络NN提供了更大的灵活性。全连接神经网络FCN适用于从大量提取的特征如区域平均、指数、主成分中进行校正。可以设计输出层来参数化一个分布例如使用Mixture Density Network混合密度网络它能输出多个高斯分布的权重、均值和方差从而拟合任意复杂的分布形态。卷积神经网络CNN当我们将模式输出的区域格点数据如500hPa高度场异常作为输入时CNN可以自动提取空间模式特征。例如识别出特定的波列结构这些结构与未来两周东亚降水偏差有很强的统计关联。集成学习与NN结合我们尝试过用多个不同的NN架构不同深度、宽度分别训练然后将它们的预测结果进行集成作为最终的概率分布。这类似于集合预报的多模式集成能有效降低单一模型的不确定性。一个简单的PyTorch实现框架示例import torch import torch.nn as nn import torch.distributions as dist class ProbabilisticBiasCorrectionNN(nn.Module): def __init__(self, input_dim, hidden_dims): super().__init__() layers [] prev_dim input_dim for h_dim in hidden_dims: layers.extend([nn.Linear(prev_dim, h_dim), nn.ReLU()]) prev_dim h_dim self.feature_extractor nn.Sequential(*layers) # 输出层预测Gamma分布的两个参数假设为正 self.shape_head nn.Linear(prev_dim, 1) self.scale_head nn.Linear(prev_dim, 1) # 使用Softplus确保输出为正数 self.softplus nn.Softplus() def forward(self, x): features self.feature_extractor(x) shape self.softplus(self.shape_head(features)) 1e-6 # 避免为零 scale self.softplus(self.scale_head(features)) 1e-6 return dist.Gamma(shape, scale) # 训练时使用负对数似然作为损失函数 def train_step(model, batch_x, batch_y_obs): predicted_distribution model(batch_x) loss -predicted_distribution.log_prob(batch_y_obs).mean() # 最大化似然 # ... 反向传播与优化注意事项神经网络的“数据饥渴”与过拟合神经网络特别是深层的需要大量的训练数据。气象历史数据往往只有几十年到几十年样本量有限。我们吃过亏一个复杂的CNN在训练集上表现完美但在独立测试集例如预留的年份上表现暴跌。解决方案包括1使用浅层网络2引入强正则化Dropout, Weight Decay3利用迁移学习先用再分析资料或更长气候模拟数据预训练特征提取器4采用交叉验证时务必按年份而非随机打乱划分以检验其泛化到未知年份的能力。3.3 后处理专用模型scikit-learn与prophet的变通使用对于一些快速原型验证或业务系统初期部署成熟的统计学习库是利器。scikit-learn管道可以构建一个完整的处理流水线。from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, QuantileTransformer from sklearn.ensemble import RandomForestRegressor from sklearn.multioutput import MultiOutputRegressor # 假设我们要预测降水量的5个分位数 pipeline Pipeline([ (scaler, StandardScaler()), (quantile_transform, QuantileTransformer(output_distributionnormal)), # 使数据更接近高斯分布 (regressor, MultiOutputRegressor( RandomForestRegressor(n_estimators100, random_state42) )) ]) pipeline.fit(X_train, y_train_quantiles) # y_train_quantiles是5列分位数标签Facebook Prophet 的启示虽然Prophet是为时间序列设计的但其“趋势季节假日”的加性模型思想可以借鉴。我们可以将模式偏差分解为“气候平均偏差”趋势项、“季节依赖偏差”季节项和“由当前环流决定的偏差”回归项分别用不同的子模型建模最后组合。这增强了模型的可解释性。模型选型总结表模型类型优势劣势适用场景GBDT (XGB/LGBM)训练快对特征工程要求低稳健支持分位数回归难以处理原始格点数据对时空自相关建模能力弱主流推荐。适用于从预处理的预报特征指数、区域平均到站点/区域预报量的校正。神经网络 (FCN/CNN)表征能力强可处理高维原始数据灵活输出各种分布需要大量数据易过拟合训练和调参复杂研究前沿探索。当输入为原始模式输出场且数据量足够如多模式、多起报时间集合时考虑。传统统计模型可解释性极强计算轻量假设强如线性、正态难以捕捉复杂非线性作为基准模型Baseline或用于偏差分解中的某些线性成分。4. 实操流程构建一个ML-PBC系统的关键步骤理论说再多不如动手搭一个。下面以一个具体的例子——校正欧洲中心ECMWF次季节预报系统对中国东部夏季降水预报的偏差——来拆解全流程。4.1 数据准备与预处理质量决定上限数据是机器学习的地基气象数据尤其如此。数据收集预报数据从ECMWF S2S数据库获取历史回报数据Re-forecast。通常包含多个起报时间、多个集合成员、多个预报提前期lead time的格点数据。关键变量降水、500hPa高度场、850hPa温度、海平面气压等。观测数据中国地面气象站逐日降水数据或高分辨率的格点化观测产品如CN05.1。必须确保观测与预报数据在时空范围上严格匹配。数据配对与对齐这是最繁琐但最重要的一步。将历史每一天的“预报-观测”进行配对。例如对于起报日期为1999年1月1日、预报第15-35天即次季节尺度的平均降水其对应的“观测真值”应是1999年1月16日至2月4日的实际平均降水。需要编写脚本循环处理所有起报日期和提前期构建一个庞大的配对数据集。每个样本的特征X是模式在该起报日对未来某段时期的预报场可能经过空间聚合标签y是同期观测值。特征工程空间聚合中国东部范围很大直接处理格点数据维度太高。我们常将区域划分为几个子区域如华北、江淮、江南计算区域平均的预报变量作为特征。环流指数构建从预报场中提取有物理意义的指数如西太副高面积指数、强度指数东亚槽位置等。这些指数与降水有明确关系是强大的特征。滞后变量考虑到次季节信号的传播如MJO可以引入前几个预报时次的变量作为特征为模型提供“记忆”。时间特征一年中的第几天DOY、月份等用于捕捉气候季节循环。踩坑实录数据泄露Data Leakage这是新手最容易犯的致命错误。绝对不能用未来数据训练模型来预测过去。在划分训练集、验证集、测试集时必须按时间顺序划分。例如用1999-2010年数据训练2011-2015年验证调参2016-2020年做最终测试。任何基于全局的标准化如对整个数据集求平均和方差都必须在训练集上计算然后应用到验证集和测试集。我们曾因为使用全局标准化导致测试集结果虚高模型完全失效。4.2 模型训练、验证与评估损失函数选择连续概率变量如温度负对数似然损失Negative Log-Likelihood, NLL。它直接衡量预测的概率分布与单个观测值的吻合程度。间断变量如降水采用“零膨胀”分布的NLL或分位数损失Quantile Loss。对于概率分类有雨/无雨用交叉熵损失。综合评估通常会结合多个损失例如“分类交叉熵 有雨情况下的Gamma-NLL”。验证策略时间交叉验证Time-series Cross-Validation由于数据存在时间自相关标准的K折随机交叉验证会引入数据泄露。我们采用“滚动窗口”或“扩展窗口”法。例如每次用连续N年的数据训练预测下一年逐年滚动。关注“样本外”表现一切以在验证集和测试集即模型未见过的年份上的表现为准。训练集上的优异表现几乎没有参考价值。评估指标确定性部分校正后确定性预报如概率分布的中位数的评估。常用均方根误差RMSE、平均绝对误差MAE、相关系数CORR。与原始预报对比看误差是否缩小。概率部分这是核心。常用连续分级概率评分CRPS评估整个预测分布与观测值的接近程度是概率预报的“全能”评分值越小越好。可靠性图Reliability Diagram检查预测的概率是否与事件发生的实际频率一致。例如在所有预测“降水概率70%”的日子里实际下雨的比例是否接近70%。理想情况是一条45度对角线。锐度Sharpness预测分布的集中程度。在可靠的前提下分布越集中锐度越高预报信息量越大。4.3 业务化部署与持续更新模型训练好不是终点如何让它稳定地跑在业务系统里才是挑战。在线推理服务将训练好的模型如LightGBM的.txt文件或PyTorch的.pt文件封装成API服务。当新的模式预报数据来时自动进行特征提取调用模型进行偏差校正输出校准后的概率预报产品如NetCDF文件。模型监控与漂移检测气候在变化模式的版本也在更新。需要持续监控模型的性能。设定预警阈值当最近一段时间模型的CRPS评分持续恶化或可靠性图明显偏离对角线时触发警报。模型迭代更新定期如每年用最新的数据重新训练模型。可以采用“滑动窗口”策略总是用最近N年的数据训练以适应气候态和模式性能的缓慢变化。5. 常见问题与避坑指南在实际操作中我们遇到了无数坑。这里总结几个最具代表性的问题和解决思路。5.1 问题一校正后的预报变得“太平滑”极端事件不见了现象原始模式虽然整体有偏差但偶尔能报出极端强降水或高温。经过ML-PBC校正后这些极端值被大幅拉低预报变得过于保守。根因大多数机器学习模型尤其是使用MSE损失的倾向于预测条件均值会惩罚偏离均值的预测。历史数据中极端事件样本少模型没有学会很好地拟合分布的尾部。解决方案使用分位数回归专门训练高阶分位数如0.95, 0.99的模型这些模型对极端值更敏感。极端值分离建模设定一个阈值将极端事件样本单独拿出来用一个专门的模型甚至是用广义帕累托分布GPD的极值理论方法进行校正。损失函数加权在损失函数中给极端事件的样本赋予更高的权重。集成“原始集合”信息不要完全抛弃原始集合预报的离散度。可以尝试将校正后的分布与原始集合的离散度信息进行融合。5.2 问题二模型在训练集上完美但在新年份预报一塌糊涂现象交叉验证结果很好但用于预测完全未知的年份时评分骤降。根因过拟合以及数据中存在未被发现的“伪关系”。例如模型可能错误地依赖了某个在训练时段内偶然与降水相关、但无物理联系的变量。解决方案更严格的样本外验证采用“留出多年”的测试法而不是仅仅留出几个月。特征选择与正则化使用LASSO等带正则化的模型进行特征选择或通过计算特征与目标的物理相关性如通过滞后相关分析来筛选特征。物理约束将物理常识作为先验知识融入模型。例如对于降水校正可以确保模型不会在预报非常干燥的大气条件下如低比湿输出高降水概率。使用更简单的模型当数据量有限时复杂模型是毒药。优先尝试线性模型、浅层树模型。5.3 问题三如何处理“零膨胀”的降水数据现象降水数据包含大量零值无雨日和连续的正值有雨日直接回归效果差。标准解决方案“Two-stage”或“Censored”模型。第一阶段 - 发生模型训练一个二分类模型如逻辑回归、GBDT分类器预测“有雨概率”。第二阶段 - 强度模型从训练数据中筛选出所有有雨日的样本训练一个回归模型预测“在有雨条件下的雨量”。预测时先由发生模型得到有雨概率p再由强度模型得到条件雨量y。最终的预测分布是这两部分的混合以概率(1-p)预测雨量为0以概率p预测雨量服从强度模型给出的分布如Gamma分布。5.4 问题四计算资源和时间成本太高现象全球模式数据量巨大训练一个模型需要数天甚至数周。优化策略数据降采样在空间上对模式数据做平滑或聚合在时间上使用周平均或旬平均数据而非日数据进行次季节预报训练。特征预筛选利用气象先验知识只选取关键区域、关键层次的变量作为候选特征。分布式训练对于GBDTLightGBM和XGBoost支持并行训练。对于神经网络使用多GPU训练。增量学习对于GBDT模型可以采用增量学习的方式在新数据到来时在原有模型基础上继续训练而不是从头开始。机器学习PBC框架不是一把万能钥匙它不能创造模式中没有的信号也无法从根本上解决次季节预报的物理难题。但它是一把精密的锉刀能够将模式已有的、但粗糙扭曲的信息打磨得更准确、更可靠。从简单的分位数回归GBDT开始逐步引入更复杂的神经网络和物理约束这个迭代过程本身就是我们对“预报不确定性”理解不断深化的过程。在实际业务中我们最终部署的往往不是一个最复杂的模型而是一个在稳健性、计算效率和预报技巧之间取得最佳平衡的方案。记住可解释性和稳定性有时比那一点点提升的CRPS分数更重要因为预报员和用户需要理解并信任你的产品。
机器学习概率偏差校正：提升次季节天气预报精度的关键技术
1. 项目概述当天气预报遇见机器学习“未来两周会不会下雨” 这个问题对于农业种植、水利调度、能源规划和重大活动筹备来说至关重要。这就是次季节天气预报Sub-seasonal to Seasonal, S2S要解决的难题它填补了常规7-10天天气预报与季度气候预测之间的空白。然而做过数值模式预报的朋友都知道直接跑出来的原始预报结果往往存在系统性偏差——可能总是预报的雨量偏大或者高温偏低。这种偏差不消除预报的指导价值就大打折扣。传统的偏差校正方法比如简单的线性回归或分位数映射虽然有效但常常假设偏差是静态的或者处理多变量、复杂非线性关系时力不从心。这几年我和团队一直在探索如何将机器学习ML更深度地融入气象预报的后处理环节。我们尝试的就是基于概率思想的机器学习偏差校正框架我们称之为ML-PBCMachine Learning-based Probabilistic Bias Correction。它不是一个单一的模型而是一套结合了现代机器学习算法与气象预报概率评估思想的工具箱核心目标是不仅要把预报值“扳正”还要校准其概率分布让“降水概率30%”这个说法真正可靠。简单来说ML-PBC框架要干两件事第一识别并修正数值模式预报中的系统性偏差第二将确定性或集合预报的输出转化为更可靠的概率预报。这对于依赖气象信息做风险决策的行业来说意味着更清晰的“可能性”地图而不仅仅是“是或否”的猜测。如果你正在处理气象、水文、甚至任何存在模型输出偏差的物理预测问题这套思路或许能给你带来一些新的启发。2. 核心思路为什么是“概率”偏差校正在深入技术细节前我们必须先统一思想为什么次季节预报的偏差校正必须强调“概率性”这源于次季节预报本身的固有特性。2.1 次季节预报的挑战与偏差来源次季节预报的时间尺度15天到60天决定了它处于可预报性的“灰色地带”。初始条件的影响逐渐减弱而边界条件如海温、土壤湿度、积雪等和外强迫如大气季节内振荡MJO的作用变得突出。数值模式在这个尺度上面临几个核心难题模式系统性误差这是“老生常谈”但最关键的一点。由于物理参数化方案的不完美、分辨率限制等模式会对某些天气过程产生固有的、可重复的偏差。例如某个区域模式可能总是高估地形抬升引起的降水。初始条件不确定性放大虽然集合预报通过扰动初始场来估计这种不确定性但在次季节尺度误差增长的非线性极强集合离散度往往无法充分表征真实的不确定性导致预报概率分布失真。低频信号捕捉能力不足模式对MJO、准定常波等次季节关键信号的传播速度、强度预测存在偏差直接影响下游的温、雨预报。传统的确定性偏差校正如减去一个平均误差只能解决第一个问题的部分而忽略了预报本身的不确定性信息。概率偏差校正则追求给定模式的原始预报可能是一个值也可能是一个集合我们输出一个经过校准的、能够更好反映未来天气事件发生可能性的概率分布。2.2 ML-PBC框架的设计哲学我们的ML-PBC框架设计遵循以下几个核心原则以观测为“真值”基准所有校正的“金标准”是历史观测数据如站点降水、格点再分析资料。我们利用历史同期或相似环流背景下的模式预报与观测配对数据作为训练样本。处理完整分布而非单点我们不满足于只校正平均值。目标是让校正后的预报其整个概率分布包括方差、分位数、极端值特征都与观测的统计特性一致。例如观测中百年一遇的暴雨在校正后的预报里也应该是百年一遇的量级而不是被平滑掉。利用机器学习捕捉复杂关系模式偏差与预报状态本身、季节、地域、天气型态的关系可能是高度非线性的。机器学习模型如梯度提升树、神经网络擅长从海量历史数据中挖掘这些复杂映射关系。分而治之的策略针对连续变量如温度、间断变量如降水、分类变量如晴雨的不同统计特性设计不同的校正模块或损失函数。这套框架的输入通常是模式输出的多个预报变量如海平面气压、500hPa高度场、比湿等以及可能的地理、时间特征。输出则是目标变量如区域平均降水量校准后的概率分布参数例如服从Gamma分布的形状和尺度参数或直接是多个分位数的预报值。3. 技术选型哪些机器学习模型能担此重任选择什么样的机器学习模型作为PBC的核心引擎是项目成败的关键。这需要平衡模型的表达能力、计算效率、可解释性以及对不确定性量化的支持。下面是我们评估和实践过的几种主流方案。3.1 梯度提升决策树GBDT家族稳健的起点以XGBoost、LightGBM和CatBoost为代表的GBDT模型是我们初期大规模试验的首选。它们在结构化表格数据上的表现极其稳健。为何首选它们无需特征标准化气象变量量纲差异大气压hPa、温度℃、湿度g/kgGBDT对此不敏感省去预处理麻烦。自动特征交互能够自动捕捉预报变量之间的非线性相互作用例如“高温”遇上“高湿”对降水概率的影响。处理缺失值大多数GBDT实现有内建的缺失值处理机制适合处理不完整的历史观测数据。效率与可扩展性训练速度快对于需要滚动训练如用过去20年数据训练预测今年的场景非常友好。在PBC中的具体应用分位数回归使用LightGBM的objectivequantile分别训练多个分位数如0.05, 0.25, 0.5, 0.75, 0.95的模型。这样对于一组输入特征我们能直接得到预测值的分位数从而构建经验概率分布。分布参数预测假设降水服从Gamma分布我们可以训练两个GBDT模型一个预测形状参数shape一个预测尺度参数scale。模型的监督标签来自对历史观测序列拟合Gamma分布得到的参数。实操心得GBDT的陷阱尽管GBDT强大但直接用于降水校正要小心。降水有很多“零值”无雨日数据分布极度不平衡且非连续。我们的经验是先训练一个二分类模型预测“有雨/无雨”再对有雨的子集训练一个回归模型预测雨量。这种“两步法”比直接用一个模型预测所有数据效果更好。此外要警惕过拟合历史气候态导致无法预报出超越历史极值的新情况这需要引入极端值理论进行补充。3.2 神经网络灵活性与深度表征对于更复杂的关系或高维输入如直接处理模式输出的格点场神经网络NN提供了更大的灵活性。全连接神经网络FCN适用于从大量提取的特征如区域平均、指数、主成分中进行校正。可以设计输出层来参数化一个分布例如使用Mixture Density Network混合密度网络它能输出多个高斯分布的权重、均值和方差从而拟合任意复杂的分布形态。卷积神经网络CNN当我们将模式输出的区域格点数据如500hPa高度场异常作为输入时CNN可以自动提取空间模式特征。例如识别出特定的波列结构这些结构与未来两周东亚降水偏差有很强的统计关联。集成学习与NN结合我们尝试过用多个不同的NN架构不同深度、宽度分别训练然后将它们的预测结果进行集成作为最终的概率分布。这类似于集合预报的多模式集成能有效降低单一模型的不确定性。一个简单的PyTorch实现框架示例import torch import torch.nn as nn import torch.distributions as dist class ProbabilisticBiasCorrectionNN(nn.Module): def __init__(self, input_dim, hidden_dims): super().__init__() layers [] prev_dim input_dim for h_dim in hidden_dims: layers.extend([nn.Linear(prev_dim, h_dim), nn.ReLU()]) prev_dim h_dim self.feature_extractor nn.Sequential(*layers) # 输出层预测Gamma分布的两个参数假设为正 self.shape_head nn.Linear(prev_dim, 1) self.scale_head nn.Linear(prev_dim, 1) # 使用Softplus确保输出为正数 self.softplus nn.Softplus() def forward(self, x): features self.feature_extractor(x) shape self.softplus(self.shape_head(features)) 1e-6 # 避免为零 scale self.softplus(self.scale_head(features)) 1e-6 return dist.Gamma(shape, scale) # 训练时使用负对数似然作为损失函数 def train_step(model, batch_x, batch_y_obs): predicted_distribution model(batch_x) loss -predicted_distribution.log_prob(batch_y_obs).mean() # 最大化似然 # ... 反向传播与优化注意事项神经网络的“数据饥渴”与过拟合神经网络特别是深层的需要大量的训练数据。气象历史数据往往只有几十年到几十年样本量有限。我们吃过亏一个复杂的CNN在训练集上表现完美但在独立测试集例如预留的年份上表现暴跌。解决方案包括1使用浅层网络2引入强正则化Dropout, Weight Decay3利用迁移学习先用再分析资料或更长气候模拟数据预训练特征提取器4采用交叉验证时务必按年份而非随机打乱划分以检验其泛化到未知年份的能力。3.3 后处理专用模型scikit-learn与prophet的变通使用对于一些快速原型验证或业务系统初期部署成熟的统计学习库是利器。scikit-learn管道可以构建一个完整的处理流水线。from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, QuantileTransformer from sklearn.ensemble import RandomForestRegressor from sklearn.multioutput import MultiOutputRegressor # 假设我们要预测降水量的5个分位数 pipeline Pipeline([ (scaler, StandardScaler()), (quantile_transform, QuantileTransformer(output_distributionnormal)), # 使数据更接近高斯分布 (regressor, MultiOutputRegressor( RandomForestRegressor(n_estimators100, random_state42) )) ]) pipeline.fit(X_train, y_train_quantiles) # y_train_quantiles是5列分位数标签Facebook Prophet 的启示虽然Prophet是为时间序列设计的但其“趋势季节假日”的加性模型思想可以借鉴。我们可以将模式偏差分解为“气候平均偏差”趋势项、“季节依赖偏差”季节项和“由当前环流决定的偏差”回归项分别用不同的子模型建模最后组合。这增强了模型的可解释性。模型选型总结表模型类型优势劣势适用场景GBDT (XGB/LGBM)训练快对特征工程要求低稳健支持分位数回归难以处理原始格点数据对时空自相关建模能力弱主流推荐。适用于从预处理的预报特征指数、区域平均到站点/区域预报量的校正。神经网络 (FCN/CNN)表征能力强可处理高维原始数据灵活输出各种分布需要大量数据易过拟合训练和调参复杂研究前沿探索。当输入为原始模式输出场且数据量足够如多模式、多起报时间集合时考虑。传统统计模型可解释性极强计算轻量假设强如线性、正态难以捕捉复杂非线性作为基准模型Baseline或用于偏差分解中的某些线性成分。4. 实操流程构建一个ML-PBC系统的关键步骤理论说再多不如动手搭一个。下面以一个具体的例子——校正欧洲中心ECMWF次季节预报系统对中国东部夏季降水预报的偏差——来拆解全流程。4.1 数据准备与预处理质量决定上限数据是机器学习的地基气象数据尤其如此。数据收集预报数据从ECMWF S2S数据库获取历史回报数据Re-forecast。通常包含多个起报时间、多个集合成员、多个预报提前期lead time的格点数据。关键变量降水、500hPa高度场、850hPa温度、海平面气压等。观测数据中国地面气象站逐日降水数据或高分辨率的格点化观测产品如CN05.1。必须确保观测与预报数据在时空范围上严格匹配。数据配对与对齐这是最繁琐但最重要的一步。将历史每一天的“预报-观测”进行配对。例如对于起报日期为1999年1月1日、预报第15-35天即次季节尺度的平均降水其对应的“观测真值”应是1999年1月16日至2月4日的实际平均降水。需要编写脚本循环处理所有起报日期和提前期构建一个庞大的配对数据集。每个样本的特征X是模式在该起报日对未来某段时期的预报场可能经过空间聚合标签y是同期观测值。特征工程空间聚合中国东部范围很大直接处理格点数据维度太高。我们常将区域划分为几个子区域如华北、江淮、江南计算区域平均的预报变量作为特征。环流指数构建从预报场中提取有物理意义的指数如西太副高面积指数、强度指数东亚槽位置等。这些指数与降水有明确关系是强大的特征。滞后变量考虑到次季节信号的传播如MJO可以引入前几个预报时次的变量作为特征为模型提供“记忆”。时间特征一年中的第几天DOY、月份等用于捕捉气候季节循环。踩坑实录数据泄露Data Leakage这是新手最容易犯的致命错误。绝对不能用未来数据训练模型来预测过去。在划分训练集、验证集、测试集时必须按时间顺序划分。例如用1999-2010年数据训练2011-2015年验证调参2016-2020年做最终测试。任何基于全局的标准化如对整个数据集求平均和方差都必须在训练集上计算然后应用到验证集和测试集。我们曾因为使用全局标准化导致测试集结果虚高模型完全失效。4.2 模型训练、验证与评估损失函数选择连续概率变量如温度负对数似然损失Negative Log-Likelihood, NLL。它直接衡量预测的概率分布与单个观测值的吻合程度。间断变量如降水采用“零膨胀”分布的NLL或分位数损失Quantile Loss。对于概率分类有雨/无雨用交叉熵损失。综合评估通常会结合多个损失例如“分类交叉熵 有雨情况下的Gamma-NLL”。验证策略时间交叉验证Time-series Cross-Validation由于数据存在时间自相关标准的K折随机交叉验证会引入数据泄露。我们采用“滚动窗口”或“扩展窗口”法。例如每次用连续N年的数据训练预测下一年逐年滚动。关注“样本外”表现一切以在验证集和测试集即模型未见过的年份上的表现为准。训练集上的优异表现几乎没有参考价值。评估指标确定性部分校正后确定性预报如概率分布的中位数的评估。常用均方根误差RMSE、平均绝对误差MAE、相关系数CORR。与原始预报对比看误差是否缩小。概率部分这是核心。常用连续分级概率评分CRPS评估整个预测分布与观测值的接近程度是概率预报的“全能”评分值越小越好。可靠性图Reliability Diagram检查预测的概率是否与事件发生的实际频率一致。例如在所有预测“降水概率70%”的日子里实际下雨的比例是否接近70%。理想情况是一条45度对角线。锐度Sharpness预测分布的集中程度。在可靠的前提下分布越集中锐度越高预报信息量越大。4.3 业务化部署与持续更新模型训练好不是终点如何让它稳定地跑在业务系统里才是挑战。在线推理服务将训练好的模型如LightGBM的.txt文件或PyTorch的.pt文件封装成API服务。当新的模式预报数据来时自动进行特征提取调用模型进行偏差校正输出校准后的概率预报产品如NetCDF文件。模型监控与漂移检测气候在变化模式的版本也在更新。需要持续监控模型的性能。设定预警阈值当最近一段时间模型的CRPS评分持续恶化或可靠性图明显偏离对角线时触发警报。模型迭代更新定期如每年用最新的数据重新训练模型。可以采用“滑动窗口”策略总是用最近N年的数据训练以适应气候态和模式性能的缓慢变化。5. 常见问题与避坑指南在实际操作中我们遇到了无数坑。这里总结几个最具代表性的问题和解决思路。5.1 问题一校正后的预报变得“太平滑”极端事件不见了现象原始模式虽然整体有偏差但偶尔能报出极端强降水或高温。经过ML-PBC校正后这些极端值被大幅拉低预报变得过于保守。根因大多数机器学习模型尤其是使用MSE损失的倾向于预测条件均值会惩罚偏离均值的预测。历史数据中极端事件样本少模型没有学会很好地拟合分布的尾部。解决方案使用分位数回归专门训练高阶分位数如0.95, 0.99的模型这些模型对极端值更敏感。极端值分离建模设定一个阈值将极端事件样本单独拿出来用一个专门的模型甚至是用广义帕累托分布GPD的极值理论方法进行校正。损失函数加权在损失函数中给极端事件的样本赋予更高的权重。集成“原始集合”信息不要完全抛弃原始集合预报的离散度。可以尝试将校正后的分布与原始集合的离散度信息进行融合。5.2 问题二模型在训练集上完美但在新年份预报一塌糊涂现象交叉验证结果很好但用于预测完全未知的年份时评分骤降。根因过拟合以及数据中存在未被发现的“伪关系”。例如模型可能错误地依赖了某个在训练时段内偶然与降水相关、但无物理联系的变量。解决方案更严格的样本外验证采用“留出多年”的测试法而不是仅仅留出几个月。特征选择与正则化使用LASSO等带正则化的模型进行特征选择或通过计算特征与目标的物理相关性如通过滞后相关分析来筛选特征。物理约束将物理常识作为先验知识融入模型。例如对于降水校正可以确保模型不会在预报非常干燥的大气条件下如低比湿输出高降水概率。使用更简单的模型当数据量有限时复杂模型是毒药。优先尝试线性模型、浅层树模型。5.3 问题三如何处理“零膨胀”的降水数据现象降水数据包含大量零值无雨日和连续的正值有雨日直接回归效果差。标准解决方案“Two-stage”或“Censored”模型。第一阶段 - 发生模型训练一个二分类模型如逻辑回归、GBDT分类器预测“有雨概率”。第二阶段 - 强度模型从训练数据中筛选出所有有雨日的样本训练一个回归模型预测“在有雨条件下的雨量”。预测时先由发生模型得到有雨概率p再由强度模型得到条件雨量y。最终的预测分布是这两部分的混合以概率(1-p)预测雨量为0以概率p预测雨量服从强度模型给出的分布如Gamma分布。5.4 问题四计算资源和时间成本太高现象全球模式数据量巨大训练一个模型需要数天甚至数周。优化策略数据降采样在空间上对模式数据做平滑或聚合在时间上使用周平均或旬平均数据而非日数据进行次季节预报训练。特征预筛选利用气象先验知识只选取关键区域、关键层次的变量作为候选特征。分布式训练对于GBDTLightGBM和XGBoost支持并行训练。对于神经网络使用多GPU训练。增量学习对于GBDT模型可以采用增量学习的方式在新数据到来时在原有模型基础上继续训练而不是从头开始。机器学习PBC框架不是一把万能钥匙它不能创造模式中没有的信号也无法从根本上解决次季节预报的物理难题。但它是一把精密的锉刀能够将模式已有的、但粗糙扭曲的信息打磨得更准确、更可靠。从简单的分位数回归GBDT开始逐步引入更复杂的神经网络和物理约束这个迭代过程本身就是我们对“预报不确定性”理解不断深化的过程。在实际业务中我们最终部署的往往不是一个最复杂的模型而是一个在稳健性、计算效率和预报技巧之间取得最佳平衡的方案。记住可解释性和稳定性有时比那一点点提升的CRPS分数更重要因为预报员和用户需要理解并信任你的产品。
