一种用于加速和增强水文预报深度学习模型开发的新型混合微调(fine-tuning)方法——LSTM(长短期记忆网络)与随机森林(Random Forest, RF)混合编码器-解码器架构的应用

《Environmental Modelling & Software》：A novel hybrid fine-tuning method for supercharging deep learning model development for hydrological prediction

　　

摘要：本研究提出一种新型混合方法，可大幅加速并改进用于河道流量(streamflow)预测的深度学习(Deep Learning, DL)模型开发。该方法结合长短期记忆网络(Long Short-Term Memory, LSTM)与随机森林(Random Forest, RF)，利用预训练LSTM提取时序特征构建混合编码器-解码器(encoder-decoder)模型，再以RF作为解码器进行河道流量预测。研究在美国本土(CONUS)421个流域及德国324个流域(CAMELS-US与CAMELS-DE数据集)上进行验证。该混合方法具有多重优势：其一，在较少训练数据条件下，相较于区域LSTM模型性能具竞争力(Nash-Sutcliffe效率系数(Nash-Sutcliffe Efficiency, NSE)中位数提升6.66%)；其二，较逐流域单独训练LSTM效率更高且更稳健(约快14倍)且精度更优；其三，相较常规微调计算开销显著降低(可在基于CPU的工作站上实现)。

论文解读：《一种用于超级充电深度学习模型开发用于水文预测的新型混合微调方法》发表于《Environmental Modelling & Software》

研究背景与意义：

准确的河道流量(streamflow)预测是水资源可靠管理的基础。基于物理过程的模型依赖微分方程描述潜在物理过程，而深度学习(Deep Learning, DL)模型特别是长短期记忆网络(Long Short-Term Memory, LSTM)作为条件估计器，能有效映射输入至目标变量而不显式考虑控制方程，已被证实在水文时间序列预测中效果显著。区域LSTM模型(regional LSTM model)在多个流域联合训练可泛化不同水文条件，优于逐流域(catchment-wise)训练策略。然而，区域LSTM的高数据需求、模型优化的计算负担及DL流程管理所需的专业知识构成了应用障碍，尤其对无高性能计算(High-Performance Computing, HPC)资源的水文从业者而言。传统迁移学习(Transfer Learning, TL)中的微调(fine-tuning)——全层微调(LSTM^A，更新LSTM单元与线性头权重)与线性头微调(LSTM^B，仅更新线性头权重)——对学习率敏感且计算昂贵。因此，本研究旨在探索一种新颖的混合TL方法，降低计算成本、提高可及性并提升区域模型性能，使水文工作者能在有限资源下利用大规模区域DL模型进行单流域应用。

主要关键技术方法：

研究人员采用CAMELS-US数据集(421个流域，日气象强迫变量含降水、最高/最低温、短波辐射、水汽压，静态属性27个；选取无缺失值且记录数≥10,000的流域，时段1984–2012按76.5%/8.5%/15%划分训练/验证/测试集)与CAMELS-DE数据集(324个流域，输入均值降水、降水标准差、辐射、最高/最低温，时段1970–1999训练、1965–1970验证、2001–2020测试)。构建预训练区域LSTM编码器(lookback期365天，隐状态即上下文向量(context vector)维度依训练集为128或256，dropout率0.2或0.4，Adam优化器，早停法)，冻结其权重后提取最后时间步隐藏状态作为编码特征，接入随机森林(Random Forest, RF；默认最大树深16、树数300、无需复杂超参调优)作为解码器预测比流量(specific discharge, mm/day)。设置两种迁移学习场景：场景1(Scenario 1)用仅50个随机流域训练的区域LSTM(仅4个通用静态特征)对各剩余流域进行三种微调——LSTM^A-50、LSTM^B-50及混合LSTM-RF(hybrid-50)，对比区域LSTM-50、全421流域区域LSTM及逐流域LSTM；场景2(Scenario 2)用全27个静态特征训练371或421个流域的区域LSTM(最优权重或第3轮次(sub-optimal)检查点权重)，以hybrid-371(微调LSTM-371)、hybrid-421(微调次优LSTM-421 epoch-3)、hybrid-50(微调仅50流域LSTM最优权重)对比相应未微调区域模型。性能评估采用Nash-Sutcliffe效率系数(Nash-Sutcliffe Efficiency, NSE)、修正Kling–Gupta效率(Kling–Gupta Efficiency, KGE)、高峰流量偏差(FHV)及基流偏差(FLV)，并用Wilcoxon符号秩检验统计显著性(α=0.05)。

研究结果：

4.1. Scenario 1

CAMELS-US结果显示，hybrid-50的中位KGE与NSE较LSTM^A-50分别提升3.99%与4.84%，较LSTM^B-50分别提升1.11%与6.04%，亦较逐流域LSTM训练中位KGE提升4.14%、NSE提升9.19%。混合方法在最差表现流域也具改善。微调耗时上，hybrid-50平均47.22秒/流域，较LSTM^A-50(72.36秒)快约35%。CAMELS-DE中hybrid-50与用1555流域训练的区域LSTM基准中位NSE仅差-2.54%，但最差NSE(0.369 vs 0.094)明显优于基准，高低流量表现相当。

4.2. Scenario 2

对未参与区域模型训练的流域(out-of-sample)，hybrid-371相较LSTM-371中位KGE提升14.11%、NSE提升13.13%；对已参与训练的流域(in-sample)仅微幅提升(0.66% KGE、1.19% NSE)。用次优权重微调的hybrid-421较全参数训练区域LSTM-421中位KGE与NSE分别提升0.92%与1.19%；hybrid-421(基于更多流域次优模型)效果好于hybrid-50(基于少流域最优模型)。Wilcoxon检验显示53.51%流域KGE显著改善、31.72%显著下降；NSE上43.60%显著改善、41.38%显著下降。负NSE流域数由LSTM-421的31个降至混合模型的21个，空间上负NSE集中于德克萨斯–墨西哥湾(HUC 12)与下科罗拉多河(HUC 15)干旱间歇性流域，属水文气候局限性而非方法缺陷。在区域模型KGE<0.75的流域，混合方法使中位KGE由0.762升至0.788、NSE由0.758升至0.773。

4.3. LSTM Cell, a Non-Linear Clustering Model

LSTM单元将高维输入(滞后期×特征数)非线性映射为低维上下文向量，具类似非线性降维与流域聚类作用。余弦相似度(Cosine similarity)分析表明同一水文单元(HUC)流域上下文向量相似性更高，说明预训练LSTM即便在有限数据或早期轮次已能依气象强迫对流域做有效分组，为后续RF解码提供有意义表征。

讨论与结论总结：

研究人员得出结论：(1)所提LSTM-RF混合微调方法较传统LSTM全层或仅线性头微调具更优预测性能与更高计算效率(快约14倍于逐流域训练、快约32%–35%于常规微调)，且对超参数不敏感(RF可用默认参数)；(2)即使区域模型未完全优化(少流域或早期检查点权重)，经混合微调仍可超越未微调区域模型及逐流域训练模型，说明从区域模型出发做混合微调优于单纯区域建模或逐流域建模；(3)混合微调对未纳入区域模型训练的流域提升尤为显著，也能改善区域模型表现欠佳流域的预测，可作为区域DL水文模型的有益补充工具。需注意研究假设流域有较长观测记录(20–30年)，且检查点选择对效果有影响，未来应探究如何最大化LSTM上下文向量信息含量(如自监督学习或变分建模)及其他混合解码器形式。该方法亦可推广至其他基于DL的水文预测任务。