Transformer模型在海洋气象预报中的局限性探究

《Journal of Computational Science》：Exploring the limitations of transformer models for metocean forecasting

　　

Transformer模型已被广泛应用于多个领域，通常将时空数据视为类视频序列进行处理，这源于生成式视频预测的成功。然而，本文认为Transformer并非总是适用于具有长预报时效和强周期性的时空数据。该研究聚焦于海洋气象预报（具体为海冰、海洋和大气数据），对基于Transformer的模型与卷积神经网络（Convolutional Neural Network, CNN）进行了对比评估。对于北极地区长期海冰预报，TimeSformer和SwinLSTM等Transformer模型未能捕捉到年际动态变化，包括夏季融化过程。相比之下，轻量级CNN基准模型超越了现有的先进数值预报和数据驱动预报，误差指标改进幅度高达30%。类似地，在大气偏差订正中，CNN表现更优，相对于Transformer模型将全球预报系统（Global Forecast System, GFS）场的误差降低了20%。叙述在海洋预报中发生了变化，经过对比预训练增强的Transformer模型实现了全面优势。研究人员显著降低了所有海洋变量的误差，包括混合层深度误差降低40%。这三个案例研究表明Transformer的局限性存在但具有条件性而非绝对性，但在数据有限或精细空间结构至关重要时，CNN仍是合适选择。本文是ICCS-2025会议论文的扩展版本。

该研究探讨了Transformer模型在海洋气象（metocean）预报中的适用边界问题。海洋气象预报涉及海冰、海洋和大气三个关键环境变量，是极具挑战性的时空预测任务。

**一、研究背景与问题提出**

时空数据的预测在人工智能领域占据重要地位。由于时空数据与视频序列具有相似性，研究人员自然地将视频预测中取得成功的Transformer架构引入该领域。Transformer模型凭借其注意力机制，在视频处理任务中表现卓越，因此被寄予在环境预报中取得突破的期望。然而，现有研究对Transformer在具有强周期性特征的真实世界时空任务中的局限性讨论不足。特别是在海洋气象领域，数据往往呈现显著的年周期变化，空间分布复杂， activists 且长期预报对精度要求极高。当前，基于CNN的架构如U-Net已成为海洋气象任务的事实标准，但Transformer能否超越这一标准尚无定论。此外，海洋气象预报分为全球尺度和区域尺度，前者计算资源需求巨大，后者在特定水域具有重要应用价值却面临不同挑战。鉴于此，研究人员开展了系统研究，旨在明确Transformer与CNN在不同海洋气象场景下的性能差异，为实际应用中的模型选择提供依据。该论文发表于《Journal of Computational Science》。

**二、主要关键技术方法**

研究人员采用四种方法进行预测建模对比：两种Transformer方案——TimeSformer（将架构适配序列预测）和SwinLSTM；以及作为强基准的浅层二维和三维卷积网络。在海冰浓度预报中，所有模型配置为从104周（两年）历史上下文预测52周（一年）的逐时次，使用均方绝对误差作为损失函数，训练数据采用OSI SAF全球海冰浓度产品，空间分辨率从原始25km重采样至14km以平衡计算效率。在大气偏差订正任务中，研究人员对比了卷积架构与Transformer模型对风分量和气温的处理效果。在海洋预报中，研究人员引入了基于动量对比（Momentum Contrast, MoCo）的自监督对比学习框架进行预训练，该策略通过拉近时间上相近状态的表征并推远相距较远状态的表征，从未标注海洋数据中学习有意义的表示，进而增强Transformer性能。三个案例的预报时效分别达到最大：海冰52周（完整年周期）、海洋变量30天、大气场6小时间隔。

**三、研究结果**

**海冰浓度长期预报**：实验揭示了Transformer模型无法复现海冰的年际动态变化。TimeSformer架构的时间分量再现能力薄弱，导致水域内夏季海冰浓度未能降至0.3以下，使此类预报失去应用价值；SwinLSTM则表现出自重复倾向——对于一年后的7天预报周期，模型倾向于复制前期结果。与之相对，基于CNN的基准模型为长期预报提供了合理结果。与两种领域先进方案（基于物理的SEAS5系统和基于神经集成的IceNet模型）相比，CNN基准在平均绝对误差上改进高达30%，在结构相似性指数上改进高达10%，在冰缘重建准确率上改进高达6%。

**大气统计偏差订正**：卷积架构在所有变量上均优于Transformer模型。对于风分量和气温，卷积模型将均方根误差（Root Mean Square Error, RMSE）相对于原始GFS分析降低约20%，证明了其在捕捉精细空间结构方面的优势。

**海洋变量预报**：与上述两个案例形成鲜明对比，经MoCo对比预训练增强的Transformer模型在所有海洋变量上实现全面超越，涵盖热力学属性至动力学环流模式。其中混合层深度误差降低尤为显著，达到40%。这一结果表明，有效的表征学习能够充分释放Transformer在海洋预报中的潜力。

**四、讨论与结论**

研究人员综合三个案例提出了实用启发式规则：Transformer性能随表征学习质量而缩放。在无预训练条件下（海冰、大气偏差订正），其表现逊于CNN；而当采用显式编码时间邻近性的对比预训练时（海洋），则超越CNN。对于新的地球物理问题，建议优先采用CNN；若选择Transformer，应首先投入与目标物理过程对齐的预训练策略。

实验结果支持了关于Transformer对海洋气象时空数据适用性有限的假设。海冰浓度预报任务中，TimeSifter的时间分量弱再现导致夏季预报失效，SwinLSTM的自重复倾向使其难以产生可靠的长期预报。这些发现凸显了在时空预测任务基准测试中加入具有强周期分量和复杂空间分布的新案例之重要性，以揭示Transformer在从遥感到生产系统分析等广泛真实世界"周期性"任务中的局限。CNN在数据有限或精细空间结构关键的场景中保持优势地位，而Transformer的潜力需要通过针对性的表征学习策略来解锁。