基于VQ-VAE与Transformer的云层动态离散表征及其短时概率预报

《Journal of Imaging》：Probabilistic Short-Term Sky Image Forecasting Using VQ-VAE and Transformer Models on Sky Camera Data Chingiz Seyidbayli, Soheil Nezakat and Andreas Reinhardt

本研究聚焦光伏发电对短时云层遮挡预测的需求，提出一种融合离散变分自编码器（VQ-VAE）与Transformer的三阶段云掩膜概率预报框架，实现天空图像序列到离散潜在空间的映射与未来云分布的自回归生成，为可再生能源波动管理提供高精度时空不确定性量化支撑。

　　

随着全球能源转型加速，光伏发电占比持续提升，但云层移动导致的太阳辐照度骤变成为电网稳定的核心挑战。传统物理模型难以捕捉云层演变的非线性动态，而深度学习虽在图像预测领域进展显著，却面临连续像素空间建模复杂度高、不确定性量化不足等问题。如何实现兼顾结构细节保持与计算效率的云层动态表征，并提供可靠的预测置信度评估，成为气象与能源交叉领域的关键难题。

针对此问题，研究团队提出“三阶段”建模范式：首先通过全卷积网络将天空图像转化为二值云概率掩膜，解决原始RGB数据冗余问题；进而利用VQ-VAE将掩膜压缩为离散token序列，在保留云团拓扑结构的同时降低建模维度；最终采用GPT架构的Transformer对token序列进行自回归预测，通过多步采样生成未来云分布的概率集合。该框架首次将离散表征学习引入云动态建模，既突破了连续空间建模的泛化瓶颈，又通过概率采样天然支持不确定性量化。

研究依托CASCAR地面天空观测数据集，覆盖152个不同天气条件的时序序列，共计103,304张800×600像素图像。模型训练采用滑动窗口构建输入-目标帧对（如4帧历史+1帧预测），通过二进制交叉熵（公式2）、VQ-VAE重建损失与自回归交叉熵（公式3）分阶段优化。实验表明，单步预测IoU达0.872，递归预测至第5帧仍保持0.812的结构相似性，且预测不确定性与误差显著正相关——证明模型不仅能精准捕捉云层位移，其概率输出更能有效标识预测可靠性。

关键技术方法

研究采用三阶段递进式技术路线：（1）基于U-Net的云分割网络，以二元交叉熵损失从天空图像生成概率掩膜；（2）VQ-VAE编码器-解码器架构，将256×256掩膜压缩为64维离散潜在向量，配合指数滑动平均更新码书（size=1024）；（3）因果Transformer模型，以6层512维多头注意力机制自回归预测token序列，通过教师强制策略优化参数。

4.1 阶段一：云掩膜分割

全卷积网络将天空图像映射为单通道云存在概率图，通过逐像素二元交叉熵损失（公式2）优化。其中y_i∈{0,1}为真实标签，p?_i为预测概率，Adam优化器（学习率10^-3）确保稳定收敛，为后续阶段提供高质量二值输入。

4.2 阶段二：VQ-VAE离散表征

模型将掩膜序列编码为潜在嵌入，通过最近邻码书映射得到离散token。训练目标结合L1重建损失与承诺损失，码书经EMA更新避免塌缩。隐层宽度128、潜在维度64平衡了256×256输入的表示能力与计算成本，β=0.25的承诺权重保障梯度稳定性。

4.3 阶段三：自回归时序预测

冻结VQ-VAE权重后，Transformer将历史与未来帧token拼接为长度L=(T+K)·S的序列（T=4历史帧，K=1预测帧，S为每帧token数）。通过因果注意力掩膜约束信息流，以自回归交叉熵损失（公式3）最大化下一token似然，实现未来云分布的序列生成。

5.3 评估指标

综合IoU（交并比，公式4）、F1分数（公式5）、像素精度（公式6）衡量分割质量；MAE（平均绝对误差，公式7）、MSE（均方误差，公式8）量化像素偏差；SSIM（结构相似性指数）评估结构保真度，全面覆盖分类精度与感知质量。

研究结论与意义

该工作创新性地将离散表征引入云动态预测，解决了连续空间建模的复杂性与不确定性量化难题。实验验证了框架在短期预测中的高准确性（IoU>0.87）与递归滚动的稳定性，其概率采样能力为光伏功率波动预警提供了可解释的不确定性度量。相较于传统光流法或连续VAE模型，该方法兼具结构保持能力与计算效率，为智能气象观测与可再生能源调度提供了可扩展的深度学习解决方案。