《Entropy》:Dynamics, Noise, Delays and the Gibbs and Conditional Entropy
Michael C. Mackey and
Marta Tyran-Kamińska
编辑推荐:
研究人员提出了一种基于无条件扩散模型(Unconditional Diffusion Model, UDM)的多变量时间序列异常检测方法,以解决现有条件扩散模型因直接依赖观测数据而导致的异常污染问题。该方法引入光栅掩码策略(Grating Masking St
研究人员提出了一种基于无条件扩散模型(Unconditional Diffusion Model, UDM)的多变量时间序列异常检测方法,以解决现有条件扩散模型因直接依赖观测数据而导致的异常污染问题。该方法引入光栅掩码策略(Grating Masking Strategy),将输入序列划分为互补的掩码视图,迫使模型在不直接接触原始数据的情况下推断缺失值,从而避免异常模式被纳入训练分布。研究人员进一步将扩散模型嵌入时频对比学习框架,通过联合优化时间域与频率域表征的差异性,增强对异常模式的敏感性。实验结果表明,该方法在多个基准数据集上实现了优于现有方法的检测性能,同时有效保留了正常数据的时序依赖性。
研究背景与意义
多变量时间序列异常检测在工业监控、金融风控等领域具有重要应用价值。现有基于扩散模型的方法多采用条件扩散框架(Conditional Diffusion Model, CDM),其训练过程直接依赖观测数据作为条件输入。然而,当训练集中存在未标注的异常点时,模型会将异常模式误判为正常分布的一部分,导致检测性能下降。此外,传统方法往往独立处理时间域与频率域特征,难以捕捉跨域的异常关联性。为此,研究人员提出一种无监督的无条件扩散模型,结合光栅掩码与时频对比学习机制,旨在提升异常检测的鲁棒性与准确性。该研究成果发表于《Entropy》期刊,聚焦于解决异常污染与跨域特征融合两大核心问题。
关键技术方法
研究人员采用光栅掩码策略对输入序列进行分区处理,将时间序列划分为大小为w的连续块,并通过互补掩码矩阵M0与M1交替遮蔽与保留不同时间步。扩散模型采用无条件的DDPM(Denoising Diffusion Probabilistic Models)架构,以噪声预测为目标函数,通过最小化噪声估计误差优化参数。时频对比学习模块则通过Time Transformer提取时间特征,并结合傅里叶变换获得的频率特征,计算正负样本对的对比损失。实验数据来源于公开的UCR异常检测数据集与工业设备传感器数据集,涵盖电力消耗、服务器负载等多维时序数据。
研究结果
3.3.1 无条件扩散模型设计
研究人员构建了基于光栅掩码的无条件扩散模型,其前向过程逐步向数据中添加高斯噪声,反向过程通过神经网络εθ预测噪声并重建原始序列。与条件扩散模型不同,该模型不直接接收观测值作为输入,而是通过掩码矩阵控制信息可见性,从而避免异常值泄露。
3.3.2 时频对比学习框架
研究人员将扩散模型的输出作为时间表征,与频率域表征进行跨域对比。具体而言,时间表征由扩散模型的中间层特征提取得到,频率表征通过对序列进行短时傅里叶变换获得。对比损失函数鼓励同一序列的时频表征趋近,而异源序列的表征远离,从而增强模型对异常模式的区分能力。
3.3.3 理论验证
研究人员从异常污染避免与分布边界学习两个角度论证了无条件设计的优势。理论分析表明,条件扩散模型的目标函数pθ(X0|Xcond)会迫使模型拟合包含异常的条件分布,而无条件模型通过学习掩码视图间的隐含相关性,能够更准确地刻画正常数据的边界。
讨论与结论
研究人员指出,光栅掩码策略通过强制模型推断缺失片段,有效抑制了异常信息的传播。时频对比学习则进一步放大了异常样本在跨域表征中的不一致性。实验证明,该方法在保持正常数据重建精度的同时,显著提升了异常检测的召回率与F1分数。研究结论强调,无条件扩散模型与跨域对比学习的结合为时间序列异常检测提供了新的范式,尤其适用于训练数据存在潜在异常的场景。