一种基于大语言模型（LLM）的异常检测方法，用于识别多时相SAR数据中的射频干扰（RFI）

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：An LLM-Enhanced Anomaly Detection Method for Identifying RFI in Multi-temporal SAR Data

　　

摘要：

随着电磁环境复杂性的增加，合成孔径雷达（SAR）传感器经常受到射频干扰（RFI）的影响，这会在SAR图像中表现为失焦的、块状异常伪影。传统的智能检测方法依赖于大量的注释工作，但由于数据量庞大且受RFI污染的样本极为稀少，这种方法并不实用。为了解决这些问题，本文提出了一种基于大型语言模型（LLM）的无监督RFI检测框架，充分利用了LLM在多模态推理方面的强大能力。首先，为了引入语义指导，我们引入了一个基于双向长短期记忆（bidirectional long short-term memory）的文本编码模块。该模块将LLM生成的图像质量评估报告编码为高维特征向量，为异常检测提供语义约束。其次，引入了一种融合度量方法，将双极化快速查看图像合成为单通道图像，有效减少了输入数据量，同时保留了干扰特征。第三，对多时相合成图像序列应用时间滤波器，构建出干净的背景图像作为训练集。最后，提出了一种名为RFI-MADNet的多模态异常检测网络，该网络将文本嵌入集成到嵌套的自编码器-生成对抗网络架构中，并结合自注意力机制和精细的损失函数，以实现智能的RFI检测和定位。所提出的方法能够在不需要手动标注的情况下，在类别不平衡的真实世界SAR数据上实现稳健的检测效果。实验结果表明，与现有方法相比，该方法在RFI检测和定位性能上具有显著优势，平均曲线下面积指标提高了至少14%，平均交并比指标提高了超过1%。