MS-SwinNet：地震后建筑物损伤分割中RGB图像与多光谱图像的早期融合技术

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：MS-SwinNet: Early Fusion of RGB and Multispectral Imagery for Post-Earthquake Building Damage Segmentation

　　

摘要：

快速准确地绘制地震对建筑物造成的损害对于应急响应和资源分配至关重要。然而，地震后的城市场景通常包含碎片化的结构、严重的类别不平衡以及异质性的背景，这使得受损建筑物难以与裸露的土壤、损坏的道路和其他令人困惑的物体区分开来。本研究提出了MS-SwinNet，这是一个基于移位窗口变换器的多源语义分割网络，它结合使用三波段RGB图像和八波段多光谱图像来进行地震后建筑物损害绘图。该方法采用直接的通道级融合，从而从输入阶段就开始同时学习空间细节和光谱信息。评估是在2023年土耳其Kahramanmara?地震序列之后获取的图像上进行的，数据规模为中小型，保留了107个地理单元，并且在模型开发子集之间进行了严格的地理隔离。实验表明，在当前的数据规模下，直接早期融合比测试中的双重分支设计更有效。与仅使用RGB图像的基线方法相比，所提出的方法将受损建筑物的召回率从55.21%提高到64.72%，IoU从47.91%提高到52.32%，F1分数从64.78%提高到68.70%。额外的波段去除实验表明，可见光多光谱子集提供了最显著的数值增益，而红边和近红外扩展进一步增强了结构碎片的光谱特征。这些结果表明，基于多源变换器的分割方法为灾后建筑物损害绘图提供了一种实用的高召回率途径。