受热物理原理启发的跨模态对齐方法，用于基于AAV的RGB-T显著对象检测

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Thermal-Physics Inspired Cross-Modal Alignment for AAV-Based RGB-T Salient Object Detection

　　

摘要：

RGB–T显著目标检测（SOD）技术用于自主飞行器（AAV）的遥感应用，旨在结合可见光和热红外图像，在低光照、遮挡以及动态背景条件下精确分割出复杂城市和生态场景中的显著目标。然而，针对AAV的RGB–T SOD技术仍面临三个问题：(i) 早期融合过程容易受到热噪声和热量泄漏的影响，从而削弱了目标的显著性；(ii) 跨模态空间不对齐阻碍了细节对应关系的建立；(iii) 粗略的热边界会模糊局部结构，干扰后续的推理过程。针对这些问题，我们提出了TPCA-Net框架，该框架将基于物理原理的热信号先验知识融入跨模态融合中，以稳定全局上下文和局部细节的学习过程。具体而言，我们设计了多维热特征增强（MTFE）机制，用于自适应地增强热力学特征的同时抑制背景噪声的干扰；同时引入了热图变化感知动态窗口（HVADW）技术，通过伪时间动态窗口区分噪声与结构变化；此外，我们还提出了双向对齐与融合结合边缘增强解码（BAF-ED）方法，通过双向特征对齐和边缘感知解码来恢复目标的清晰边界。大量实验表明，该技术在遥感领域取得了领先性能，并显著提升了边界检测的精度。代码可访问地址：https://github.com/PC1-99/TPCA-Net.git。