基于无人机遥感的LLM增强型多模态感知数据融合与级联增强技术在作物生长监测中的应用

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：LLM-Enhanced Multi-Modal Perception Data Fusion and Cascaded Augmentation for Crop Growth Monitoring Based on UAV Remote Sensing

　　

摘要：

随着精准农业中对作物生长进行高精度监测的需求不断增加，多模态遥感数据的异质性以及高质量标注样本的稀缺性已成为阻碍相关技术实际应用的关键瓶颈。为了解决这一问题，本文提出了一种基于大语言模型（LLM）的多模态数据融合与双空间级联增强技术。首先，我们构建了TUFusion-GM网络，该网络通过并行混合编码和复合注意力机制实现了自适应特征加权，并引入了LLM语义引导的扩散解码器以生成可控的高保真图像。其次，我们设计了SADA-CA算法，用于同时扩展样本空间和特征空间中的数据分布，以缓解类别不平衡问题。实验表明，该方法在所有性能指标上均显著优于主流基线方法，实现了62.88的峰值信噪比、91.9%的作物检测准确率以及27.8%的误报率。这项研究为在复杂农业环境中利用有限数据进行精准监测提供了一种高效的技术方法，对智能农业的发展具有重要意义。