用于基于无人机的地理空间监测中实时空中视频事件识别的分割联邦学习

《IEEE Transactions on Geoscience and Remote Sensing》：Split Federated Learning for Real-Time Aerial Video Event Recognition in UAV-Based Geospatial Monitoring

实时事件识别在无人机监测中的应用需解决时空异质性和计算资源限制。本文提出分式联邦学习框架，通过边缘轻量级模型提取时空特征与中心服务器协同优化，结合动态视频分块和自适应池化降低通信开销，实验表明显著提升分类精度、通信效率和扩展性。

　　

摘要：

在基于无人机的监测系统中，事件识别对于地理空间分析、环境监控和灾害响应至关重要。然而，基于联邦学习（FL）的实时事件识别方法面临诸多挑战，包括时空异质性、计算资源受限以及分布式无人机网络中的通信限制。尽管联邦学习能够实现去中心化的机器学习并提高数据隐私性，但其应用于基于无人机的遥感（RS）系统中的时间事件识别时，仍需解决数据异质性问题并保持分布式节点间的时空一致性。为应对这些挑战，我们提出了一种专为无人机辅助地理空间监测中的事件识别设计的分割联邦学习（SFL）框架。该框架将计算任务分配给基于无人机的边缘客户端和中央服务器，从而优化了设备端的效率和全局模型性能。在客户端层面，轻量级的卷积模型从无人机拍摄的视频序列中提取时空特征，降低了计算复杂性和传输开销。提取的特征被传输到中央服务器，在那里学习更高阶的时间依赖关系，以实现稳健的事件分类。为了增强在动态环境中的适应性，我们整合了动态视频分块、自适应时间池化和不依赖于数据模态的特征聚合技术，确保能够高效处理变长序列的同时最小化带宽需求。在标准基于无人机的地理空间数据集上的实验评估表明，所提出的SFL框架在分类准确性、通信效率和可扩展性方面显著优于传统的FL方法。这项工作为基于无人机的地理空间监测中的实时时间事件识别提供了一种可扩展、保护隐私且计算效率高的解决方案...

显示更多

引言

时间事件识别在基于无人机的地理空间监测中发挥着重要作用，其应用范围涵盖环境监控、灾害响应、基础设施检查以及异常检测[1]、[2]。这类事件的常见例子包括野火爆发、交通拥堵、非法砍伐森林、洪水事件、山体滑坡、武装冲突区域以及地震后的损害评估。这些事件通常表现出复杂的时空动态特性，需要准确、实时的空中视频解码。无人机提供了捕捉这些动态场景的独特视角和移动性；然而，实时识别这些多样且不可预测的事件在计算和通信方面存在诸多挑战，尤其是在资源受限的无人机部署环境中。无人机拍摄的空中视频为这些应用提供了关键信息，但也带来了时空异质性、场景动态变化、遮挡以及高带宽数据传输需求等问题。传统的集中式深度学习方法依赖于使用大规模、聚合的空中视频数据集进行模型训练，这不仅引发了隐私问题，还带来了巨大的通信和存储开销，使得这些方法在资源受限的环境中难以实现实时应用。

<按钮>登录以继续阅读