AFcl：利用边缘设备实现异步联邦持续学习

《ADVANCED ENGINEERING INFORMATICS》：AFcl: Asynchronous federated continual learning with mobile devices across edges

本文提出一种跨边缘异步联邦持续学习算法，通过多头发散注意力机制保留全局知识并减少冗余学习，设计异步聚合策略降低通信开销，实验验证其有效降低能耗并维持模型精度。

　　

李银龙|程思尧|张浩|刘杰|陈志勇

哈尔滨工业大学计算学院，哈尔滨工业大学智能农业技术与系统国家重点实验室，哈尔滨工业大学-中国移动5G应用创新联合研究院，中国黑龙江省哈尔滨市150001

摘要

当移动设备进入新环境时，联邦学习要求它们重新学习，这会导致显著的能源消耗。现有的持续联邦学习方法并未有效节省能源。为了提高联邦持续学习的效率并降低能源消耗，我们提出了一种跨边缘异步联邦持续学习算法。首先，我们设计了一种基于多头注意力机制的持续学习方法，以保留来自本地模型的泛化知识并减少不必要的重新学习。其次，我们提出了一种异步联邦学习方案，以降低移动设备在边缘联邦学习系统中的开销。该方案引入了一个陈旧性因子来反映本地模型的陈旧程度。我们的聚合方案考虑了陈旧性因子，允许部分设备参与模型更新而无需等待所有客户端，从而减少了因等待造成的延迟。参与贡献的设备被分配了不同的贡献权重，我们为这些权重设计了一种基于动量的自适应更新方法。仿真实验表明，我们的方案可以显著降低通信成本，保持模型准确性，并提高联邦学习系统的整体效率。

引言

移动边缘计算（MEC）[1]，[2]作为一种技术，随着移动设备的广泛使用而日益被采用。它用于解决物联网（IoT）设备的计算能力有限的问题，特别是对于需要高计算能力的应用。从移动设备到远程云服务器的数据传输会导致通信延迟增加。然而，MEC通过将计算资源部署在靠近IoT设备的地方（如基站（BS）来有效减少响应时间。尽管如此，集中式训练或计算卸载仍然可能产生较高的通信成本[3]，并且涉及敏感数据的传输[4]。为了保护用户隐私和防止数据泄露，引入联邦学习已成为一个关键的解决方案。

在联邦学习框架下，每个参与设备使用各自的本地数据集训练模型，并仅将模型参数上传到服务器，从而避免了原始数据的集中处理。虽然已有研究将联邦学习技术应用于MEC系统的各个方面，例如指导网络资源的合理分配、优化网络路由策略或降低学习任务的通信成本，但关于如何利用MEC卸载技术来减轻联邦学习中的离散效应的研究相对较少，这尚未得到足够的关注。

在智能环境中，多个独立的移动边缘网络共存，每个网络由一个边缘服务器和同一区域内的IoT设备组成，形成一个边缘联邦学习（FL）系统。这些边缘服务器可能属于不同的组织，使得云服务器难以连接所有这些边缘服务器以形成一个统一且强大的联邦学习系统。此外，即使采用了分层联邦学习架构[5]，仍可能引起通信延迟，这对于对延迟高度敏感的应用（如自动驾驶和可穿戴健康监测）来说是不可接受的。

当车辆穿过不同的基站覆盖区域时，由于系统限制（如功率和网络），动态设备在进入边缘区域时并不总是参与当前的联邦学习任务。如果每个动态设备为每个FL任务保留一份模型副本，所需的存储空间将随着学习任务数量的增加而增加。对于存储容量有限的轻量级IoT设备（如运动手表和其他可穿戴设备），这种存储需求是不可接受的。此外，即使在执行类似任务（如街道场景识别和自动驾驶）时，每个基站的模型也可能有所不同。

然而，简单地重新学习或直接使用现有模型是不切实际的。由于边缘网络之间的任务差异，过去积累的知识可能会被忽略[6]。IoT设备在参与各种联邦学习系统的训练过程中，不仅需要持续投入系统成本，还面临忘记先前知识的风险。这种做法既不经济，也不利于保持它们参与FL过程的积极性。显然，这种知识的遗忘对FL的发展是有害的。研究如何使设备在适应新环境的同时保留旧知识并参与联邦学习是一个亟待解决的问题。

本文的主要贡献总结如下。

(1) 我们提出了这样一个问题：当边缘移动设备跨边缘进入不同环境时，需要学习新知识。在这种情况下，为了帮助移动设备在新联邦学习系统中学习新知识，同时防止忘记之前学到的知识，我们尝试使用联邦持续学习来更新每个设备的本地模型。

(2) 在联邦持续学习过程中，我们采用注意力机制来分析和保留本地和边缘模型中的重要知识。通过在边缘和本地模型上使用多头自注意力机制，我们捕获了模型中的有用信息，从而实现了本地模型的个性化以及边缘模型的基本知识的获取。

(3) 为了减少不必要的能源消耗，我们设计了一种测量模型陈旧性的方法以及一种异步联邦学习算法来优化整个联邦持续学习过程。这不仅减少了无用信息的干扰，还节约了移动设备的能源消耗。

本文的其余部分组织如下：第2节介绍了联邦边缘学习的研究背景并回顾了相关工作。第3节定义了边缘联邦学习系统和优化目标。第4节提出了跨边缘的移动设备的异步联邦持续学习（AFcl）方法。第5节展示了AFcl的性能评估实验并分析了实验结果。我们在第6节总结了本文。

相关工作

相关工作

随着物联网和移动设备的普及，MEC[7]已成为一种标准化技术。MEC能够提供实时服务，具有本地计算能力、低延迟和高带宽通信。联邦学习[8]，[9]，[10]是一个极其可靠的隐私保护分布式学习框架。FL中客户端的隐私保护主要依赖于客户端上传本地模型而不是本地数据。边缘服务器聚合

系统模型

边缘联邦学习可以很好地满足物联网设备（如自动驾驶车辆和可穿戴设备）的实时需求。然而，在边缘联邦学习过程中，设备不可避免地会从一个边缘联邦系统过渡到另一个边缘联邦系统。这对移动设备的边缘联邦学习提出了挑战。这些挑战包括原始模型是否可以在新环境中继续使用，以及如何学习新知识以节省

方法

在本节中，我们主要详细介绍了我们的方法设计。首先，我们介绍了如何在持续联邦过程中保持获得的全局模型的泛化能力，并逐渐适应新场景。此外，我们提出了一种异步联邦持续学习策略，以降低整个联邦持续学习过程的能源消耗。

实验结果

在本节中，我们将介绍使用的数据集、比较基准以及我们对结果的分析。数值模拟展示了所提算法的性能。我们使用基于TensorFlow的实验进行了模拟，计算资源为Intel Core i5-1135G7 CPU @2.40 GHz和16.0 GB RAM。

结论

在本文中，我们提出了一种跨边缘异步联邦持续学习算法，旨在提高全局模型的更新效率和性能。具体来说，我们设计了一种基于多头注意力机制的持续联邦学习方法。该机制用于保留本地模型获得的泛化知识，从而最小化后续的冗余学习工作。此外，我们还开发了一种异步联邦学习方案

CRediT作者贡献声明

李银龙：撰写 – 审稿与编辑，撰写 – 原始草稿。程思尧：形式分析。张浩：形式分析。刘杰：形式分析，概念化。陈志勇：形式分析，概念化。

利益冲突声明

作者声明以下财务利益/个人关系可能被视为潜在的利益冲突：程思尧报告称获得了财务支持。

致谢

本工作部分得到了农业农村部、国家重点研发计划（项目编号：2026YFE0201500）、黑龙江省重点研发计划（项目编号：JD2023GJ01、2022ZX01A22）、国家自然科学基金（项目编号：61972114、62106061）以及现代农业产业技术协同创新与推广系统（针对西瓜和甜瓜）的支持