一种基于李雅普诺夫（Lyapunov）原理的客户端选择方法，用于处理联邦学习中由系统引起的异质性问题

《Knowledge-Based Systems》：A Lyapunov-based client selection approach to handle system-induced heterogeneity in federated learning

　　

田仁|郝张|陈健|廖伟林|程思瑶|刘杰

摘要

随着智能设备和智能应用的普及，人们对数据隐私保护的关注日益增加。为了在利用用户数据训练机器学习模型时更好地保护用户的隐私，一种称为联邦学习（FL）的有前景的范式应运而生，该范式允许在不将本地数据上传到公共服务器的情况下进行模型训练。然而，在联邦学习中，由于不同客户端的设备能力和网络条件可能存在本质上的异质性，从而产生了“落后者”问题，导致模型性能不佳和系统效率低下。大多数现有方法要么只关注优化训练时间，要么仅仅考虑提高模型准确性，但它们未能以协调的方式同时解决这两个方面。在本文中，我们提出了一个优化问题，以同时考虑延迟和客户端对模型训练的贡献，并满足公平性和能耗约束。为了解决这个问题，我们提出了一种基于李雅普诺夫优化的算法，并设计了一种新颖的系统异质性和个体声誉感知客户端选择（SHIR-CS）算法。具体来说，我们分别提出了一种基于历史时间衰减的方法和一种基于声誉的方法来有效评估客户的延迟和贡献。然后，我们利用李雅普诺夫框架将问题转化为漂移加惩罚的形式，并设计了一种在线算法。在三个知名数据集上的广泛实验表明，与现有的最佳方法相比，该算法在学习性能和训练效率之间实现了有效的平衡。