平衡联邦多视图聚类的单轮通信

《Neurocomputing》：Balanced federated multi-view clustering with one-round communication

　　

联邦多视图聚类（FMVC）结合了保护隐私的联邦学习与多视图数据分析，使得无需集中数据即可进行协同聚类。近期已提出一系列可行的方法，使客户端与服务器之间的协作成为可能。尽管取得了这些进展，现有方法仍存在两个主要缺陷：由于客户端与服务器间的迭代交互导致的高通信开销，以及缺乏防止标签分布偏倚的机制。为解决这些问题，研究人员提出了一种新颖的平衡聚类方法用于FMVC，该方法仅需一轮通信。在此方法中，客户端和服务器通过一次上行传输——客户端向服务器发送本地伪标签向量，以及一次下行传输——服务器将最终共识标签广播回所有客户端，来完成FMVC任务。此设计大幅降低了通信开销。此外，研究人员从理论上证明，最小化标签矩阵的?_p-范数的p-次幂可确保平衡聚类，并据此引入标签平衡约束。理论分析和大量实验验证了所提算法的性能和效率。

本文提出了一种仅需单轮通信的平衡联邦多视图聚类方法（Balanced Federated Multi-View Clustering with One-Round Communication, BFMVC-OR），旨在解决联邦多视图聚类中的视图偏倚与高通信开销问题。

**研究背景与动机**
随着互联网传感器与智能设备的普及，多模态数据呈爆炸式增长，这对理解复杂的现实世界现象至关重要。多视图聚类（Multi-View Clustering, MVC）通过利用不同视图间的互补性与一致性，能够提升学习性能，并在聚类研究中取得了显著进展。然而，大多数现有MVC方法遵循集中式框架，需要聚合原始数据，这使其日益不适用于现代分布式计算环境。此外，对数据隐私日益增长的关注、严格隐私法规的颁布以及数据持有者之间的竞争关系，进一步限制了集中式数据收集实践。在此背景下，专注于隐私保护的联邦学习（Federated Learning, FL）为多视图聚类的新进展铺平了道路。

联邦多视图聚类（FMVC）使分布式数据持有者之间无需集中本地数据即可进行协同聚类。FMVC在应对数据隐私和视图异构性双重挑战方面展现出巨大潜力，已成为在联邦设置下利用多视图数据的一种有前景的方法，吸引了大量研究关注。

在典型的FMVC设置中，学习过程通过服务器与多个客户端之间的协作来达成聚类共识。每个客户端持有一组对象的一个独立视图，在本地计算其聚类统计量，并将它们发送给服务器。作为组织者和协调者，服务器通过预定义的融合机制整合客户端信息，以建立聚类统计量的全局共识。这些统计量随后返回给客户端，以指导其本地模型的后续更新。该过程迭代进行直至收敛，此时最终的全局共识统计量被用于获得最终的聚类结果。整个工作流程设计确保所有客户端数据保持本地，从而内在地解决了多视图模式发现与数据隐私之间的矛盾。

尽管该框架已有诸多专用方法奠定了理论与实践基础，但它们未能解决两个重要问题。首先，缺乏显式的标签平衡机制，这可能导致视图特定的偏倚在学习过程中传播，造成标签不平衡，并最终扭曲最终的聚类模型。其次，由于频繁的客户端-服务器交互，这些方法在管理通信开销方面效率低下。在达成最终共识之前，客户端必须参与多轮迭代更新，这不可避免地限制了它们在低带宽或不稳定网络环境，尤其是在处理大规模数据时的适用性。

为解决这些挑战，本文提出了一种新颖的平衡联邦多视图聚类单轮通信方法（BFMVC-OR）。该方法采用最小化?_p-范数作为客户端侧的平衡聚类策略，同时建模伪标签矩阵与原始特征空间结构之间的关系。该方法不仅解决了现有方法忽视的标签不平衡问题，还保留了原始特征空间的关键拓扑信息。更值得注意的是，在坚实理论基础的支持下，客户端仅需执行一次本地优化过程，无需与服务器进行迭代更新，仍能实现优异的联邦聚类性能。此外，服务器从标签校正矩阵构建三阶张量，并施加张量Schatten-q-范数约束，以低秩结构融合多视图数据。此设计显著增强了模型在异构场景下的鲁棒性和跨环境适应性。

**关键技术方法概括**
为开展本研究，研究人员主要采用了以下关键技术方法：（1）基于?_p-范数的客户端侧平衡聚类策略，并通过理论分析证明了最小化标签矩阵的?_p-范数的p-次幂可实现标签平衡。（2）设计了仅包含一次上行传输（客户端发送本地伪标签）和一次下行传输（服务器广播共识标签）的单轮通信框架，以大幅降低通信开销。（3）在服务器端构建三阶张量并施加Schatten-q-范数正则化，以实现多视图数据的低秩融合与鲁棒性增强。（4）使用私有集合交集（Private Set Intersection, PSI）技术对齐来自不同视图的样本。研究中使用的样本对齐技术为广泛采用的私有集合交集（PSI）技术。

**研究结果**
**平衡聚类理论**：研究人员从理论上证明，最小化伪标签矩阵Y的?_p-范数的p-次幂（即||Y||_p^p）能够实现平衡聚类。该结论为在联邦多视图任务中实施标签平衡约束提供了理论保证，有效缓解了因客户端本地数据分布不均衡导致的聚类偏倚问题。

**单轮通信框架**：所提出的BFMVC-OR方法实现了高效的单轮通信流程。客户端在接收到服务器广播的全局伪标签后，仅执行一次本地更新，生成更新的伪标签向量并上传至服务器；服务器利用接收到的所有客户端标签构建校正矩阵与三阶张量，并通过优化求解得到最终共识标签。此过程仅需一次完整的上行与下行通信，相比传统多轮迭代方法，通信效率得到显著提升。

**实验与分析**：通过在多个真实数据集上与现有先进的联邦多视图聚类方法进行对比实验，验证了所提方法在聚类准确性（如归一化互信息NMI、准确率ACC）和通信效率（以通信轮数衡量）方面的优越性。实验结果表明，BFMVC-OR在达成高精度聚类的同时，将通信轮数降至一轮，在通信开销与性能之间实现了优异平衡。此外，消融实验进一步证实了所提出的平衡约束与单轮通信机制的有效性。

**讨论与结论**
本文提出了一种仅需单轮通信的平衡联邦多视图聚类方法（BFMVC-OR），解决了联邦多视图聚类中的视图偏倚和高通信开销问题。通过最小化伪标签矩阵的?_p-范数，研究人员施加了一个有效的聚类平衡约束，该约束具有理论保证。此外，结合数据空间结构信息增强了伪标签矩阵的表示能力，并使客户端仅通过一次局部优化和一次通信就能生成具有区分性的标签向量。在服务器端，从标签校正矩阵构建的三阶张量以及施加的Schatten-q-范数正则化，在低秩约束下促进了多视图数据的有效融合，提升了模型的鲁棒性。大量理论分析和实验证明，与现有技术相比，所提方法在聚类精度和通信效率方面均达到了更优的性能。该方法为在资源受限或隐私敏感场景下进行高效的多视图数据协同分析提供了新的解决方案。