编辑推荐:
研究人员研究了图神经网络神经架构搜索(Neural Architecture Search for Graph Neural Networks, NAS-GNNs)的隐私风险及相应防御机制。NAS-GNNs可自动发现特定任务下性能媲美甚至优于手工设计GNN(M
研究人员研究了图神经网络神经架构搜索(Neural Architecture Search for Graph Neural Networks, NAS-GNNs)的隐私风险及相应防御机制。NAS-GNNs可自动发现特定任务下性能媲美甚至优于手工设计GNN(Manual-GNNs)的架构,但现有研究对其关联隐私风险及防御机制关注有限。本文从搜索结果(search-result)和搜索过程(search-process)两个层面系统研究NAS-GNNs的隐私风险并提出防御机制。针对搜索结果,研究人员将三种原本针对Manual-GNNs的隐私攻击迁移至NAS-GNNs,研究面向搜索结果的隐私推断攻击(Search-Result-Oriented Privacy Inference Attack),包括模型窃取(Model Stealing)、链接窃取(Link Stealing)和成员推断(Membership Inference)攻击。实验表明,尽管NAS-GNNs通常比Manual-GNNs表现出更强的隐私鲁棒性,但仍面临不可忽视的隐私风险。针对搜索过程,研究人员提出一种面向搜索轨迹的架构推断攻击(Search-Trajectory-Oriented Architecture Inference Attack),利用候选架构—验证集性能(candidate architecture–validation performance)对来推断高性能架构。实验证明该攻击可成功推断有潜力的候选架构。为缓解上述风险,研究人员针对面向搜索结果的隐私推断攻击设计了一种细粒度防御机制(Fine-Grained Defense Mechanism),并辅以算子偏好导向防御机制(Operator-Preference-Oriented Defense Mechanism);实验验证这些防御可在较大程度保留任务性能的同时降低攻击效果。此外,研究人员提出验证性能混淆防御机制(Validation-Performance-Obfuscation Defense Mechanism)以防御搜索过程中的架构推断攻击,实验表明其可降低攻击者推断高性能架构的能力。总体而言,本研究系统揭示了NAS-GNNs中的隐私风险,并为隐私保护提供了新思路。
《On the privacy risks of graph neural architecture search》论文解读
本文由Zhixiu Ma、Enyuan Zhou、Yang Xiao、Jie Yin、Qingqi Pei(西安电子科技大学综合业务网理论及关键技术国家重点实验室,陕西省区块链与安全计算重点实验室)撰写,发表于《Neurocomputing》。
一、研究背景与动机
图神经网络(Graph Neural Network, GNN)在节点分类、链路预测、图分类及生物信息学、推荐系统、欺诈检测等领域取得显著成功,但其架构设计依赖专家经验与大量计算资源。图神经网络架构搜索(Graph Neural Architecture Search, NAS-GNNs)可自动从预定义搜索空间中选出最优GNN架构,性能可匹敌或超越手工设计GNN(Manual-GNNs)。然而,现有NAS-GNNs研究集中于搜索空间优化、搜索效率提升及分布偏移下的泛化能力,对其可能引入的新攻击面及隐私风险缺乏系统探讨。NAS-GNNs在搜索过程中可能泄露候选架构与验证性能关系,最终输出模型亦可能遭受针对Manual-GNNs的传统隐私攻击。鉴于NAS-GNNs已在行为分析、轨迹建模、网络安全与生物医学中实际应用,系统评估其隐私威胁具有重要理论与现实意义。因此,研究人员首次从搜索结果层与搜索过程层两个维度系统分析NAS-GNNs面临的隐私风险,并提出对应防御机制。
二、主要关键技术方法
研究人员在6个基准图数据集(如CiteSeer、Amazon Photo、ACM等)上对8种代表性NAS-GNNs与Manual-GNNs进行系统评估。针对搜索结果层,将Manual-GNNs已有的基于影子模型(Shadow-Model-Based)及基于置信度(Confidence-Based)的模型窃取、链接窃取、成员推断攻击迁移至NAS-GNNs搜索所得模型,称其为面向搜索结果的隐私推断攻击(Search-Result-Oriented Privacy Inference Attack)。针对搜索过程层,提出面向搜索轨迹的架构推断攻击(Search-Trajectory-Oriented Architecture Inference Attack),利用搜索过程中暴露的候选架构—验证性能(candidate architecture–validation performance)对训练替代模型推断高性能架构。防御方面,将输入图扰动(Input Graph Perturbation)与输出扰动(Output Perturbation)等Manual-GNNs通用防御迁移至NAS-GNNs,进一步设计细粒度防御机制(Fine-Grained Defense Mechanism)针对三类攻击差异化处理(如仅输出Top-1后验概率),以及算子偏好导向防御机制(Operator-Preference-Oriented Defense Mechanism)在搜索时优先选择隐私保护性强的算子;对架构推断攻击提出验证性能混淆防御机制(Validation-Performance-Obfuscation Defense Mechanism),向验证性能中添加可控噪声以弱化架构—性能关联。
三、研究结果
Privacy attack evaluation(隐私攻击评估)
研究人员对搜索结果导向的三类隐私推断攻击进行实验,发现NAS-GNNs相对Manual-GNNs具有更强整体鲁棒性,例如Amazon Photo数据集上影子模型链接窃取攻击对NAS-GNNs的平均精度、召回率、AUC分别为84.98%、91.39%、90.69%,低于Manual-GNNs的87.71%、93.81%、94.50%,但NAS-GNNs仍显著易受攻击。对搜索轨迹导向的架构推断攻击,实验显示攻击者可利用候选架构—验证性能对成功推断高性能架构,如在CiteSeer数据集上对GraphNAS推断架构性能比原搜索架构高出1.58%,证实搜索过程存在新型隐私泄露风险。
Privacy defense mechanism(隐私防御机制)
基于Manual-GNNs的输入图扰动与输出扰动可直接用于NAS-GNNs防御搜索结果导向攻击。在此基础上,细粒度防御机制针对不同攻击设置差异化的输出限制策略;算子偏好导向防御机制在架构搜索阶段偏向选取具更强隐私保护能力的算子,与细粒度防御互补。对搜索轨迹导向攻击,验证性能混淆防御机制通过向返回的验证性能注入噪声削弱候选架构与性能间映射关系。
Defense mechanism evaluation(防御机制评估)
对搜索结果导向攻击,算子偏好导向防御机制单独可将ACM数据集链接窃取攻击性能从86.68%降至84.51%;联合细粒度防御(如仅释放Top-1后验)可进一步降至78.79%,且任务性能几乎无损失。对搜索轨迹导向攻击,验证性能混淆防御使SANG在ACM数据集的高性能架构推断准确率从94.91%降至93.47%,证明其可削弱架构泄露风险。
四、讨论与结论总结
研究人员指出,虽然NAS-GNNs较Manual-GNNs具一定隐私鲁棒性优势,但既不免疫传统隐私攻击,又因搜索轨迹暴露引入新型架构推断威胁。所提细粒度防御与算子偏好导向防御可有效平衡隐私与效用;验证性能混淆可从过程层面抑制架构信息泄露。此项工作首次系统揭示NAS-GNNs在搜索结果与搜索过程两层面的隐私风险,为后续设计具隐私感知的NAS-GNNs框架奠定理论与实验基础。
Conclusion(结论部分译文):
本研究从搜索结果层和搜索过程层系统探讨了NAS-GNNs的隐私风险。在搜索结果层,研究人员研究了多种针对搜索所得模型的隐私攻击,包括模型窃取、链接窃取及成员推断攻击。实验结果验证了NAS-GNNs在这些攻击下面临隐私泄露脆弱性,表明经神经架构搜索获得的模型并不天然保障隐私。在搜索过程层,研究人员提出了一种面向搜索轨迹的架构推断攻击,并利用候选架构—验证性能对推断高性能GNN架构,证实搜索过程存在额外隐私风险。此外,研究人员针对两类攻击分别提出了细粒度及算子偏好导向防御机制和验证性能混淆防御机制,实验验证其在降低攻击效能的同时能较好地维持任务性能。该研究为理解NAS-GNNs隐私风险及发展相应隐私保护技术提供了系统性依据。