GRLT：通过重新思考从图神经网络（GNNs）到多层感知器（MLPs）的知识提取方法，从教师那里学到更多

《Neural Networks》：GRLT: learning more from teachers by rethinking knowledge distillation from GNNs to MLPs

　　

姚刚庚|洪宇|王国印|谢永芳

摘要

将图神经网络（GNN）的图表示和知识蒸馏到多层感知器（MLP）中（即GNN-to-MLP，简称G2M）已被证明可以有效解决GNN的推理延迟问题。然而，现有方法存在两个显著问题：（1）这些方法中的图表示模块忽略了节点的重要性，导致学生模型（即通过G2M训练得到的MLP）无法专注于关键节点；（2）它们忽略了G2M是一种跨架构的知识蒸馏过程，存在教师模型和学生模型之间的差距，从而导致知识迁移能力较低。为了解决这些问题，本文提出了一种名为混合图表示与注意力空间转换（Hybrid Graph Representation and Latent Space Translation，简称GRLT）的新方法。GRLT能够捕获更丰富的图信息，从而提高知识迁移能力，进而提升学生模型的性能。具体而言，我们将图的先验知识融入混合图表示模块中，以获得图的结构嵌入和节点的聚合特征。此外，我们引入了一个潜在空间转换特征蒸馏模块，该模块通过首先利用广义Procrustes分析（Generalized Procrustes Analysis，简称GPA）对教师模型和学生模型之间的共识表示进行对齐，然后通过余弦相似度进行特征蒸馏，将传统的特征图蒸馏过程转化为两阶段流程。这种设计减少了模型之间的差距，提高了知识迁移能力。GRLT已在七个数据集上进行了实验验证，结果表明，与最先进的方法（NOSMOG）、传统的GNN和MLP相比，使用GRLT训练得到的学生模型在性能上分别提升了1.72%、3.72%和22.41%。