基于生成式数据增强的联邦多标签弱监督图神经网络及其应用研究

Generative Data Augmentation Based Federated Multi-Label Weakly Supervised Graph Neural Networks and Their Applications

摘要: 隐私敏感领域的图像分类问题面临诸多挑战，尤其设备磨损等因素会在多标签电力场景分类任务中引入标签噪声，而区域差异会导致不同区域的本地数据集上出现类别不平衡问题。尽管联邦学习(Federated Learning, FL)是一种有效的隐私保护解决方案，但很少有联邦学习框架专门针对多标签电力场景分类中的标签噪声和类别不平衡问题来研究有效的解决方案。在此背景下，本文提出了一种基于生成式数据增强的联邦多标签弱监督图神经网络(Federated Multi-label Graph Neural Network with Generative Data Augmentation for Noisy Electricity Image Classification, FedMGNN)，用于监督的标签信息包含噪声的电力图像分类。该网络在本地和全局模型构建过程中融入两方面的关键创新，旨在从本地模型和全局模型两方面协同解决标签噪声和类别不平衡问题。首先，设计了一种客户端的本地识别模型，将基于生成模型的数据增强算法与多标签对比学习框架相融合，从而同时应对两个关键挑战：(1) 通过合成代表性样本弥补少数类别的数据不足问题，从数据上缓解类别不平衡；(2) 利用本地模型和接收的全局模型构建对比学习框架，通过对比损失和样本筛选策略来过滤含噪声标签的样本，减轻标签噪声的影响。其次，设计了一种全局聚合策略，采用类别不平衡感知加权方法，将分布式本地模型整合为统一的多标签分类框架。最后，通过在不同标签噪声比例的联邦场景图像数据集上的实验验证了所提出的FedMGNN模型的有效性。

Abstract: The image classification problems in privacy-sensitive domains faces numerous challenges, particularly as factors like equipment wear and tear introduce label noise in multi-label electricity scene classification tasks, and regional differences lead to class imbalance in local datasets from different areas. While Federated Learning (FL) is an effective privacy-preserving solution, few FL frameworks specifically address the issues of label noise and class imbalance in multi-label electricity scene classification tasks. In this context, this paper proposes a Federated Multi-label Graph Neural Network with Generative Data Augmentation for Noisy Electricity Image Classification (FedMGNN), which is designed to handle noisy label information in supervised electricity image classification. The network integrates two key innovations in both local and global model construction to collaboratively address label noise and class imbalance from both the local and global model perspectives. First, we design a local recognition model for the client, combining data augmentation based on generative models with a multi-label contrastive learning framework. This approach addresses two key challenges simultaneously: (1) by synthesizing representative samples, it alleviates the data scarcity problem of minority classes, thus mitigating class imbalance; (2) by leveraging both the local model and the received global model to construct the contrastive learning framework, it filters noisy label samples through contrastive loss and sample selection criteria, thereby reducing the impact of label noise. Secondly, we propose a global aggregation strategy that uses a class imbalance-aware weighting method to integrate distributed local models into a unified multi-label classification framework. Finally, experiments on a federated scene image dataset with varying label noise ratios validate the effectiveness of the proposed FedMGNN model.

1. 引言

多标签电力场景的精准识别是现代智能电网发展智能监控的重要研究方向、也是提高故障诊断能力的关键技术。该技术在一些场景下面临着严格的数据隐私约束，因为电力运行的场景数据(包括变电站图像和图像中的传感器读数)通常包含敏感的基础设施信息。联邦学习(Federated Learning, FL)通过去中心化的模型训练框架提供了一种有效的解决方案，能够从地理上分散的数据存储中协同提取知识[1]。这种框架在维持严格数据隐私标准的同时，还能保证分类性能[2]。

尽管联邦学习在多个领域展现出广泛的适用性[2]，但其在电力场景识别中的应用面临其独有的背景问题。环境条件和电力设备配置的区域差异导致图像数据集具有异质性，其中多标签场景常出现类别不平衡现象：某些类别拥有充足的训练样本，而其他类别的数据则严重匮乏，这会降低模型在少数类上的性能，尤其是当这些类别的数据还受到标签噪声污染时。具体而言，源于设备老化(如传感器故障)、环境干扰(如天气影响)和人工标注不一致[3]-[5]的标签噪声，会显著降低FL分布式训练的学习效果。常用的联邦学习方法主要基于一个关键的假设，即客户端数据集的标注是完美的，但是这个假设在智能电网环境中通常难以成立。这暴露出一个关键的领域知识缺口：在类别不平衡的多标签学习环境中，缺乏专门的抗噪声的优化方法框架。标准的联邦学习方法(包括FedAvg)在模型聚合过程中会因标签噪声的传播而导致性能下降。在多标签任务中，固有的标签相关性会进一步放大噪声引发的误差，即使在FedProx等先进框架中，这一局限也依然存在[6]-[8]。此外，类别不平衡会通过分布扭曲严重加剧标签噪声的影响。这种双重影响对少数类的特征学习带来了较大的困难，限制了模型对这些关键数据区域的刻画能力。

为解决上述挑战，本文提出了一种基于生成式数据增强的联邦多标签弱监督图神经网络(Federated Multi-label Graph Neural Network with Generative Data Augmentation for Noisy Electricity Image Classifi-cation, FedMGNN)，用于监督的标签信息包含噪声的电力图像分类。FedMGNN的主要工作体现在两个关键方面：本地模型构建和全局模型构建。在本地模型构建方面，FedMGNN通过三项关键创新解决类别不平衡和噪声标签学习问题：1) 为增强多标签识别能力，FedMGNN将标签语义信息融入分类模型，构建了以标签相关性图嵌入为基础的卷积注意力神经网络作为多标签分类骨干网络(Backbone)；2) 通过构建了基于双模型(结合本地和全局骨干网络)的对比学习框架，保留高置信度(干净)图像样本作为可靠训练数据集，用于含噪标签学习；3) 基于构建的可靠训练数据集，采用Wasserstein生成对抗网络(Wasserstein Generative Adversarial Network, WGAN)生成特定场景的图像以弥补类别不平衡，并将这些合成样本纳入多标签分类骨干网络训练，缓解类别不平衡问题。在全局模型优化方面，FedMGNN实现了WGAN和多标签分类骨干网络的双重聚合：基于本地模型的类别不平衡特征计算类别加权系数，通过加权聚合增强抗标签噪声学习能力和不平衡数据的生成能力。最后，我们通过在联邦图像数据集上的实验验证了该模型在同时解决这些相关挑战方面的有效性。

本文的主要贡献如下：

1) FedMGNN设计了一种融合图增强的卷积注意力骨干网络，该网络结合标签相关性建模、用于噪声标签净化的双模型对比学习框架以及基于WGAN的类别再平衡技术，形成了一个集成的本地解决方案，可在联邦电力图像分类中实现标签噪声校正、缓解类不平衡。

2) 该框架设计了一种(分类器 + 生成器)双组件全局聚合机制，结合类别自适应加权，其中不平衡感知系数共同增强分布式节点的抗噪声特征学习和数据增强能力，旨在打破多标签联邦学习系统中的噪声–不平衡循环。

本文其余部分结构如下：第2节回顾相关工作，包括联邦学习和多标签学习的方法；第3节介绍所提出的FedMGNN模型；第4节详细说明实验设置，并通过实验验证FedMGNN的有效性；最后，第5节给出结论。

2. 相关工作

2.1. 传统的联邦学习框架

标准的联邦学习架构以FedAvg [1]为代表，其迭代过程包括本地训练、模型传输、服务器聚合和全局再分配，在异质数据环境中会出现明显的性能下降。主要表现为两种形式：(1) 标签分布偏移导致多数类偏见，这在临床影像领域尤为不利，因为不同机构的疾病患病率差异极大；(2) 领域偏移现象，即语义一致的标签伴随不同的特征分布，例如图像数据集的风格差异。研究界已开发出针对性的应对措施，包括FedHybrid [9]的梯度约束近端优化、SCAFFOLD [10]通过梯度差异变量实现的受控方差减少，以及FedDDC [11]的本地偏差量化期望最大化方法。多标签学习场景需要专门的解决方案，标签自适应特征建模[4] [11]、非线性相关性感知扭曲学习[12]和保留依赖关系的多维分类[13] [14]通过先进的关系建模架构，在缓解同时存在的标签偏移和领域偏移方面表现出特别的有效性。当代标签相关性学习的进展已形成两种主要方法框架：显式依赖建模和隐式语义扩散。文献[15]提出的超图神经网络架构通过模型训练过程中的动态权重调整，在捕捉高阶标签关系(如电力基础设施监控中“变压器故障”与后续“过热”之间的因果链)方面表现出显著效果。针对联邦学习约束，文献[16]的跨客户端标签嵌入同步技术在保持严格数据隐私协议的同时，实现了全局相关矩阵的协同构建，这一突破对电网图像分析等敏感应用特别有价值。最具创新性的是，文献[17]通过Transformer注意力机制将这些方法结合起来，同时促进本地标签交互分析和跨域依赖转移，共同在含噪多标签识别任务中实现了最先进的性能。

2.2. 噪声标签学习和生成模型研究

最近在含噪多标签校正方面的研究重点是解决实例级噪声和标签相关性建模问题。文献[18]提出了一种基于图的标签净化框架，将标签依赖构建为有向图，以纠正噪声标注同时保留语义关系。对于联邦学习场景，文献[19]引入了一种对比正则化方法，以净化样本为锚点对齐本地和全局模型，展现出对跨客户端标签噪声累积的鲁棒性，尤其在电力设备识别中表现突出。

自2014年Goodfellow等人提出生成对抗网络(Generative Adversarial Network, GAN)以来，其通过独特的对抗训练范式彻底改变了无监督学习。早期的GAN实现面临诸多挑战，包括训练不稳定性和模式崩溃(生成器只能生成有限种类的样本)。后续改进引入了架构创新(如Deep Convolutional Generative Adversarial Network, DCGAN)、替代损失函数和正则化技术。当代研究已将GAN的应用扩展到图像合成、风格迁移和数据增强等多个领域，同时解决了评估指标和伦理问题等持续存在的挑战。最近的进展整合了注意力机制、渐进式生长策略和多尺度判别器，以提高生成保真度。

3. 提出的FedMGNN模型

3.1. 联邦学习问题描述

本研究采用联邦学习，其中K个分布式客户端协同训练一个全局模型，同时保留原始数据在本地。每个客户端k ($k\in \left\{1,2,\cdots ,K\right\}$ )维护一个独有的本地数据集D_k，所有客户端数据的并集构成全局数据集$D=\left\{D_1,D_2,\cdots ,D_k\right\}$ 。学习目标聚焦于多标签分类，其中输入样本x与二进制标签向量$y=\left[y_1,y_2,\cdots ,y_C\right]$ 相关联，指示C个预定义类别中每个类别的存在(1)或不存在(0)。在FL框架中，客户端执行本地训练以预测这些多标签输出，而服务器聚合模型更新以综合去中心化知识，其过程为：

$W=\arg \underset{W}{\min }{\displaystyle {\sum }_{i=1}^{M^i}{\eta }_i}{L}_i\left(W\right)$ (1)

其中，Lᵢ是第i个本地模型的损失，${\eta }_i$ 是第i个客户端的权重。

本文研究了一种联邦学习下的客户端中心框架，每个参与者保留一个本地模型，同时定期与服务器分发的全局模型同步。

3.2. FedMGNN客户端模型细节

为解决前文所述的两个普遍存在的FL挑战，我们的方案融合了生成式数据增强与多标签对比学习。具体而言，生成式模型为少数类合成语义样本，重新平衡倾斜的本地数据分布。同时，对比学习模块双向运作：将每个客户端的表示与全局模型的知识对齐以抑制标签噪声。FedMGNN的模型结构如图1所示。

3.2.1. FedMGNN的多标签分类骨干网络构建

FedMGNN首先构建卷积注意力神经网络以提取图像特征。基于这些特征，其整合编码标签相关性的特征向量以及学习标签之间的关系。然后基于标签关联特征和图像特征进行分类。

在图像特征提取方面，FedMGNN中的计算包括一个基于卷积过程和注意力计算的主干框架。

$X_{feature}=Attention\left(CNN\left(X\right)\right)$ (2)

Figure 1. The structure of the proposed FedMGNN

图1. 所提FedMGNN模型图

FedMGNN通过构建客户端标签关联图来显式建模类别之间的语义关系，以解决联邦学习中的标签噪声问题。当检测到噪声标签时，系统通过图传播生成关联感知校正信号，利用问题标签节点与图空间中稳定参考节点之间的连接。该框架在一个可学习的嵌入系统$L=\left\{l_1,l_2,\cdots ,l_C\right\}$ 中，将每个C类标签表示为一个嵌入向量$l_c\in R^d$ (其中d表示嵌入维度)。为生成语义接地嵌入，我们将标签名称转换为文本提示，并通过CLIP的冻结文本编码器[20]进行处理，该编码器提供预训练的视觉–语言表示。得到的标签嵌入形成动态图中的节点，其中边权重通过连接节点之间的余弦相似度量化标签间关系，如公式(3)所示：

$edg{e}_{i,j}=\mathrm{Cosine}\left(l_i,l_j\right),edge=\underset{i,j\in Node}{Normed}\left(edg{e}_{i,j}\right)$ (3)

其中，Cosine()是嵌入之间的余弦相似度，Normed()是图中所有边的正则化函数，lᵢ是构建的标签嵌入。为捕获标签嵌入图中的标签关联动态，FedMGNN实现了一种专用的图注意力自编码器架构，直接处理标签图结构。编码器的核心创新在于其参数化注意力机制，系统地执行三项关键操作：(1) 通过可训练的相似性函数计算输入向量之间基于神经网络的相似性(如公式(4)所规定)；(2) 生成归一化注意力系数以量化关系强度；(3) 生成整合邻域信息的聚合注意力特征。这种集成框架通过基于注意力的特征提取过程自动学习和利用标签之间的复杂相互依赖关系，能够更准确地建模嵌入空间中的语义关系。

$Similarit{y}_{ij}=NN\left(\mathrm{Cosine}\left(A_{dj}\times W\times l_i,A_{dj}\times W\times l_j\right)\right)$ (4)

其中，A_dj是标签图的邻接矩阵，W是可学习权重，NN()是单层神经网络。注意力系数定义如公式(5)：

${\alpha }_{ij}=\mathrm{softmax}\left(Similarit{y}_{ij}\right)=\frac{\exp \left(Similarit{y}_{ij}\right)}{{\displaystyle {\sum }_j\exp \left(Similarit{y}_{ij}\right)}}$ (5)

其中，${\alpha }_{ij}$ 是注意力系数。因此，当前嵌入i的注意力特征可表示为公式(6)：

$h_i={\displaystyle {\sum }_j{\alpha }_{ij}\times U\times l_j}$ (6)

其中，U是可学习权重。利用公式(4)~(6)，图注意力神经网络将标签关联编码为嵌入特征。提取的特征随后转换为向量，并整合到提取的数据特征中作为H。然后通过拼接场景特征将这些特征整合到主干模型中形成分类器的输入，如公式(7)所示：

$Output=MLP\left(X_{feature},H\right)$ (7)

其中，X_feature表示公式(2)中的感知特征，H编码标签关联嵌入特征，Output是预测的对数几率(MLP表示多标签分类网络)。

3.2.2. 用于噪声多标签学习的对比学习框架

为解决噪声多标签学习的挑战，FedMGNN引入一种受神经网络固有训练动态启发的对比学习框架，其中模型自然倾向于先从具有稳定监督信号的高置信度(干净)标签样本中学习，再处理噪声模式。这种行为在多标签场景中尤为重要，因为标签噪声表现出异质不确定性，一些标签保持可靠，而其他标签则包含导致学习目标不一致的标注错误。观察到高置信度(干净)样本和噪声样本的收敛速度具有差异，干净的无噪声数据相比于含有噪声标签的数据在神经网络的迭代过程中更容易被拟合，也就是高置信度(干净)样本的拟合所需的训练周期更少[21]。利用这种差异性，我们的框架实现了双注意力网络的对比学习框架，采用伪孪生配置：每个客户端维护其本地模型参数，同时共享全局模型，本地模型和全局模型两个网络通过统一的对比损失函数进行同步更新。该系统利用不同模型在正确标签上始终一致但在错误分类上存在分歧的经验证据[21]，采用协同正则化来实现两个目标：(1) 通过指示预测共识的低测地距离(1-order Wasserstein Distance)识别可靠样本；(2) 通过对等网络正则化发现更平坦的损失最小值以增强泛化能力。这种双重机制在通过对比表示学习提高模型稳健性的同时，同步校正标签噪声。

$los{s}_{con}=Wasserstein\left[p_1\left|\right|p_2\right]$ (8)

其中，p₁和p₂是本地模型和接收的全局模型的预测。基于训练损失最小的样本通常对应于正确标注数据的公认小损失原则，我们的抗标签噪声框架利用全局模型从跨客户端知识聚合中获得的固有稳健性。该实现以自适应样本选择机制为中心，在训练epoch中动态调整样本包含率R(t)来控制干净数据的比例，初始时优先考虑高R(t)值以利用神经网络先学习高置信度模式的倾向，然后逐渐收敛到1 − τ以防止噪声过拟合。这一过程由我们的联合损失函数指导训练，该函数同时捕获模型间共识和预测置信度，由于其互补学习，双网络架构相比单模型基线在高置信度样本识别能力上表现更优。具体而言，我们进行小损失选择过程如下：

$Dat{a}_{clean}=\underset{\widehat{D}:\left|\widehat{D}\right|>R\left(t\right)\left|D\right|}{\arg \min }loss\left(\widehat{D}\right)$ (9)

获得小损失实例后，我们计算这些实例的平均损失以进一步完成训练：

$L=\frac{1}{\left|Dat{a}_{clean}\right|}{\displaystyle {\sum }_{x}Loss\left(x\right)}$ ，其中$Loss\left(x\right)=Los{s}_{cly}+\lambda los{s}_{con}$ (10)

其中，Loss_cly包含本地模型的分类损失和全局模型的分类损失。

通过在客户端实现可靠样本选择，该框架聚焦于标签间依赖表现出强一致性模式的高置信度(干净)标签实例。这种选择性训练方法通过两种协同方式积极抑制噪声标签参与：(1) 在客户端模型更新期间直接排除具有不一致标签的样本；(2) 通过跨客户端聚合传播校正后的标签分布。由此产生的标签噪声校正机制在保持联邦学习隐私保护原则的同时，提高了本地模型的稳健性。

3.2.3. 基于WGAN的数据增强

在3.2.2节中，我们通过构建基于双模型的对比学习框架选择高置信度(干净)样本，也就是干净样本，然后利用这些高置信度(干净)样本构建生成式模型以合成图像数据，缓解类别不平衡问题。

具体而言，该方法首先构建基于测地距离的生成对抗网络框架，通过梯度惩罚机制确保训练稳定性，其损失函数表示为：

$Los{s}_{gen}=\underset{\gamma \in {\displaystyle \coprod \left(p_{data},p_g\right)}}{\inf }{E}_{\left(x,y\right)\sim \gamma }\left[\Vert x-y\Vert \right]+\beta E_{data}\left[{\Vert \nabla Los{s}_{gen}-1\Vert }^2\right]$ (11)

其中，p_data表示数据分布，p_g表示模型分布，β是惩罚系数。生成器接收带有类别标签的初始向量，生成符合该类真实图像数据分布的合成图像，从而为样本不足的类别提供有针对性的增强。判别器采用谱归一化来约束Lipschitz常数，并通过计算测地距离评估生成质量。

$L_D=E_{x~Pr}\left[D\left(x\right)\right]-E_{z~p\left(z\right),c~p\left(c\right)}\left[D\left(G\left(z,c\right)\right)\right]+L_{GP}$ (12)

其中，谱归一化通过权重矩阵W的奇异值σ(W)实现：Wₛₙ = W/σ(W)。生成的合成样本通过判别器的置信度阈值过滤，得到的生成图像作为当前类别的合成数组添加到训练集中。

在本文中，为确定最佳生成样本数量，我们计算每个数据集所有类别的平均样本量(记为Mean)。获得高置信度(干净)样本后，为每个类别生成额外样本，直到总数达到该平均值(Mean)。模型持续训练直到验证指标不再提升。最终，最终模型中的这种数据分布补偿机制缓解了分类决策边界向多数类偏移的问题。

3.3. 双模型全局聚合

联邦学习的一个主要目标是开发一个擅长多标签分类的全局聚合模型。然而，客户端之间不同的标签相关性和独特的类别不平衡导致本地训练的模型对这些特征的拟合能力不同。为解决这一挑战，我们设计了一种全局聚合方法。聚合包含两个阶段：

1) 客户端准备阶段

多标签分类面临类别不平衡问题，因此我们首先计算类别不平衡系数，对于每个客户端，其类别不平衡系数计算为：

${\alpha }_k=\frac{1}{C}{\displaystyle {\sum }_c\frac{N_{k,c}}{Max\left(N_{k,1},N_{k,2},\cdots ,N_{k,C}\right)}}$ (13)

其中，C是总类别数，N_k,c是客户端k中类别c的样本数。计算不平衡系数后，客户端将其模型参数连同α_k上传到服务器。

2) 双模型聚合

FedMGNN采用WGAN和多标签分类骨干网络来解决类别不平衡和含噪标签学习问题。为生成更准确的图像，FedMGNN在聚合过程中同时建立全局WGAN和全局多标签分类骨干网络。

• 关于全局WGAN：

$WGA{N}_{global}={\displaystyle {\sum }_k^K{\alpha }_k\times WGA{N}_k}$ (14)

• 多标签分类骨干网络：

$Backbon{e}_{global}={\displaystyle {\sum }_k^K{\alpha }_k\times Backbon{e}_k}$ (15)

其中，K是客户端总数。

4. 实验分析

为进行实验验证，我们的框架利用FLAIR数据集[22]进行跨域性能评估，并使用特定领域的电力基础设施数据集(变电站缺陷检测数据集)来验证模型在含噪声标签的多标签电力图像中的分类能力。我们的实验包括三个阶段：(1) 数据集介绍和对比方法介绍；(2) FedMGNN与最先进方法的对比验证；(3) 系统的消融研究，量化标签关联嵌入图、对比学习框架组件和聚合策略创新对全局模型性能指标的单独贡献。

4.1. 数据集

本文使用2个数据集进行实验。

1) FLAIR数据集

该数据集是专为联邦学习研究设计的多标签基准数据集，包含多样化的真实世界Flickr图像，具有原生的基于用户的划分。所有图像保持标准化的256 × 256分辨率，同时自然展现基本的非独立同分布(non-IID)特性，包括样本数量倾斜、客户端间标签分布差异和自然域偏移，共同构成联邦学习算法的生态有效测试平台。通过分层分类法(17个粗类别和1628个细子类别)组织，本文使用粗分类级别以确保实验一致性。该数据集可在(GitHub - apple/ml-flair: A large labelled image dataset for benchmarking in federated learning)获取。

2) 变电站缺陷检测数据集

该数据集包含8307张专业标注的高分辨率现场图像，捕捉不同环境条件下运行的变电站设备，专家标注的分类涵盖三个关键故障领域的17个缺陷类别：组件退化(如仪表表盘模糊、绝缘子破裂、盖板变形)、安全违规(缺少个人防护装备、未经授权吸烟)和系统异常(运行参数不规则、开关柜故障)，从而通过多维缺陷表征实现整体电力基础设施故障分析。该数据集及其细节可在(https://pan.baidu.com/s/1qCIGlCi54AwY0b_qX9sG2A?pwd=cuth)获取。遵循联邦学习协议，我们对电力基础设施图像实施结构化非独立同分布划分，创建符合隐私要求的客户端特定数据子集，以模拟实际部署条件，其方案按照文献[23]中FL数据集的划分标准，便于进行对比分析。

设置

我们的评估框架使用宏/微平均准确率(AP)和F1分数评估多标签分类性能 (Macro AP, Macro F1, Micro AP, Micro F1)，利用ResNet-18作为主干网络中的卷积部分、使用基于CLIP的文本编码器[15]生成标签的嵌入向量。本地训练每轮采用10个epoch，使用Adam优化器(学习率 = 1e−4，batch的大小 = 16)。联邦学习配置为每个服务器50个通信轮次(T)，通过每轮涉及20个客户端确保数据分布的群体代表性。

为评估算法对标签噪声的学习能力，通过随机修改所有数据集的三分之一的标签来引入人工噪声，噪声水平为20%和50%，随后按照文献[7]的框架进行客户端数据划分，以真实模拟存在于设备之间的异构噪声分布。

4.2. 对比实验

4.2.1. 基准模型

为验证FedMGNN的有效性，我们与涵盖卷积网络和Transformer架构的代表性联邦学习方法进行基准比较：(1) AvgFL [24]采用参数平均聚合方法，是最常用的联邦学习框架；(2) MOON [25]整合近邻正则化方法用于客户端模型对齐；(3) FedLGT作为先进的联邦多标签分类器，作为对比的标准算法。本文所提出噪声标签校正框架的有效性通过两种集中模型来进行比较：UMNC [18]利用嵌入和输出特征之间的标签级语义对齐进行噪声标签的表示学习，LDHC [25]利用标签依赖和记忆效应进行整体多标签校正，我们把这两种方法嵌入到AvgFL和MOON框架中，来验证本文所提出的方法的有效性。最后，本文还引入了最近的联邦标签噪声更正方法来进行对比。

模型细节如下：

1) AvgFL-MLP-Mixer：客户端使用MLP-Mixer训练的FL模型。MLP-Mixer [21]作为CNN和视觉Transformer (ViT)的替代模型，引入以减少计算时间。

2) FL-C-Tran [26]：客户端使用C-Tran训练的FL模型。

3) MOON-MLP-Mixer：客户端使用MLP-Mixer训练的MOON FL模型。

4) FedLGT [23]：FedLGT同时利用每个客户端的标签相关性来学习标签的语义嵌入。

5) FedHybrid [9]：FedHybrid引入限制梯度更新的近邻项，有助于在标签分布偏移情况下提高收敛性。

6) AvgFL-UMNC：AvgFL框架下的UMNC模型。

7) AvgFL-LDHC：AvgFL框架下的LDHC模型。

8) MOON-UMNC：MOON框架下的UMNC模型。

9) MOON-LDHC：MOON框架下的LDHC模型。

10) FedNoisy [19]：联邦噪声标签学习的最佳模型。

4.2.2. FLAIR数据集上的对比实验

首先，我们在FLAIR数据集上测试模型性能。测试的AP和F1结果如表1所示。

Table 1. Results on FLAIR dataset with noise ratios of 20%

表1. 噪声率为20%时FLAIR数据集上的结果

模型	Macro-AP	Macro-F1	Micro-AP	Micro-F1
AvgFL-MLP-Mixer	35.77%	33.22%	71.30%	68.41%
MOON-MLP-Mixer	39.36%	34.13%	73.37%	69.73%
FL-C-Tran	50.04%	40.55%	79.78%	74.29%
FedLGT	55.63%	50.14%	80.79%	80.33%
FedHybrid	57.22%	50.91%	81.39%	81.33%
AvgFL-UMNC	59.27%	52.22%	83.77%	84.03%
AvgFL-LDHC	59.98%	52.39%	85.02%	85.94%
MOON-UMNC	59.88%	52.92%	83.21%	84.33%
MOON-LDHC	60.19%	52.87%	85.13%	86.29%
FedNoisy	60.38%	52.95%	85.19%	86.03%
FedMGNN	64.97%	57.33%	87.88%	87.31%

如表1所示，FedMGNN在FLAIR数据集上验证了其有效性，在大多数指标上优于其他算法。FedMGNN具有最高的AP值，在分类中表现更优。此外，FedMGNN获得最高的F1分数，展示了精确率和召回率之间的平衡。与AvgFL和MOON系列以及FL-C-Tran和FedLGT等其他算法相比，FedMGNN始终表现出更高的性能，突出了其处理数据异构性和噪声标签的有效性。此外，FedMGNN的性能也优于FL框架下的基于噪声标签的方法。FedMGNN优于FedNoisy模型，表明所提FedMGNN在含噪标签学习中表现出更优异的性能。此外，FedMGNN在Macro指标上表现尤为突出，验证了所采用的基于WGAN的生成方法的增强有效性。接下来，我们展示所提FedMGNN与对比模型的测试结果，重点关注噪声率为50%的FLAIR数据集上的结果。各模型在数据集上的测试结果如表2所示。

如表2所示，FedMGNN在噪声率为50%的FLAIR数据集上表现出优异性能，超过竞争方法。值得注意的是，FedMGNN在Macro指标上表现出一定优势，验证了所采用的基于WGAN的生成方法的有效性。接下来，我们验证模型对噪声标签的改进效果，结果如图2所示。

Table 2. Results on FLAIR dataset with noise ratios of 50%

表2. 噪声率为50%时FLAIR数据集上的结果

模型	Macro-AP	Macro-F1	Micro-AP	Micro-F1
AvgFL-MLP-Mixer	31.55%	30.27%	68.36%	65.33%
MOON-MLP-Mixer	35.22%	31.23%	69.57%	65.73%
FL-C-Tran	44.11%	37.15%	69.38%	69.03%
FedLGT	50.12%	43.22%	71.33%	70.66%
FedHybrid	51.36%	44.94%	73.55%	71.53%
AvgFL-UMNC	53.66%	49.22%	79.17%	77.43%
AvgFL-LDHC	55.98%	50.39%	80.33%	79.64%
MOON-UMNC	54.88%	49.92%	79.88%	77.99%
MOON-LDHC	55.19%	50.77%	81.22%	80.29%
FedNoisy	55.33%	50.71%	80.36%	80.08%
FedCGAT	58.02%	53.22%	82.13%	81.08%

如图2所示，所提FedMGNN在FLAIR数据集上的噪声标签F1分数上优于其他模型。

Figure 2. The performance of FedMGNN compared with the other models on FLAIR dataset under F1 scores of the noisy labels

图2. FedMGNN与其他模型在FLAIR数据集上的噪声标签的F1 score对比

4.2.3. 变电站缺陷检测数据集上的对比实验

在接下来的实验中，我们在变电站缺陷检测数据集上验证所提FedMGNN的有效性。结果如表3所示。

如表3所示，FedMGNN通过联邦学习在变电站缺陷检测数据集上表现出优异性能，优于其他算法。FedMGNN具有最高的F1分数，与AvgFL、MOON系列、FL-C-Tran和FedLGT等其他模型相比，分类性能更优。此外，FedMGNN在AP和F1指标上的性能总体优于其他四种噪声校正FL模型，表明本文设计的噪声标签校正框架的有效性。此外，FedMGNN优于FedNoisy，表明所设计的含噪标签学习方法优于传统含噪标签学习方法，尤其在Macro指标方面。

Table 3. Results of FedMGNN compared with the commonly used models on substation defect detection dataset with noise ratios of 20%

表3. 噪声率为20%时变电站缺陷检测数据集上FedMGNN与常用模型的结果对比

模型	Macro-AP	Macro-F1	Micro-AP	Micro-F1
AvgFL-MLP-Mixer	44.55%	41.01%	64.59%	63.62%
MOON-MLP-Mixer	45.11%	41.34%	65.38%	64.33%
FL-C-Tran	54.22%	47.72%	69.07%	69.47%
FedLGT	54.29%	46.89%	70.03%	69.96%
FedHybrid	59.77%	55.03%	73.17%	73.24%
AvgFL-UMNC	64.92%	60.03%	76.92%	76.20%
AvgFL-LDHC	64.87%	60.88%	77.33%	76.64%
MOON-UMNC	65.11%	60.98%	77.72%	76.91%
MOON-LDHC	65.66%	61.08%	77.44%	77.01%
FedNoisy	65.33%	60.88%	77.78%	77.14%
FedMGNN	68.10%	62.17%	78.82%	77.93%

接下来，我们展示了所提出的FedMGNN与对比模型的测试结果，重点关注噪声率为50%的变电站缺陷检测数据集上的结果。各模型在数据集上的测试结果如表4所示。

Table 4. Results of FedMGNN compared with the commonly used models on substation defect detection dataset with noise ratios of 50%

表4. 噪声率为50%时变电站缺陷检测数据集上FedMGNN与常用模型的结果对比

模型	Macro-AP	Macro-F1	Micro-AP	Micro-F1
AvgFL-MLP-Mixer	43.22%	41.02%	63.33%	62.08%
MOON-MLP-Mixer	43.34%	41.23%	63.45%	62.29%
FL-C-Tran	52.36%	46.55%	68.02%	67.29%
FedLGT	51.56%	45.66%	68.01%	67.13%
FedHybrid	56.33%	54.41%	71.33%	71.41%
AvgFL-UMNC	60.91%	59.03%	73.91%	75.22%
AvgFL-LDHC	60.57%	60.81%	74.63%	76.13%
MOON-UMNC	61.33%	59.93%	73.71%	75.90%
MOON-LDHC	61.63%	61.01%	74.97%	76.03%
FedNoisy	62.12%	61.79%	75.15%	76.69%
FedMGNN	64.44%	62.01%	75.80%	77.04%

如表4所示，所提出的FedMGNN算法在联邦学习设置下的变电站缺陷检测数据集上获得了更高的AP和F1分数，优于其他算法。接下来，我们验证模型对噪声标签的改进效果，结果如图3所示。

Figure 3. The performance of FedMGNN compared with the other models on substation defect detection dataset under F1 scores of the noisy labels

图3. FedMGNN与其他模型在变电站缺陷检测数据集上的噪声标签的F1 score对比

如图3所示，所提FedMGNN在变电站缺陷检测数据集上的噪声标签F1分数上优于其他模型。

4.3. FDGN的消融实验

在本节中，我们进行消融研究，以突出基于WGAN的数据增强、标签关联嵌入图和FedMGNN聚合策略的贡献。

首先，我们验证基于WGAN的数据增强的有效性，这主要有益于样本有限的类别。我们进行了对比实验，评估有无WGAN增强的模型性能，结果如图4所示：

接下来，我们评估主干网络中标签相关嵌入模块和全局聚合方法的有效性。结果如表5和表6所示。

在表5中，FedMGNN-without_graph-0.2是在噪声率为20%的数据上没有图结构学习的FedMGNN，FedMGNN-without_graph-0.5是在噪声率为50%的数据上没有图结构学习的FedMGNN。在消融研究中，FedMGNN的性能优于FedMGNN-without_graph，这意味着图嵌入对提高分类结果是有效的。

接下来，我们展示FedMGNN聚合策略的有效性。结果如表6所示。

Figure 4. The ablation performance of FedMGNN for WGAN

图4. FedMGNN在WGAN上的消融性能

Table 5. Performance of FedMGNN in the ablation experiments on substation defect detection dataset

表5. FedMGNN在变电站缺陷检测数据集上消融实验中的性能

模型	Macro-AP	Macro-F1	Micro-AP	Micro-F1
FedMGNN-without_graph-0.2	66.23%	61.04%	77.97%	77.11%
FedMGNN-0.2	68.10%	62.17%	78.82%	77.93%
FedMGNN-without_graph-0.5	62.76%	59.93%	74.72%	76.12%
FedMGNN-0.5	64.44%	62.01%	75.80%	77.04%

Table 6. Performance of FedMGNN in the ablation experiments on substation defect detection dataset for aggregation strategy

表6. FedMGNN在变电站缺陷检测数据集上聚合策略消融实验中的性能

模型	Macro-AP	Macro-F1	Micro-AP	Micro-F1
FedMGNN-without-agg-0.2	66.55%	61.37%	77.23%	76.89%
FedMGNN-0.2	68.10%	62.17%	78.82%	77.93%
FedMGNN-without-agg-0.5	62.16%	60.33%	74.99%	76.75%
FedMGNN-0.5	64.44%	62.01%	75.80%	77.04%

在表6中，FedMGNN-without-agg是没有基于聚类的聚合策略的FedMGNN。在消融研究中，FedMGNN的性能优于FedMGNN-without-agg，这意味着聚合策略是有效的。

5. 结论

本文解决了联邦多标签电力场景识别中标签噪声和类别不平衡的关键挑战，传统FL方法因依赖正确标注的标签假设而在此任务中难以发挥理想的效果。通过提出FedMGNN：一种融合标签感知图嵌入、双模型对比学习和基于WGAN的数据增强的新型框架，我们验证了其在含标签噪声、不平衡分布式场景中的稳健性能。该框架的双组件全局聚合通过自适应类别加权进一步增强了抗标签噪声能力，打破了少数类中噪声放大的恶性循环。实验结果验证了FedMGNN相对于基线方法的优越性，尤其在受噪声污染的类别和代表性样本不足的类别上。所提方法的初衷是促进联邦学习在工业应用中的发展，希望可以为处理分布式系统中含标签噪声、不平衡的多标签任务提供一种可行的解决方法。未来工作将探索动态噪声估计和跨客户端知识蒸馏以进一步提高可扩展性。

基金项目

本工作得到了中国南方电网有限责任公司科技项目的支持(项目编号：035900KK52222003)。

NOTES

^*通讯作者。