基于模糊组合熵的不完备多标签特征选择

Incomplete Multi-Label Feature Selection Based on Fuzzy Combination Entropy

摘要: 多标签数据通常具有高维特征空间与复杂的标签结构，这种高维性和复杂性易造成数据不同程度的不完备，从而影响多标签学习的性能。由此，本文提出基于模糊组合熵的不完备多标签特征选择方法。首先，在不完备多标签模糊信息系统中，通过引入特征值缺失率与调节参数定义模糊关系，进而定义模糊信息粒、模糊标签粒以及多标签模糊下上近似，建立不完备多标签模糊粗糙集。接着，在不完备多标签模糊粗糙集上引入组合熵的信息论思想，在此基础上定义模糊组合熵、模糊联合组合熵、模糊条件组合熵等信息度量，研究它们的性质和关系。最后，基于模糊组合熵分析特征的内外重要度，给出适用于不完备多标签数据的特征选择算法。实验结果表明，本文所提算法在5个多标签数据集上相较于对比方法取得了更优的分类性能：平均精度(AP)平均提升3.48%，汉明损失(HL)、排序损失(RL)、覆盖率(CV)、1-错误率(OE)分别平均降低3.02%、4.33%、2.83%和 4.64%。实验结果验证了本文所提算法的有效性。

Abstract: Multi-label data usually has high-dimensional feature Spaces and complex label structures. This high dimensionality and complexity can easily cause varying degrees of incompleteness in the data, thereby affecting the performance of multi-label learning. To address this issue, this paper proposes an incomplete multi-label feature selection method based on fuzzy combination entropy. Firstly, in the incomplete multi-label fuzzy information system, the fuzzy relationship is constructed by incorporating the feature-value missing rate together with a regulating parameter. Based on the defined fuzzy relationship, fuzzy information granule, fuzzy label granule, and multi-label fuzzy lower and upper approximation are defined to establish the incomplete multi-label fuzzy rough set. Then, the information-theoretic concept of combination entropy is introduced on the incomplete multi-label fuzzy rough set. On this basis, information metrics such as fuzzy combination entropy, fuzzy joint combination entropy, and fuzzy conditional combination entropy are defined, and their properties and relationships are studied. Finally, the intra- and extra-feature significances are analyzed based on fuzzy combination entropy, and a feature selection algorithm suitable for incomplete multi-label data is presented. The experimental results show that the algorithm proposed in this paper achieves better classification performance on five multi-label datasets compared with the comparison methods: The Average Precision (AP) is increased by an average of 3.48%, and the Hamming Loss (HL), Ranking Loss (RL), Coverage (CV), and One-Error (OE) are reduced by an average of 3.02%, 4.33%, 2.83% and 4.64% respectively. The experimental results verify the effectiveness of the algorithm proposed in this paper.

1. 引言

近年来，多标签学习在众多领域得到了广泛应用[1]。随着数据规模的快速扩张，特征维度不断增多，其中包含着大量无关特征。这些特征不仅会削弱模型的预测性能，还会显著增加训练的计算成本[2]。因此，在多标签场景下采用有效的学习方法与特征选择策略，已成为应对高维多标签数据的关键途径[3]。

在实际应用中，在数据采集与标注阶段往往会出现信息缺失[4]。这不仅会导致部分特征值无法被完整获取，还会进一步增加后续学习与分析任务的不确定性与复杂性[5]。众多研究者针对不完备数据的多标签特征选择问题进行了系统的研究。Dai等[4]考虑了特征之间的正交互作用，定义了对称耦合鉴别权评价特征和标签对之间的相关性，提出了一种用于处理特征缺失的不完备多标签特征选择方法。Dai等[6]基于特征相关性与模糊容差关系实现缺失值与标签的恢复，提出了实例相关的不完备多标签数据特征选择方法。Li等[7]通过学习特征相关矩阵，定义了补充特征矩阵，进而改善了多标签学习的分类性能。

粗糙集理论[8]作为处理不确定性数据的重要工具，能在无先验信息的前提下，刻画特征间的依赖关系，从而识别出关键特征，因此在特征选择研究中得到了广泛关注与应用。Lin等[9]构造了多标签模糊粗糙集模型，提出了基于多标签模糊粗糙集的属性约简方法。Chen等[10]构造了变精度模糊邻域粗糙集模型，提出了基于变精度模糊邻域粗糙集的多标签属性约简算法。Sun等[11]建立了模糊多邻域粗糙集模型，提出了基于标签增强的特征选择方法。

香农熵[12]也称为信息熵，可用于衡量系统中信息的不确定性。Qian等[13]在不完备信息系统中引入了组合熵和组合粒度的概念，并系统分析了它们的性质及关系。Zhang等[14]提出了邻域组合熵的概念，据此提出了基于邻域组合熵的异构特征选择方法。Yang等[15]定义了模糊熵的概念以量化多标签学习中特征的不确定性，提出了基于特征重要性和标签重要性的特征选择算法。Liao等[16]在模糊粗糙集理论的框架下，提出了基于模糊条件熵的多标签特征选择算法。

在不完备多标签数据中，数据缺失会影响样本间相似程度的刻画，从而增加多标签特征选择过程中不确定性描述的难度。由此，本文提出基于模糊组合熵的不完备多标签特征选择方法。首先，在不完备多标签模糊信息系统中定义模糊关系，进而得到模糊信息粒、模糊标签粒以及多标签模糊下上近似，构造不完备多标签模糊粗糙集。在此基础上，引入模糊组合熵、模糊联合组合熵、模糊条件组合熵等信息度量。接着，基于模糊组合熵讨论特征的内外重要度，给出不完备多标签模糊粗糙集上的特征选择算法。最后，通过实验验证所提算法的有效性。

2. 预备知识

称$MFIS=\left(U,A,f,L,Y\right)$ 为多标签模糊信息系统[17]，其中$U=\left\{x_1,x_2,\cdots ,x_n\right\}$ 为非空有限样本集，$A=\left\{a_1,a_2,\cdots ,a_q\right\}$ 为特征集，$f:U\times A\to \left[0,1\right]$ ，$f\left(x,a\right)\in \left[0,1\right]$ 表示样本$x$ 在特征$a$ 下的取值。$L=\left\{l_1,l_2,\cdots ,l_t\right\}$ 为标签集，标签向量集$Y=\left\{y_i=\left(y_i^1,y_i^2,\cdots ,y_i^t\right)\in {\left\{0,1\right\}}^t,i=1,2,\cdots ,n\right\}$ ，$y_i$ 为与样本$x_i$ 关联的标签向量，且$y_i^j=1\iff$ 样本$x_i$ 具有标签$l_j$ 。

定义1 [17]设$MFIS=\left(U,A,f,L,Y\right)$ 为多标签模糊信息系统，$\forall B\subseteq A$ ，$B$ 的模糊关系$R_B$ 定义为：

$R_B\left(x,y\right)=\exp \left\{-\frac{1}{2{\sigma }^2}{\displaystyle \sum _{a\in B}{\left(f\left(x,a\right)-f\left(y,a\right)\right)}^2}\right\},$ $\forall x,y\in U$ (1)

其中σ为高斯核宽度参数。则$R_B$ 为U上的模糊相似关系。$\forall x\in U$ ，$\delta \in \left[0,1\right]$ ，x的模糊信息粒${\left[x\right]}_B^{\delta }$ 定义为：

${\left[x\right]}_B^{\delta }\left(y\right)=\{\begin{array}{ll}{R}_B\left(x,y\right),\hfill & R_B\left(x,y\right)\ge \delta ,\hfill \\ 0,\hfill & R_B\left(x,y\right)<\delta ,\hfill \end{array}$ $\forall y\in U$ (2)

$\forall l_j\in L$ ，定义标签粒$L_j=l_j^{*}=\left\{x_i\in U|y_i^j=1\right\}$ ，标签粒的全体$L=\left\{L_1,L_2,\cdots ,L_t\right\}$ 构成U的覆盖。标签粒$L_j$ 的模糊标签粒${\tilde{L}}_j$ 定义为：

${\tilde{L}}_j\left(x\right)=\frac{\left|{\left[x\right]}_A^{\delta }\cap L_j\right|}{\left|{\left[x\right]}_A^{\delta }\right|},\forall x\in U,j=1,2,\cdots ,t$ (3)

称$\tilde{L}=\left\{{\tilde{L}}_1,{\tilde{L}}_2,\cdots ,{\tilde{L}}_t\right\}$ 为标签粒集$L=\left\{L_1,L_2,\cdots ,L_t\right\}$ 关于$A$ 的多标签模糊粒覆盖。

定义2 [17]设$MFIS=\left(U,A,f,L,Y\right)$ 为多标签模糊信息系统，$\tilde{L}=\left\{{\tilde{L}}_1,{\tilde{L}}_2,\cdots ,{\tilde{L}}_t\right\}$ 为$U$ 上的多标签模糊粒覆盖。$\forall \delta \in \left[0,1\right]$ ，$B\subseteq A$ ，$\tilde{L}$ 关于$B$ 的多标签模糊下、上近似分别定义为：

${\underset{\_}{R}}_B^{\delta }\left(\tilde{L}\right)=\left\{{\underset{\_}{R}}_B^{\delta }\left({\tilde{L}}_1\right),{\underset{\_}{R}}_B^{\delta }\left({\tilde{L}}_2\right),\cdots ,{\underset{\_}{R}}_B^{\delta }\left({\tilde{L}}_t\right)\right\}$ , ${\overline{R}}_B^{\delta }\left(\tilde{L}\right)=\left\{{\overline{R}}_B^{\delta }\left({\tilde{L}}_1\right),{\overline{R}}_B^{\delta }\left({\tilde{L}}_2\right),\cdots ,{\overline{R}}_B^{\delta }\left({\tilde{L}}_t\right)\right\}$ ,(4)

其中${\tilde{L}}_j$ 关于$B$ 的模糊下近似${\underset{\_}{R}}_B^{\delta }\left({\tilde{L}}_j\right)$ 和上近似${\overline{R}}_B^{\delta }\left({\tilde{L}}_j\right)$ 分别定义为：

${\underset{\_}{R}}_B^{\delta }\left({\tilde{L}}_j\right)\left(x\right)=\underset{y\in U}{\inf }\max \left\{1-{\left[x\right]}_B^{\delta }\left(y\right),{\tilde{L}}_j\left(y\right)\right\}$ , ${\overline{R}}_B^{\delta }\left({\tilde{L}}_j\right)\left(x\right)=\underset{y\in U}{\sup }\min \left\{{\left[x\right]}_B^{\delta }\left(y\right),{\tilde{L}}_j\left(y\right)\right\}$ . (5)

3. 不完备多标签模糊粗糙集与信息度量

针对不完备数据，文献[18]通过定义相似度函数构造了模糊关系，以刻画样本之间的模糊相似程度。本节借鉴文献[18]中相似度函数的构造思想，在不完备多标签模糊信息系统中引入特征值缺失率并考虑调节参数，定义新的模糊关系，从而建立不完备多标签模糊粗糙集，在此基础上给出不完备多标签模糊粗糙集上的信息度量。

3.1. 不完备多标签模糊粗糙集

定义3 设$MFIS=\left(U,A,f,L,Y\right)$ 为多标签模糊信息系统，若存在$x\in U$ ，$a\in A$ 使得$f\left(x,a\right)=\ast$ ，则称该信息系统为不完备多标签模糊信息系统，记作$IMFIS=\left(U,A,f,L,Y\right)$ 。

定义4 设$IMFIS=\left(U,A,f,L,Y\right)$ 为不完备多标签模糊信息系统，$\forall a\in A$ ，$\beta \in \left[0,1\right]$ ，$a$ 诱导的$U$ 上的模糊关系为$R_a^I\left(x_i,x_j\right)={\left(r_{ij}^a\right)}_{n\times n}$ ，$r_{ij}^a$ 的具体定义如下：

$r_{ij}^a=\{\begin{array}{ll}{\left(1-\beta \right)}^2,\hfill & f\left(x_i,a\right)=\ast \wedge f\left(x_j,a\right)=\ast \hfill \\ {\mu }_a{\left(1-\beta \right)}^2,\hfill & f\left(x_i,a\right)=\ast \wedge f\left(x_j,a\right)\ne \ast \hfill \\ \frac{1}{1+\frac{1}{\sigma }{\displaystyle \sum _{a\in B}{\left(f\left(x_i,a\right)-f\left(x_j,a\right)\right)}^2}},\hfill & f\left(x_i,a\right)\ne \ast \wedge f\left(x_j,a\right)\ne \ast \hfill \end{array}$ (6)

其中$\beta$ 为调节参数，${\mu }_a=\frac{\left|\left\{x_i\in U|f\left(x_i,a\right)=\ast \right\}\right|}{\left|U\right|}$ 表示$a$ 的特征值缺失率，$\sigma$ 为平滑参数。$\forall B\subseteq A$ ，$B$ 的模糊关系$R_B^I$ 定义为：

$R_B^I\left(x_i,x_j\right)=\underset{a\in B}{\wedge }{R}_a^I\left(x_i,x_j\right).$ (7)

在样本存在缺失特征值时，通过引入特征值缺失率与调节参数$\beta$ ，模糊关系能够自适应调节样本对的相似度，并对其取值进行约束；在样本不存在缺失特征值时，相似度采用柯西核函数进行刻画，其平缓的衰减特性能够有效减少异常值对相似度计算的影响，从而提高结果稳定性。

定义5 设$IMFIS=\left(U,A,f,L,Y\right)$ 为不完备多标签模糊信息系统，$\forall x\in U$ ，$\delta \in \left[0,1\right]$ ，$x$ 的模糊信息粒${\left[x\right]}_B^{I,\delta }$ 定义为：

${\left[x\right]}_B^{I,\delta }\left(y\right)=\{\begin{array}{ll}{R}_B^I\left(x,y\right),\hfill & R_B^I\left(x,y\right)\ge \delta ,\hfill \\ 0,\hfill & R_B^I\left(x,y\right)<\delta ,\hfill \end{array}$ $\forall y\in U$ (8)

$\forall L_j\in L$ ，标签粒$L_j$ 的模糊标签粒${\tilde{L}}_j^I$ 定义为：

${\tilde{L}}_j^I\left(x\right)=\frac{\left|{\left[x\right]}_A^{I,\delta }\cap L_j\right|}{\left|{\left[x\right]}_A^{I,\delta }\right|},\forall x\in U,j=1,2,\cdots ,t$ (9)

称${\tilde{L}}^I=\left\{{\tilde{L}}_1^I,{\tilde{L}}_2^I,\cdots ,{\tilde{L}}_t^I\right\}$ 为标签粒集L关于A的不完备多标签模糊粒覆盖。

定义6 设$IMFIS=\left(U,A,f,L,Y\right)$ 为不完备多标签模糊信息系统，${\tilde{L}}^I=\left\{{\tilde{L}}_1^I,{\tilde{L}}_2^I,\cdots ,{\tilde{L}}_t^I\right\}$ 为$U$ 上的不完备多标签模糊粒覆盖。$\forall \delta \in \left[0,1\right]$ ，$B\subseteq A$ ，${\tilde{L}}^I$ 关于$B$ 的多标签模糊下、上近似分别定义为：

${\underset{\_}{R}}_B^{I,\delta }\left({\tilde{L}}^I\right)=\left\{{\underset{\_}{R}}_B^{I,\delta }\left({\tilde{L}}_1^I\right),{\underset{\_}{R}}_B^{I,\delta }\left({\tilde{L}}_2^I\right),\cdots ,{\underset{\_}{R}}_B^{I,\delta }\left({\tilde{L}}_t^I\right)\right\}$ , ${\overline{R}}_B^{I,\delta }({\tilde{L}}^I)=\left\{{\overline{R}}_B^{I,\delta }\left({\tilde{L}}_1^I\right),{\overline{R}}_B^{I,\delta }\left({\tilde{L}}_2^I\right),\cdots ,{\overline{R}}_B^{I,\delta }\left({\tilde{L}}_t^I\right)\right\}$ ,(10)

其中${\tilde{L}}_j^I$ 关于$B$ 的多标签模糊下近似${\underset{\_}{R}}_B^{I,\delta }\left({\tilde{L}}_j^I\right)$ 和上近似${\overline{R}}_B^{I,\delta }\left({\tilde{L}}_j^I\right)$ 分别定义为：

${\underset{\_}{R}}_B^{I,\delta }\left({\tilde{L}}_j^I\right)\left(x\right)=\underset{y\in U}{\inf }\max \left\{1-{\left[x\right]}_B^{I,\delta }\left(y\right),{\tilde{L}}_j^I\left(y\right)\right\}$ , ${\overline{R}}_B^{I,\delta }\left({\tilde{L}}_j^I\right)\left(x\right)=\underset{y\in U}{\sup }\min \left\{{\left[x\right]}_B^{I,\delta }\left(y\right),{\tilde{L}}_j^I\left(y\right)\right\}$ .(11)

3.2. 不完备多标签模糊粗糙集上的信息度量

本节将文献[13]提出的组合熵引入不完备多标签模糊粗糙集，以不完备多标签模糊信息粒作为信息刻画的基本粒度，定义模糊组合熵等信息度量，研究其性质和关系。

定义7 设$IMFIS=\left(U,A,f,L,Y\right)$ 为不完备多标签模糊信息系统。$\forall \delta \in \left[0,1\right]$ ，$B\subseteq A$ ，$B$ 的模糊组合熵定义为：

$FC{E}_{\delta }^I\left(B\right)=\frac{1}{n}{\displaystyle \sum _{i=1}^n\frac{C_n^2-C_{\left|{\left[x_i\right]}_B^{I,\delta }\right|}^2}{C_n^2}},$ (12)

$\forall B,C\subseteq A$ ，$B$ 和$C$ 的模糊联合组合熵定义为：

$FC{E}_{\delta }^I\left(B,C\right)=\frac{1}{n}{\displaystyle \sum _{i=1}^n\frac{C_n^2-C_{\left|{\left[x_i\right]}_B^{I,\delta }\cap {\left[x_i\right]}_C^{I,\delta }\right|}^2}{C_n^2}},$ (13)

$C$ 相对于$B$ 的模糊条件组合熵定义为：

$FC{E}_{\delta }^I\left(C|B\right)=\frac{1}{n}{\displaystyle \sum _{i=1}^n\frac{C_{\left|{\left[x_i\right]}_B^{I,\delta }\right|}^2-C_{\left|{\left[x_i\right]}_B^{I,\delta }\cap {\left[x_i\right]}_C^{I,\delta }\right|}^2}{C_n^2}},$ (14)

${\tilde{L}}^I$ 相对于$B$ 的模糊条件组合熵定义为：

$FC{E}_{\delta }^I\left({\tilde{L}}^I|B\right)=\frac{1}{n}{\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^t\frac{C_{\left|{\left[x_i\right]}_B^{I,\delta }\right|}^2-C_{\left|{\left[x_i\right]}_B^{I,\delta }\cap {\tilde{L}}_j^I\right|}^2}{C_n^2}}}.$(15)

定理1 设$IMFIS=\left(U,A,f,L,Y\right)$ 为不完备多标签模糊信息系统。$\forall B,C\subseteq A$ ，下列结论成立：

(1) $FC{E}_{\delta }^I\left(B,C\right)=FC{E}_{\delta }^I\left(C,B\right)$ ;

(2) $FC{E}_{\delta }^I\left(C|B\right)=FC{E}_{\delta }^I\left(B,C\right)-FC{E}_{\delta }^I\left(B\right)$ .

证明 易证结论(1)成立，下证(2)。

$\begin{array}{c}FC{E}_{\delta }^I\left(C|B\right)=\frac{1}{n}{\displaystyle \sum _{i=1}^n\frac{C_{{\left[x_i\right]}_B^{I,\delta }}^2-C_{\left|{\left[x_i\right]}_B^{I,\delta }\cap {\left[x_i\right]}_C^{I,\delta }\right|}^2}{C_n^2}}\\ =\frac{1}{n}{\displaystyle \sum _{i=1}^n\frac{C_n^2+C_{{\left[x_i\right]}_B^{I,\delta }}^2-C_n^2-C_{\left|{\left[x_i\right]}_B^{I,\delta }\cap {\left[x_i\right]}_C^{I,\delta }\right|}^2}{C_n^2}}\\ =\frac{1}{n}{\displaystyle \sum _{i=1}^n\frac{C_n^2-C_{\left|{\left[x_i\right]}_B^{I,\delta }\cap {\left[x_i\right]}_C^{I,\delta }\right|}^2}{C_n^2}}-\frac{1}{n}{\displaystyle \sum _{i=1}^n\frac{C_n^2-C_{\left|{\left[x_i\right]}_B^{I,\delta }\right|}^2}{C_n^2}}\\ =FC{E}_{\delta }^I\left(B,C\right)-FC{E}_{\delta }^I\left(B\right).\end{array}$

4. 基于模糊组合熵的不完备多标签特征选择

本节基于模糊组合熵定义特征重要度，进而提出适用于不完备多标签场景的特征选择算法。

定义8 设$IMFIS=\left(U,A,f,L,Y\right)$ 为不完备多标签模糊信息系统。若$FC{E}_{\delta }^I\left({\tilde{L}}^I|A\right)<FC{E}_{\delta }^I\left({\tilde{L}}^I|A-\left\{a\right\}\right)$ ，称$a$ 在$A$ 中是必要的；否则，称$a$ 在$A$ 中是冗余的。$\forall B\subseteq A$ ，若$FC{E}_{\delta }^I\left({\tilde{L}}^I|B\right)\le FC{E}_{\delta }^I\left({\tilde{L}}^I|A\right)$ ，且$\forall a\in B$ ，$FC{E}_{\delta }^I\left({\tilde{L}}^I|B-\left\{a\right\}\right)>FC{E}_{\delta }^I\left({\tilde{L}}^I|B\right)$ ，称$B$ 是$A$ 的特征约简。$A$ 中所有必要特征构成的集合称为$IMFIS$ 的核，记为$Core\left(A\right)$ 。

定义9 设$IMFIS=\left(U,A,f,L,Y\right)$ 为不完备多标签模糊信息系统。$\forall B\subseteq A,$ $a\in B$ ，$a$ 关于$B$ 和${\tilde{L}}^I$ 的特征内重要度定义为：

$S_{in}^I\left(a,B,{\tilde{L}}^I\right)=FC{E}_{\delta }^I\left({\tilde{L}}^I|B-\left\{a\right\}\right)-FC{E}_{\delta }^I\left({\tilde{L}}^I|B\right),$ (16)

$\forall a\in A-B$ ，$a$ 关于$B$ 和${\tilde{L}}^I$ 的特征外重要度定义为：

$S_{out}^I\left(a,B,{\tilde{L}}^I\right)=FC{E}_{\delta }^I\left({\tilde{L}}^I|B\right)-FC{E}_{\delta }^I\left({\tilde{L}}^I|B\cup \left\{a\right\}\right)$ .(17)

定理2 设$IMFIS=\left(U,A,f,L,Y\right)$ 为不完备多标签模糊信息系统。$\forall a\in A$ ，

(1) $Core\left(A\right)=\left\{a\in A|FC{E}_{\delta }^I\left({\tilde{L}}^I|B\right)<FC{E}_{\delta }^I\left({\tilde{L}}^I|B-\left\{a\right\}\right)\right\}$ ;

(2) $a\in Core\left(A\right)\iff S_{in}^I\left(a,A,{\tilde{L}}^I\right)>0$ .

证明 易证结论(1)成立，下证(2)。$\forall a\in Core\left(A\right)$ ，则$FC{E}_{\delta }^I\left({\tilde{L}}^I|A\right)<FC{E}_{\delta }^I\left({\tilde{L}}^I|A-\left\{a\right\}\right)$ ，因此$S_{in}^I\left(a,B,{\tilde{L}}^I\right)>0$ 。若$\forall a\in A$ ，有$S_{in}^I\left(a,B,{\tilde{L}}^I\right)>0$ ，则$FC{E}_{\delta }^I\left({\tilde{L}}^I|A\right)<FC{E}_{\delta }^I\left({\tilde{L}}^I|A-\left\{a\right\}\right)$ ，可得$a$ 在$A$ 中是必要的，因此$a\in Core\left(A\right)$ 。

推论 设$IMFIS=\left(U,A,f,L,Y\right)$ 为不完备多标签模糊信息系统。$\forall a\in A$ ， $a\notin Core\left(A\right)\iff S_{in}^I\left(a,A,{\tilde{L}}^I\right)\le 0$ 。

证明 由定理2易证结论成立。

根据上述结论，可以构造基于模糊互补熵的不完备多标签特征选择算法(IMFSFCE)。首先，计算$a$ 关于$A$ 和${\tilde{L}}^I$ 的特征内重要度，将内重要度为正的特征子集作为初始特征子集。然后，分别计算${\tilde{L}}^I$ 相对于特征子集$B$ 和全集$A$ 的模糊条件组合熵，若$FC{E}_{\delta }^I\left({\tilde{L}}^I|B\right)<FC{E}_{\delta }^I\left({\tilde{L}}^I|A\right)$ ，则输出特征子集；否则，从未选特征中挑选外重要度最大的特征加入$B$ ，直到${\tilde{L}}^I$ 相对于特征子集$B$ 的模糊条件组合熵小于${\tilde{L}}^I$ 相对于全集$A$ 的模糊条件组合熵。具体特征选择过程见算法1。

算法1 基于模糊互补熵的不完备多标签特征选择(IMFSFCE)

输入：不完备多标签模糊信息系统$IMFIS=\left(U,A,f,L,Y\right)$ ，$\delta \in \left[0,1\right]$ 。

输出：特征子集$B$ 。

1 初始化$B\leftarrow \varnothing$ ；

2 $\forall a\in A$ ，计算模糊关系$R_A^I$ 、$R_{A-\left\{a\right\}}^I$ ，模糊信息粒${\left[x_i\right]}_A^{I,\delta }$ 、${\left[x_i\right]}_{A-\left\{a\right\}}^{I,\delta }$ ；

3 计算模糊标签粒${\tilde{L}}_j^I$ 和多标签模糊粒覆盖${\tilde{L}}^I$ ；

4 由式(24)计算$a$ 的特征内重要度$S_{in}^I\left(a,A,{\tilde{L}}^I\right)=FC{E}_{\delta }^I\left({\tilde{L}}^I|A-\left\{a\right\}\right)-FC{E}_{\delta }^I\left({\tilde{L}}^I|A\right)$ ，若$S_{in}^I\left(a,A,{\tilde{L}}^I\right)>0$ ，则$B\leftarrow B\cup \left\{a\right\}$ ；

5 计算$FC{E}_{\delta }^I\left({\tilde{L}}^I|B\right)$ ，若$FC{E}_{\delta }^I\left({\tilde{L}}^I|B\right)<FC{E}_{\delta }^I\left({\tilde{L}}^I|A\right)$ ，执行步骤7；否则执行步骤6；

6 $\forall b\in A-B$ ，由式(25)计算$b$ 的特征外重要度$S_{out}^I\left(a,B,{\tilde{L}}^I\right)$ ，若$S_{out}^I\left(a,B,{\tilde{L}}^I\right)=\max S_{out}^I\left(a,B,{\tilde{L}}^I\right)$ ，则$B\leftarrow B\cup \left\{b\right\}$ ，并执行步骤5；

7 输出特征子集$B$ 。

5. 实验

5.1. 实验环境

为验证IMFSFCE算法的有效性，选取Mulan数据库5个多标签数据集进行实验分析。表1列出了5个多标签数据集的相关信息。实验采用多标签K最近邻(Multi-Label K-Nearest Neighbor, ML-KNN)分类器，近邻数量设置为10，平滑参数设置为0.1 [19]。

Table 1. Information of multi-label datasets

表1. 多标签数据集信息

数据集	样本数	特征数	标签数	领域	训练样本数	测试样本数
Flags	194	19	7	Images	129	65
Emotions	593	72	6	Music	391	202
Cal500	502	68	174	Music	251	251
Water quality	1060	16	14	Chemistry	530	530
Virus	207	440	6	Biology	124	83

本文采用平均精度(Average Precision, AP)、汉明损失(Hamming Loss, HL)、排序损失(Ranking Loss, RL)、覆盖率(Coverage, CV)、1-错误率(One Error, OE)作为分类评价指标[20]。其中，AP值越高，表明分类性能越好；HL、RL、CV、OE值越低则分类性能越好。后续实验用符号“↑”表示“值越大分类性能越优”，符号“↓”表示“值越小分类性能越优”。在实验结果的呈现中，最优值以粗体形式突出显示。

评价指标的具体定义[21]如下：

设不完备多标签模糊信息系统$IMFIS=\left(U,A,f,L,Y\right)$ 。训练集$D=\left\{\left(x_i,y_i\right)|1\le i\le n,x_i\in U,y_i\in Y\right\}$ ，$f\left(x_i,l_j\right)$ 为样本$x_i$ 具有标签$l_j$ 的概率，$y_i$ 为样本$x_i$ 的真实标签向量，${y^{\prime }}_i$ 为多标签分类器预测样本$x_i$ 的标签向量，$rank\left(\cdot ,\cdot \right)$ 为$f\left(\cdot ,\cdot \right)$ 的排序函数。

(1) 平均精度(AP)用于衡量模型预测标签集合中的标签排序在整体排序中的表现。AP值越大，说明模型对相关标签的识别与排序更准确，分类性能越优：

$\text{AP}=\frac{1}{n}{\displaystyle \sum _{i=1}^n\frac{1}{\left|y_i\right|}{\displaystyle \sum _{l\in y_i}\frac{\left|\left\{l^{\prime }\in y_i|rank\left(x_i,l^{\prime }\right)\le rank\left(x_i,l\right)\right\}\right|}{rank\left(x_i,l\right)}}},$ (18)

(2) 汉明损失(HL)用于衡量模型在标签空间上产生的错误预测比例。该指标反映了样本标签被误分类的次数。HL值越小，说明模型在标签判断上产生的错误更少，分类性能越优：

$\text{HL}=\frac{1}{n}{\displaystyle \sum _{i=1}^n\frac{\left|y_i\oplus {y^{\prime }}_i\right|}{k}},$ (19)

(3) 排序损失(RL)用于衡量模型在排序过程中将无关标签排在相关标签之前的次数。该指标反映了排序错误的程度。RL值越小，说明模型在区分相关与无关标签时的排序能力越强，分类性能越优：

$\text{RL}=\frac{1}{n}{\displaystyle \sum _{i=1}^n\frac{1}{\left|y_i\right|\left|{\overline{y}}_i\right|}}\left|\left\{\left(l_1,l_2\right)|rank\left(x_i,l_1\right)>rank\left(x_2,l_2\right),\left(l_1,l_2\right)\in y_i\times {\overline{y}}_i\right\}\right|,$(20)

(4) 覆盖率(CV)用于衡量预测结果中，为包含全部相关标签所需在排序列表上向下遍历的平均距离。CV值越小，说明模型更容易在较前的位置找到所有相关标签，分类性能越优：

$\text{CV}=\frac{1}{n}{\displaystyle \sum _{i=1}^n\underset{l\in y_i}{\max }rank\left(x_i,l\right)}-1,$ (21)

(5) 1-错误率(OE)用于统计预测排名第一的标签未包含在样本真实标签集合中的次数。OE值越小，说明模型对最相关标签的识别越可靠，分类性能越优：

$\text{OE}=\frac{1}{n}{\displaystyle \sum _{i=1}^n\left[\left[\underset{l\in L}{\arg \max }f\left(x_i,l\right)\right]\notin y_i\right]}.$ (22s)

5.2. 参数分析

由于原始多标签数据集是完整的，本文采用随机缺失方法使数据集不完整，$\delta$ 以步长0.1在$\left[0.1,0.5\right]$ 内取值，取缺失率10%、20%、30%、40%、50%分别进行实验。5个数据集在不同取值下的评价指标如图1~5所示。

Figure 1. The AP index results of multi-label datasets under different values

图1. 多标签数据集在不同取值下的AP指标结果

Figure 2. The HL index results of multi-label datasets under different values

图2. 多标签数据集在不同取值下的HL指标结果

Figure 3. The RL index results of multi-label datasets under different values

图3. 多标签数据集在不同取值下的RL指标结果

Figure 4. The CV index results of multi-label datasets under different values

图4. 多标签数据集在不同取值下的CV指标结果

Figure 5. The OE index results of multi-label datasets under different values

图5. 多标签数据集在不同取值下的OE指标结果

5.3. 实验结果

本文选取能够使评价指标达到最优的缺失率与$\delta$ 作为最终的参数设置。在此基础上，对所提IMFSFCE算法、使用全部特征的方法以及不同消融设置(无$\beta$ 、无${\mu }_a$ 、无$\beta$ 与${\mu }_a$ )进行对比实验。实验结果如表2所示。实验结果中，最优指标值以粗体形式表示。

Table 2. Experimental results of different methods on five evaluation metrics for each datasets

表2. 不同方法在各数据集上的五种评价指标实验结果

数据集	方法	AP (↑)	HL (↓)	RL (↓)	CV (↓)	OE (↓)
Flags	IMFSFCE	0.7596	0.4110	0.2987	4.3231	0.1846
	使用全部特征	0.7536	0.4286	0.3179	4.3846	0.2154
	无$\beta$	0.7536	0.4286	0.3179	4.3846	0.2154
	无${\mu }_a$	0.7473	0.4198	0.3185	4.3846	0.2154
	无$\beta$ 、${\mu }_a$	0.7536	0.4286	0.3179	4.3846	0.2154
Emotions	IMFSFCE	0.6172	0.4356	0.4110	2.9851	0.5198
	使用全部特征	0.6047	0.4530	0.4311	3.0149	0.5248
	无$\beta$	0.6002	0.4513	0.4303	3.0743	0.5297
	无${\mu }_a$	0.6123	0.4480	0.4244	3.1436	0.5149
	无$\beta$ 、${\mu }_a$	0.6040	0.4513	0.4323	3.0248	0.5248
Cal500	IMFSFCE	0.4421	0.1614	0.2208	132.5339	0.1155
	使用全部特征	0.4421	0.1614	0.2208	132.5339	0.1155
	无$\beta$	0.4388	0.1654	0.2217	132.4303	0.1155
	无${\mu }_a$	0.4421	0.1614	0.2208	132.5339	0.1155
	无$\beta$ 、${\mu }_a$	0.4421	0.1614	0.2208	132.5339	0.1155
Water quality	IMFSFCE	0.5641	0.4673	0.4000	10.3736	0.4133
	使用全部特征	0.5632	0.4704	0.4020	10.3830	0.4152
	无$\beta$	0.5632	0.4704	0.4020	10.3868	0.4152
	无${\mu }_a$	0.5612	0.4714	0.4052	10.4245	0.4152
	无$\beta$ 、${\mu }_a$	0.5632	0.4704	0.4020	10.3830	0.4152
Virus	IMFSFCE	0.4633	0.2932	0.4283	2.2892	0.7831
	使用全部特征	0.4071	0.3133	0.4802	2.5422	0.8434
	无$\beta$	0.4071	0.3133	0.4802	2.5422	0.8434
	无${\mu }_a$	0.4048	0.3173	0.4775	2.5422	0.8554
	无$\beta$ 、${\mu }_a$	0.4071	0.3133	0.4802	2.5422	0.8434

由表2可知，对于AP指标，IMFSFCE算法在所有数据集上的实验结果均不低于其余四种对比方法；对于HL、RL、CV指标，IMFSFCE算法在所有数据集上的实验结果均不高于其余四种对比方法；对于OE指标，IMFSFCE算法在Flags、Cal500、Water quality、Virus数据集上的实验结果均不高于其余四种对比方法，在Emotions数据集上与最优方法相差0.0049。相较于其余四种对比方法，IMFSFCE算法在5个数据集上的AP平均提升3.48%，HL、RL、CV和OE平均下降3.02%、4.33%、2.83%和4.64%。上述结果表明，IMFSFCE算法在保证平均精度提升的同时，有效控制了多种误差相关指标的增幅，整体上获得了更优的分类性能。

为进一步评估IMFSFCE算法在数据维度压缩方面的表现，本文统计了该算法在各数据集上的约简率，如表3所示。

Table 3. Feature reduction ratios of each dataset

表3. 各数据集的特征约简率

数据集	原始特征数	选择特征数	约简率
Flags	19	4	78.95%
Emotions	72	22	69.44%
Cal500	68	32	52.94%
Water quality	16	11	31.25%
Virus	440	3	99.32%

由表3可知，IMFSFCE算法在各数据集上均能有效降低数据维度，约简率介于31.25%~99.32%之间。综上，IMFSFCE算法能够在有效压缩数据维度的同时保持良好的分类性能，实验结果验证了本文算法的有效性，适用于不完备多标签特征选择场景。

6. 结论

本文提出了基于模糊组合熵的不完备多标签特征选择。在不完备多标签模糊信息系统中，通过改进模糊关系，定义了模糊信息粒、模糊标签粒以及多标签模糊下近似与上近似，建立了不完备多标签模糊粗糙集。进一步地，将组合熵引入不完备多标签模糊粗糙集，定义了模糊组合熵、模糊联合组合熵、模糊条件组合熵等信息度量，给出了基于模糊组合熵的特征内外重要度。最后，基于信息度量与重要度分析，提出了不完备多标签模糊粗糙集上的多标签特征选择算法。在5个多标签数据集上的实验结果表明，本文所提特征选择算法能够在不完备场景下改善多标签分类性能，验证了该方法的可行性与有效性。