基于主成分分析的模糊概念格

Fuzzy Concept Lattice Based on Principal Component Analysis

摘要: 形式背景中数据的增多，概念的数量就会随之增加。根据数据本身的特点，本文借助统计学方法提出基于主成分分析的模糊概念格以处理数据的多样性和复杂性。通过一般模糊形式背景的矩阵转化，分别定义了主成分属性和主成分模糊形式背景，并且给出了主成分属性算法，得到主成分属性模糊形式背景。利用该方法可以获得对原始形式背景的概念格属性约简，并且通过实例分析说明了该方法的可行性。

Abstract: The increase of data in formal context, the number of concepts will increase accordingly. Based on the characteristics of the data itself, this article proposes a fuzzy concept lattice based on principal component analysis using statistical methods to handle the diversity and complexity of data. Pass through matrix transformation through general fuzzy form background, defined principal compo-nent attributes and principal component fuzzy formal backgrounds respectively, and the principal component attribute algorithm is provided, obtain the fuzzy formal background of principal com-ponent attributes. By using this method, the concept lattice attribute reduction of the original for-mal background can be obtained, and the feasibility of this method was demonstrated through ex-ample analysis.

1. 引言

德国Wille [1] 提出的形式概念分析理论(Formal Concept Analysis, FCA)，是以形式背景为基础，通过属性和对象特征之间的Galois连接形成概念，进而由全体概念生成概念格。形式背景是概念格中数据的载体，概念是其知识的表达形式，应用于人工智能和知识提取等 [2] 领域。基于概念格的知识约简是形式概念分析理论的一个重要的研究方向，概念格知识约简主要分为概念约简、属性约简和对象约简。张文修等人 [3] 在格同构意义下研究了概念格属性约简的问题，给出了基于辨识属性矩阵的属性约简的方法；李进金等人 [4] 通过引入交式可约元的概念，提出了一种形式背景属性约简的新方法；

模糊形式背景是经典形式背景在模糊集意义下的一种推广，其主要特征是经典形式背景中对象集和属性集之间的二元经典关系变成了二元模糊关系。由于形式背景中数据的增多，基于模糊形式背景的概念数量会随之增加。因此计算信息系统的核心并且建立出有效的概念约简算法成为研究的热点之一。目前，主要的研究方向有两个：基于粗糙集的知识约简和概念格的属性约简，其中属性约简是比较重要的研究领域 [5] 。将模糊集引入到形式概念分析 [6] 中是由Burusco和Gonzalez首次提出的。一些研究者们将模糊集引入到模糊概念格的研究中，得到了一些模糊概念格的推广模型 [7] ，与经典概念格相比，模糊概念格上的知识约简问题的研究甚少。

主成分分析作为一种数学分析方法 [8] 在特征提取、数据降维 [9] 等方向上应用比较广泛，主成分分析方法主要用在数据的降维问题上，它可以将原始数据中杂乱无章的变量重新整合成一组新的、相互无关联的几个综合变量，得到新的综合变量不仅可以涵盖原始数据中的大部分有效信息，还能在接下来的实验中减少一些不必要的复杂计算，利用主成分分析对数据进行降维处理，可以使数据属性之间相互独立，提高实验模型的准确性。

2. 基础知识

本节回顾经典形式背景和模糊形式背景的基本定义。

定义1 [1] 设一个三元组 $\left(G,M,I\right)$ 是一个形式背景，其中 $G=\left\{g_1,g_2,\cdots ,g_r\right\}$ 是非空有限的对象集， $M=\left\{m_1,m_2,\cdots ,m_s\right\}$ 是非空有限的属性集，I为G和M的之间的二元关系， $I\subseteq G\times M$ 。若 $\left(g,m\right)\in I$ ，则表示对象g具有属性m，用1表示；否则，若 $\left(g,m\right)\notin I$ ，则称对象g不具有属性m，用0表示。

设G为任意非空、有限的集合，即论域。 $P\left(G\right)$ 是表示G中全部经典子集的集合， $O\left(G\right)$ 是表示G上全部模糊集的集合，与经典的形式背景不同，对于任意的 $g\in G,m\in M$ ， $\tilde{I}\left(g,m\right)\in \left[0,1\right]$ 表示对象g具有属性m的程度为 $\tilde{I}\left(g,m\right)$ 。定义映射 [10] $f:P\left(G\right)\to O\left(M\right),h:O\left(M\right)\to P\left(G\right)\in \left[0,1\right]$ ，

$f\left(\tilde{X}\right)={\displaystyle {\cap }_{x\in X}x\tilde{I}}$ ， $X\in P\left(G\right)$ ， $h\left(B\right)=\left\{x\in G:B\subseteq xI\right\}$ ， $B\in O\left(M\right)$ 。

定义2设 $K=\left(G,M,\tilde{I}\right)$ 为一个L模糊形式背景，其中 $G=\left\{g_1,g_2,\cdots ,g_r\right\}$ 是非空有限的对象集， $M=\left\{m_1,m_2,\cdots ,m_s\right\}$ 是非空有限的属性集， $\tilde{I}\subseteq G\times M$ 为G和M之间的L模糊关系，即 $\tilde{I}:G\times M\to L$ ，且L是有限完备剩余格，对于任意的 $g\in G,m\in M$ ， $\tilde{I}\left(g,m\right)$ 表示对象g具有属性m的程度。

例如 $\tilde{I}\left(g,m\right)=0.5$ ，表示对象 $g\in G$ 具有属性 $m\in M$ 的程度是0.5，令 $A\subset G,B\subset M$ ， $A^{\ast }$ 和 $B^{\ast }$ 的定义如下：

$A^{\ast }=\left\{m|\forall g\in A,\tilde{I}\left(g,m\right)>0\right\}$ ， $B^{\ast }=\left\{g|\forall m\in B,\tilde{I}\left(g,m\right)>0\right\}$

$A^{\ast }$ 是对象集A共同具有的属性集， $B^{\ast }$ 是共同具有属性集B的对象集。 $\langle A,B\rangle$ 是一个概念当且仅当 $A=B^{\ast }$ 且 $B=A^{\ast }$ 。

3. 主成分模糊概念格

主成分模糊形式背景的基本定义与相关理论基础包括：矩阵的转化、主成分形式背景、算法的定义等。

3.1. 模糊形式背景的转化

模糊形式背景 $\left(G,M,\tilde{I}\right)$ 通常是以数值表的形式呈现出来的，行和列分别对应模糊形式背景中的对象和属性。由于数值表呈现的是对象和属性之间的模糊关系，因此数值表可以用模糊形式背景矩阵的形式表示出来。

定义3设 $K=\left(G,M,\tilde{I}\right)$ 为一个L模糊形式背景，称 $X=\left({\tilde{I}}_{m_1},{\tilde{I}}_{m_2},\cdots ,{\tilde{I}}_{m_s}\right)$ 是由k形成的一个模糊形式背景矩阵，其中 ${\tilde{I}}_{m_j}$ 是模糊形式背景K中，任意的 $g\in G$ 的属性值 $\tilde{I}\left(g,m_j\right)$ 所形成的列向量，即 ${\tilde{I}}_{m_j}={\left(\tilde{I}\left(g_1,m_j\right),\tilde{I}\left(g_2,m_j\right),\cdots ,\tilde{I}\left(g_r,m_j\right)\right)}^{\text{T}}$ ， $j=1,2,\cdots ,s$ 。

3.2. 主成分模糊形式背景的构建

定义4设 $K=\left(G,M,\tilde{I}\right)$ 为一个L模糊形式背景，称 $E=\left[I_{m_1}^{*},I_{m_2}^{*},\cdots ,I_{m_s}^{*}\right]$ 为模糊形式背景矩阵X的标

准化矩阵，其中 $I_{m_j}^{*}=\frac{I_m{}_{{}_{ij}}-{\overline{\stackrel{˜}{I}}}_{m_j}}{\sqrt{\mathrm{var}\left(I_{m_j}\right)}}$ ， $i=1,2,\cdots ,r$ ； $j=1,2,\cdots ,s$ 。

式中， ${\overline{\stackrel{˜}{I}}}_{m_j}$ 和 $\sqrt{\mathrm{var}\left(I_{m_j}\right)}$ 分别是第j个变量的均值和标准差，在标准化之后每个变量的均值为0，标准差为1。

定义5设 $K=\left(G,M,\tilde{I}\right)$ 为一个L模糊形式背景，称 $R=E^{\text{T}}E$ 为模糊形式背景矩阵X的标准化矩阵的协方差矩阵，也即模糊形式背景的相关系数矩阵。

若用X的相关系数矩阵进行主成分分析，相关阵R的特征根为 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_s>0$ ，对应的单位特征向量分别为 $U_1,U_2,\cdots ,U_s$ 。

不损失X的变异信息，就相当于求一个线性变换

$\{\begin{array}{c}{F}_1=u_{11}{\tilde{I}}_{m_1}+u_{12}{\tilde{I}}_{m_2}+\cdots +u_{1s}{\tilde{I}}_{m_s},\\ F_2=u_{21}{\tilde{I}}_{m_1}+u_{22}{\tilde{I}}_{m_2}+\cdots +u_{2s}{\tilde{I}}_{m_s},\\ ⋮\\ F_s=u_{s1}{\tilde{I}}_{m_1}+u_{s2}{\tilde{I}}_{m_2}+\cdots +u_{ss}{\tilde{I}}_{m_s},\end{array}或F=U^{\text{T}}{X}^{\text{T}}$

其中 $X=\left({\tilde{I}}_{m_1},{\tilde{I}}_{m_2},\cdots ,{\tilde{I}}_{m_s}\right)$ ， $U=\left[\begin{array}{cccc}{u}_{11}& u_{21}& \cdots & u_{s1}\\ u_{12}& u_{22}& \cdots & u_{s2}\\ ⋮& ⋮& & ⋮\\ u_{1s}& u_{2s}& \cdots & u_{ss}\end{array}\right]=\left(U_1,U_2,\cdots ,U_s\right)$ ，U为正交矩阵， $F_j=U_j^{\text{T}}{X}^{\text{T}}$ 。

定义6设 $K=\left(G,M,\tilde{I}\right)$ 为一个L模糊形式背景， $K_F=\left(G,M_F,I_F\right)$ 是由K形成的主成分模糊形式背景，其中， $M_F=\left\{F_1,F_2,\cdots ,F_s\right\}$ 是属性的主成分集，任意的 $F_j\in M_F$ ，有 $F_j={\displaystyle \underset{i=1}{\overset{r}{\sum }}{k}_i{a}_i}$ ， $k_i\in R$ ， $a_i\in M$ ， $j=1,2,\cdots ,s$ ， $I_F$ 是G与 $M_F$ 之间的线性运算。

设 $K=\left(G,M,\tilde{I}\right)$ 为一个L模糊形式背景，对于 $0<\delta \le 1$ ，根据映射算子f和h的定义，可得以下性质：

$\forall \tilde{X},{\tilde{X}}_1,{\tilde{X}}_2\in P\left(G\right)$ ， $\forall B,B_1,B_2\in O\left(M\right)$ ，

1) ${\tilde{X}}_1\subseteq {\tilde{X}}_2\Rightarrow f\left({\tilde{X}}_1\right)\supseteq f\left({\tilde{X}}_2\right)$ ， $B_1\subseteq B_2\Rightarrow h\left(B_2\right)\subseteq h\left(B_1\right)$ ；

2) $f\left(X_1\cup X_2\right)=f\left(X_1\right)\cap f\left(X_2\right)$ ， $h\left(B_1\cup B_2\right)=h\left(B_1\right)\cap h\left(B_2\right)$ ；

3) $\tilde{X}\subseteq h\circ f\left(\tilde{X}\right)$ ， $B\subseteq f\circ h\left(B\right)$ ；

4) $f\left(\tilde{X}\right)\subseteq f\circ h\circ f\left(\tilde{X}\right)$ ， $h\left(B\right)=h\circ f\circ h\left(B\right)$ 。

若 $\left(\tilde{X},B\right)$ 满足 $\tilde{X}=h\left(B\right)$ 并且 $B=f\left(\tilde{X}\right)$ ，称 $\left(\tilde{X},B\right)$ 为K的一个经典–模糊概念，其中 $\tilde{X}$ 和B分别表示概念的外延和内涵。K的全体模糊–经典概念记作 $L\left(G,M,\tilde{I}\right)$ ，简记为 $L\left(\tilde{I}\right)$ ，成为K的经典–模糊概念格。

当模糊关系 $\tilde{I}$ 退化为经典关系I时，经典–模糊概念就会变成经典形式概念 [11] ，算子f和h也会变成相应的经典算子，因此，经典–模糊概念格是经典形式概念格的一种推广。

我们要想使得极少数 $F_j$ 能够反映出X的绝大部分的变异信息，并且又要求各个 $F_j$ 的信息不重叠(即各自不相关)，则 $M_F$ 的各个分量应要满足以下性质：

1) $F_j$ 在 $U_j^{\text{T}}{U}_j=1$ 之下的方差最大，即 $D\left(F_j\right)=U_j^{\text{T}}\Sigma U_j=\max$ ， $j=1,2,\cdots ,s$ (3.2.1)。

2) $\mathrm{cov}\left(F_i,F_j\right)=U_i^{\text{T}}\Sigma U_j=0$ ， $i\ne j$ 。

要使(3.2.1)式成立，则 $D\left(F_j\right)$ 的单位化向量 $U_j$ 应为协方差矩阵的非零特征根 ${\lambda }_j$ 所对应的单位化特征向量。

设R的非零特征根为 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_s>0$ ，所以这些非零特征根对应的单位化特征向量分别为 $U_1,U_2,\cdots ,U_s$ ，则 $F_1=U_1^{\text{T}}X,F_2=U_2^{\text{T}}X,\cdots ,F_s=U_s^{\text{T}}X$ 分别称为X的第一主成分，第二主成分， $\cdots$ ，第s主成分，这些主成分就是我们要求的综合指标。

它们有以下性质 [12] ；

1) $F_j$ 的方差为 ${\lambda }_j$ 。2) $F_i$ 和 $F_j$ $\left(i\ne j,{\lambda }_i\ne {\lambda }_j\right)$ 不相关。

$F_j$ 对X各个分量方差总和的贡献率，简称 $F_j$ 的方差贡献率，其值越大，则表明 $F_j$ 对X的综合能力

越强。称 $\eta \left(l\right)={\displaystyle \underset{j=1}{\overset{l}{\sum }}{\eta }_j}=\frac{{\displaystyle \underset{j=1}{\overset{l}{\sum }}{\lambda }_j}}{{\displaystyle \underset{j=1}{\overset{s}{\sum }}{\lambda }_j}}$ 为 $F_1,F_2,\cdots ,F_l\left(l\le s\right)$ 的累加方差贡献率，在实际生活应用中取 $\eta >85\%$ 就够

了。若取 $l<s$ 的情况下，即说明 $F_1,F_2,\cdots ,F_l$ 简化了原始的属性分量系统 ${\tilde{I}}_{m_1},{\tilde{I}}_{m_2},\cdots ,{\tilde{I}}_{m_s}$ (降维并且 $F_j$ 之间互不相关)，又说明能够独立反映X各个分量方差总和的85%以上。

定义7相关阵R的特征根为 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_s>0$ ，对应的单位特征向量为 $U_1,U_2,\cdots ,U_s$ ，则所求的主成分属性值为 $\tilde{I}\left(g_i,m_j\right)=U_j^{\text{T}}{E}_i^{\text{T}}\left(i=1,2,\cdots ,r;j=1,2,\cdots ,s\right)$ ， $U_j^{\text{T}}$ 是相关系数矩阵R的单位向量矩阵 $U^{\text{T}}$ 的行向量， $E_i^{\text{T}}$ 是原始数据标准化矩阵 $E^{\text{T}}$ 的列向量，E为X的标准化变量矩阵。

3.3. 主成分属性算法的计算步骤如下

1) 对于任意一个主成分属性模糊背景生成的 $r\times s$ 矩阵，代表r个对象在s个不同的主成分属性集合下构成的样本数据集；

2) 样本数据集通过去均值处理后，形成标准化矩阵E；

3) 对矩阵E的协方差矩阵进行特征分解：

$R=E{E}^{\text{T}}=U\Lambda U^{\text{T}}$

式中：R为E的协方差矩阵； $\Lambda$ 为协方差矩阵特征根按从大到小排列所构成的对角阵，记为 $\Lambda =Diag\left[{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_s\right]$ 其中 ${\lambda }_j$ 代表排序后的第j个特征值；U由特征值对应的单位化特征向量构成；

4) 计算处理后的数据表示为 $\tilde{I}\left(g,m_j\right)=U_j^{\text{T}}{E}^{\text{T}},j=1,2,\cdots ,s$ ， $\tilde{I}\left(g,m_j\right)$ 为通过单位化特征矩阵投影后的数据。

在现实生活应用中，通常根据特征值累积贡献率 $\eta >85\%$ 来选取前k个特征向量能够保留原模糊形式

背景的大部分信息。(注： $\eta =\frac{{\displaystyle \underset{j=1}{\overset{k}{\sum }}{\lambda }_j}}{{\displaystyle \underset{j=1}{\overset{s}{\sum }}{\lambda }_j}}$ )

程序计算

第一步：对数据X标准化为E;

Σ= zscore(X); % matlab内置的标准化函数(X-mean(X))/std(X);

第二步：计算样本协方差矩阵;

R = cov(E);

%%注意：以上两步可合并为下面一步：直接计算样本相关系数矩阵

R = corrcoef(E);

第三步：计算R的特征值和特征向量;

[λ, U] = eig(R); %U特征向量矩阵λ特征值构成的对角矩阵;

第四步：计算主成分贡献率和累计贡献率;

lambda = diag(D); % diag函数用于得到一个矩阵的主对角线元素值(返回的是列向量)

lambda = lambda(end:-1:1); %因为lambda向量是从小大到排序的，我们将其调个头

contribution_rate = lambda/sum(lambda); %计算贡献率

cum_contribution_rate =cumsum(lambda)/ sum(lambda); % 计算累计贡献率

disp('特征值为：')

disp(lambda') % 转置为行向量，方便展示

disp('贡献率为：')

disp(contribution_rate')

disp('累计贡献率为：')

disp(cum_contribution_rate')

disp('与特征值对应的特征向量矩阵为：')

%注意：这里的特征向量要和特征值一一对应，之前特征值相当于颠倒过来了，因此特征向量的各列需要颠倒过来

V=rot90(U)'; % rot90函数可以使一个矩阵逆时针旋转90度，然后再转置，就可以实现将矩阵的列颠倒的效果

disp(U);

第五步：计算我们所需要的主成分的值

4. 实例分析

例1 表1是一个形式模糊背景 $\left(G,M,\tilde{I}\right)$ ，K为模糊形式背景，其中 $G=\left\{1,2,3,4\right\}$ 为对象集， $M=\left\{m_1,m_2,m_3,m_4,m_5\right\}$ 为属性集。G到M上的模糊关系 $\tilde{I}$ 如表1所示：

Table 1. Fuzzy formal background

表1. 模糊形式背景

即由表1可知，K的模糊关系矩阵为： $X_{\tilde{I}}=\left[\begin{array}{ccccc}0.3& 0.2& 0.1& 0.7& 1.0\\ 0.2& 0.3& 0.7& 1.0& 0.9\\ 1.0& 0.7& 0.6& 0.2& 0.3\\ 0.3& 0.8& 1.0& 0.5& 0.0\end{array}\right]$

对矩阵 $X_{\tilde{I}}$ 标准化得矩阵E；

即 $E=\left[\begin{array}{ccccc}-0.4058& -1.0190& -1.3363& 0.2970& 0.9383\\ -0.6763& -0.6794& 0.2673& 1.1882& 0.7298\\ 1.4878& 0.6794& 0.0000& -1.1882& -0.5213\\ -0.4058& 1.0190& 1.0690& -0.2970& -1.1468\end{array}\right]$

>>R= cov(E)，得到样本相关系数矩阵为

$R=\left[\begin{array}{ccccc}1.0000& 0.4901& -0.0241& -0.8571& -0.3948\\ 0.4901& 1.0000& 0.7565& -0.7399& -0.9916\\ -0.0241& 0.7565& 1.0000& -0.1323& -0.7616\\ -0.8571& -0.7399& -0.1323& 1.0000& 0.7020\\ -0.3948& -0.9916& -0.7616& 0.7020& 1.0000\end{array}\right]$

>>[λ, U] = eig(R)

R的特征值及相应的单位化特征向量矩阵U为：

特征值 ${\lambda }_j$ ：3.42021.38290.19680.00000.0000

$U=\left[\begin{array}{ccccc}-0.3494& 0.5991& 0.6618& 0.2838& 0.0238\\ -0.5308& -0.1562& -0.1140& 0.0113& -0.8251\\ -0.3499& -0.6169& 0.5291& -0.3843& 0.2635\\ 0.4549& -0.4373& 0.3749& 0.6303& -0.2531\\ 0.5165& 0.2120& 0.3586& -0.6119& -0.4304\end{array}\right]$

由于前两个主成分的累积贡献率为 ${\eta }_{\left(2\right)}=\frac{3.4202+1.3829}{3.4202+1.3829+0.1968}=96.08\%$

故取前两个主成分

$F_1=-0.3494m_1-0.5308m_2-0.3499m_3+0.4549m_4+0.5165m_5$

$F_2=0.5991m_1-0.1562m_2-0.6169m_3-0.4373m_4+0.2120m_5$

就可简化原模糊形式背景，且能够保留原模糊形式背景变异信息的96.08%。

用matlab可计算主成分属性值得到主成分属性模糊背景如表2：

Table 2. Principal component attribute fuzzy formal background

表2. 主成分属性模糊形式背景

主成分属性模糊形式背景如表2所示，将主成分属性模糊形式背景中 $\left|I_F\left(g,m\right)\right|\ge \alpha$ 的值转换为1，就可以得到不同的经典形式背景，相应地就会得到不同的概念格，但是会导致一定程度的信息损失，为了最大程度的减少信息损失，本文将阈值 ${\alpha }_1$ 设为1.5和 ${\alpha }_2$ 设为1，将 $\left|I_F\left(g,m\right)\right|>1.6$ 和 $\left|I_F\left(g,m\right)\right|>1$ 的值转化为1，转换后的形式背景见表3。

Table 3. Transformed formal background

表3. 转换后的形式背景

该形式背景共有4个概念： $\left(134,F_1\right)$ ， $\left(34,F_1{F}_2\right)$ ， $\left(G,\varnothing \right)$ ， $\left(\varnothing ,M\right)$ ，其概念格如图1所示。

Figure 1. Concept lattice

图1. 概念格

对任意的 ${\tilde{X}}_1,{\tilde{X}}_2\in P\left(G\right)$ ，则都能得到 $f\left(X_2\right)\subseteq f\left(X_1\right)$ 满足性质。

5. 结论

模糊形式背景的约简问题一直是热门的研究问题，本文针对一般的模糊形式背景，经过一系列的定义，最后生成一个新的主成分属性模糊形式背景，其次通过设定阈值将模糊形式背景转换为经典形式背景，实现了模糊形式背景约简的灵活运用，具有理论和实际应用意义。今后将会进一步探讨和研究对于经典形式背景的概念格相关约简理论。