基于特权信息的SVM模型研究及应用

Research and Application of SVM Model Based on Privileged Information

摘要: 当使用支持向量机(Support Vector Machines, SVM)进行分类时，可能会遇到训练样本中存在额外信息的情况。它是不可忽视的，因为它会严重影响测试样本的分类准确率。本文提出了一种基于特权信息的SVM模型，其包含了特权信息分布的多种情况，能有效地解决多种特权信息分布问题。本文首先叙述了SVM分类的基本原理，在简单介绍特权信息概念后，提出了基于特权信息的SVM模型及其特例。接着介绍了基于特权信息的SVM模型应用，最后对该研究领域存在的问题及发展方向进行了总结。

Abstract: When using Support Vector Machine (SVM) to training classification model, we may encounter ad-ditional information in training samples. Because it will seriously affect classification accuracy of test samples, it really can’t be ignored. In this paper, a SVM model based on privilege information is proposed, which contains many cases of privilege information and can solve many kinds of dis-tribution problems effectively. This paper first described the basic principles of SVM classification, and then it introduced the concept of privilege information. Next this paper proposed a SVM model based on privilege information and gave its special cases. Then, the application of SVM model based on privilege information was introduced. Finally, the existing problems and the development direction of this research were summarized.

1. 引言

支持向量机(SVM)是一种基于统计学习理论的机器学习方法 [1] 。SVM在一定程度上能够解决“维数灾难”与“过学习”等传统学习器难以解决的问题，同时它有直观的几何形式与完美的数学解释。由于其良好的性质，SVM被广泛应用于文本分类、目标检测、字符识别、回归预测等领域 [2] [3] [4] 。SVM也因此成为模式识别、机器学习中的热门课题。

在数据挖掘过程中，基于特权信息的学习方法(Learning Using Privileged Information，简称LUPI)是Vladimir Vapnik在近几年正在研究的一种新的学习方法。在这种学习方法中，除了标准的训练数据集以外，还具有一些额外信息，即特权信息。特权信息指的是在学习过程中对一个样本给出的解释、评价和比较等有价值性的信息，其作用不可忽视 [5] 。此外，基于特权信息的学习方法，在一定程度上能够对SVM模型起到补充作用，使得对待分类的测试样本点有更小的误差率。本文的主要研究是针对特权信息的分布情况提出了一种基于特权信息的SVM综合模型，该模型能够很好的处理多种特权信息分布模型。

2. 支持向量机(SVM)分类原理

SVM对数据的学习是把分类问题转化为一个有约束的二次规划问题进行求解，得到最优解以构造最优决策分类超平面来实现分类 [6] 。以二分类样本集的学习问题为例，已知样本集为 $\left\{\left(x_i,y_i\right),i=1,2,\cdots ,l\right\}$ ，其中 $x_i\in R^l$ 表示输入变量， $y_i\in \left\{-1,1\right\}$ 表示输出变量， $l$ 为样本个数。则得到SVM模型为

$\begin{array}{l}\underset{\omega ,b,\xi }{\min }\frac{1}{2}{\Vert w\Vert }^2+C{\displaystyle \underset{i=1}{\overset{l}{\sum }}{\xi }_i}\\ \text{s}\text{.t}\text{.}{y}_i\left(\left(w\cdot \varphi \left(x_i\right)\right)+b\right)\ge 1-{\xi }_i\\ {\xi }_i\ge 0,i=1,\cdots ,l\end{array}$

其中， $\varphi (\cdot )$ 为非线性映射， ${\xi }_i$ 为非负的松弛变量， $C$ 为惩罚参数。 ${\xi }_i$ 用于软化约束条件， $C$ 表示对错误的惩罚代价。在实际情况中，往往都是通过求解其对偶问题来获得最优解。对于该二次规划问题，采用拉格朗日乘子法将其转换为对偶形式：

$\begin{array}{l}\underset{\alpha }{\max }{\displaystyle \underset{i=1}{\overset{l}{\sum }}{\alpha }_i}-\frac{1}{2}{\displaystyle \underset{i=1}{\overset{l}{\sum }}{\displaystyle \underset{j=1}{\overset{l}{\sum }}{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left(x_i,x_j\right)}}\\ \text{s}\text{.t}\text{.}{\displaystyle \underset{i=1}{\overset{l}{\sum }}{y}_i}{\alpha }_i=0\\ 0\le {\alpha }_i\le C,i=1,\cdots ,l\end{array}$

其中， $K\left(\cdot ,\cdot \right)$ 为核函数，且 $K\left(x_i,x_j\right)=\varphi \left(x_i\right)\cdot \varphi \left(x_j\right)$ 。

可以证明，上述优化问题的最优解 ${\alpha }^{\ast }={\left({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_l^{\ast }\right)}^{\text{T}}$ 中只有一部分(通常是少部分) ${\alpha }_i^{\ast }$ 的分量不为零。这时，我们就把不为零的 ${\alpha }_i^{\ast }$ 对应的样本点定义为支持向量，这就是SVM的基本思想。选择向量 ${\alpha }^{\ast }$ 中一个小于 $C$ 的正分量 ${\alpha }_j^{\ast }$ ，并据此计算

$b^{\ast }=y_j-{\displaystyle \underset{i=1}{\overset{l}{\sum }}{y}_i{\alpha }_i^{\ast }}K\left(x_i,x_j\right),\forall j\in \left\{j|{\alpha }_j^{\ast }>0\right\}$

从而得到最优决策函数：

$f\left(x\right)=\mathrm{sgn}\left\{{\displaystyle \underset{i=1}{\overset{l}{\sum }}{\alpha }_i^{\ast }{y}_{i}K\left(x_i,x\right)+b^{\ast }}\right\}$

3. 具有特权信息的SVM模型

3.1. 基于特权信息的监督学习

通常来说，可以将监督学习描述为：给定一个概率分布 $P\left(x,y\right)$ 未知的训练集 $\left(x_1,y_1\right),\cdots ,\left(x_l,y_l\right)$ 。对这个训练集进行学习，在给定的一系列函数 $f\left(x,a\right),a\in \Lambda$ 中寻找一个函数 $y=f\left(x,{\alpha }^{\ast }\right)$ 使得待分类的测试样本点被错误分类的概率达到最小。

在数据挖掘过程中，基于特权信息的学习方法除了需要处理标准的训练数据集 $\left(x,y\right)\in X\times \left\{\pm 1\right\}$ 以外，还需要处理一些特权信息 $x^{\ast }\in X^{\ast }$ 。这些特权信息能应用到训练样本中，却不能应用于测试样本。所以该方法要求：给定一个训练集 ${\left\{\left(x_i,x_i^{\ast },y_i\right)\right\}}_{i=1}^l$ ，寻找一个函数 $f:X\to \left\{-1,1\right\}$ ，使得对待分类的测试样本点有较小的误差率。此外，基于特权信息的学习方法，在一定程度上能够对SVM模型起到补充作用。基于特权信息的模型和一般的SVM模型的不同之处就在于，在训练阶段，给出的是带有特权信息的样本集 $\left(x,x^{\ast },y\right)$ 而不是 $\left(x,y\right)$ 。这些特权信息 $x^{\ast }\in X^{\ast }$ 是属于一个不同于 $X$ 空间的 $X^{\ast }$ 空间。

在现实生活中，特权信息是普遍存在的。而对于几乎所有的机器学习问题，都会存在着一些可应用的不同种类的特权信息。基于特权信息的学习方法的主要目标是通过使用特权信息来增加算法的收敛速度 [7] [8] 。同时，这些特权信息都或多或少的与预测的结果相关联，所以在机器学习中加入这样的特权信息，有望使得数据的类型得到丰富，预测的结果得到进一步的精准。但是，值得注意的是，这些特权信息在训练集上是可提供的，但是对于测试集来说就难以提供了。

3.2. 具有特权信息的SVM模型及其特例

3.2.1. 具有特权信息的SVM模型

给定 $l\left(l\in N^{+}\right)$ 个样本，假设：

(1) 其中 $n\left(n\in N^{+}\right)$ 个样本无特权信息，其余 $\left(l-n\right)$ 个样本具有特权信息；

(2) 具有特权信息的 $\left(l-n\right)$ 个样本来自于 $t\left(t\in N^{+}\right)$ 个不同的特权空间。

即样本集合可表示为： $\left(x_1,y_1\right)$ ， $\cdots$ ， $\left(x_n,y_n\right)$ ， $\left(x_{n+1},x_{n+1}^1,y_{n+1}\right)$ ， $\cdots$ ， $\left(x_m,x_m^1,y_m\right)$ ， $\cdots$ ， $\left(x_A,x_A^j,y_A\right)$ ， $\cdots$ ， $\left(x_B,x_B^j,y_B\right)$ ， $\cdots$ ， $\left(x_d,x_d^t,y_d\right)$ ， $\cdots$ ， $\left(x_l,x_l^t,y_l\right)$ ， $0\le n\le m\le A\le B\le d\le l$ ， $n\in N^{+}$ ， $m\in N^{+}$ ， $A\in N^{+}$ ， $B\in N^{+}$ ， $d\in N^{+}$ 。

对训练集 $\left(x,y\right)$ 与 $\left(x,x^j,y\right)$ ，我们将向量 $x\in X$ 映射到空间 $Z$ ，向量 $x^j\in X^j$ 映射到空间 $Z^j$ 。第 $j\left(j=1,2,\cdot \cdot \cdot ,t\right)$ 个特权空间中的松弛变量 ${\xi }^j$ 可用校正函数 $\phi \left({}_i^j\right)=\left(w\cdot z_i^j\right)+b^j$ 与变量 ${\xi }_i^j$ 混合模拟，即 ${\xi }^j=\left(w^j\cdot z_i^j\right)+b^j+{\xi }_i^j$ ， $\left(w^j\cdot z_i^j\right)+b^j\ge 0$ ， ${\xi }_i^j\ge 0$ ， $1\le i\le l$ 。求解如下线性规划问题：

$\begin{array}{l}\underset{w,w^1,\cdots ,w^t,b,b^1,\cdots ,b^t,\xi ,{\xi }^1,\cdots ,{\xi }^t}{\min }\frac{1}{2}\left[\left(w\cdot w\right)+\gamma \left(\left(w^1\cdot w^1\right)+\cdot \cdot \cdot +\left(w^j\cdot w^j\right)+\cdot \cdot \cdot +\left(w^t\cdot w^t\right)\right)\right]+C{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\xi }_i}\\ +C_1{\displaystyle \underset{n+1}{\overset{m}{\sum }}\left[\left(w^1\cdot z_i^1\right)+b^1\right]}+{\theta }_1{C}_1{\displaystyle \underset{i=n+1}{\overset{m}{\sum }}{\xi }_i^1}+\cdot \cdot \cdot +C_j{\displaystyle \underset{A}{\overset{B}{\sum }}\left[\left(w^j\cdot z_i^j\right)+b^j\right]}\\ +{\theta }_j{C}_j{\displaystyle \underset{i=A}{\overset{B}{\sum }}{\xi }_i^j+\cdot \cdot \cdot +}{C}_k{\displaystyle \underset{d}{\overset{l}{\sum }}\left[\left(w^t\cdot z_i^t\right)+b^t\right]}+{\theta }_k{C}_k{\displaystyle \underset{i=d}{\overset{l}{\sum }}{\xi }_i^t}\end{array}$

$\begin{array}{l}\text{s}\text{.t}\text{.}{y}_i\left[\left(w\cdot z_i\right)+b\right]\ge 1-{\xi }_i,i=1,\cdot \cdot \cdot ,n\\ y_i\left[\left(w\cdot z_i\right)+b\right]\ge 1-\left[\left(w^j\cdot z_i^j\right)+b^j+{\xi }_i^j\right],j=1,2,\cdot \cdot \cdot ,t\\ {\xi }_i\ge 0,i=1,\cdot \cdot \cdot ,n\\ {\xi }_i^1,{\xi }_i^2,\cdot \cdot \cdot ,{\xi }_i^t\ge 0\\ \left(w^j\cdot z_i^j\right)+b^j\ge 0,j=1,2,\cdot \cdot \cdot ,t\end{array}$

其中 $i$ 为对应特权空间的样本序号， $\gamma$ ， $C$ ， $C_j$ 为惩罚参数，参数 ${\theta }_j$ 的作用是调节线性函数 $\phi \left({}_i^j\right)=\left(w^j\cdot z_i^j\right)+b^j$ 与变量 ${\xi }_i^j$ 两者之间的惩罚程度。

求解此二次优化问题的标准方法是构造拉格朗日函数，引入拉格朗日乘子 ${\alpha }_i$ 与 ${\beta }_i$ ， ${\alpha }_i\ge 0$ ， ${\beta }_i\ge 0$ ， $0\le i\le l$ 。首先极小化 $w,w^1,\cdot \cdot \cdot ,w^t,b,b^1,\cdot \cdot \cdot ,b^t,\xi ,{\xi }^1,\cdot \cdot \cdot ,{\xi }^t$ ，然后极大化拉格朗日乘子 $\alpha$ 与 $\beta$ ，可得到原始模型的对偶问题为：

$\begin{array}{l}\underset{\alpha ,\beta }{\max }{\displaystyle \underset{i=1}{\overset{l}{\sum }}{\alpha }_i}-\frac{1}{2}{\displaystyle \underset{i,k=1}{\overset{l}{\sum }}{\alpha }_i{\alpha }_k{y}_i}{y}_{k}K\left(x_i,x_k\right)\\ -\frac{1}{2\gamma }{\displaystyle \underset{i,k=n+1}{\overset{m}{\sum }}\left({\alpha }_i+{\beta }_i-C_1\right)}\left({\alpha }_k+{\beta }_k-C_1\right)K^1\left(x_i^1,x_k^1\right)\\ -\cdot \cdot \cdot -\frac{1}{2\gamma }{\displaystyle \underset{i,k=A}{\overset{B}{\sum }}\left({\alpha }_i+{\beta }_i-C_j\right)}\left({\alpha }_k+{\beta }_k-C_j\right)K^j\left(x_i^j,x_k^j\right)\\ \cdot -\cdot \cdot -\frac{1}{2\gamma }{\displaystyle \underset{i,k=d}{\overset{l}{\sum }}\left({\alpha }_i+{\beta }_i-C_t\right)}\left({\alpha }_k+{\beta }_k-C_t\right)K^t\left(x_k^t,x_k^t\right)\end{array}$

$\begin{array}{l}\text{s}\text{.t}\text{.}{\displaystyle \underset{i=1}{\overset{l}{\sum }}{\alpha }_i{y}_i}=0\\ {\displaystyle \underset{i=1}{\overset{n}{\sum }}\left({\alpha }_i+{\beta }_i-C\right)}=0\\ {\displaystyle \underset{i=n+1}{\overset{l}{\sum }}\left({\alpha }_j+{\beta }_j-C_j\right)}=0,j=1,\cdot \cdot \cdot ,t;\\ 0\le {\alpha }_i\le {\theta }_j{C}_j,i=1,\cdot \cdot \cdot ,l;j=1,\cdot \cdot \cdot ,t\\ {\alpha }_i\ge 0,{\beta }_i\ge 0\end{array}$

其中 $A,B$ 分别为相应特权空间的起始样本与终止样本序号。

在这种情况下，对偶空间解决方案定义了决策函数 $y=\mathrm{sgn}\left[f\left(x\right)\right]$ ，其中

$f\left(x\right)=\left(w\cdot z\right)+b={\displaystyle \underset{i=1}{\overset{l}{\sum }}{\alpha }_i{y}_{i}K\left(x_i,x\right)}$ 。

3.2.2. 具有特权信息的SVM模型特例

1) 全部样本存在特权信息的SVM模型

给定的训练集 $\left(x,x^{\ast },y\right)$ 包括了来自空间 $X$ 的向量 $x$ 和来自空间 $X^{\ast }$ 的向量 $x^{\ast }$ ，我们做映射 $x\to z\in Z,x^{\ast }\to z^{\ast }\in Z^{\ast }$ 。由此，我们分别定义线性的决策函数和校正函数为 $\left(w\cdot z\right)+b$ 和 $\left(w^{\ast }\cdot z^{\ast }\right)+b^{\ast }$ 。求解如下的最优化问题：

$\begin{array}{l}\underset{\omega ,{\omega }^{\ast },b,b^{\ast }}{\min }\frac{1}{2}\left[\left(w\cdot w\right)+\gamma \left(w^{\ast }\cdot w^{\ast }\right)\right]+C{\displaystyle \underset{i=1}{\overset{l}{\sum }}\left[\left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }\right]}\\ \text{s}\text{.t}.y_i\left[\left(w\cdot z_i\right)+b\right]\ge 1-\left[\left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }\right],i=1,\cdots ,l\\ \left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }\ge 0,i=1,\cdots ,l\end{array}$

其中， $\gamma$ 与 $C$ 为惩罚系数。

2) 全部样本存在特权信息且松弛变量改动的SVM模型

我们通过线性函数 $\varphi \left(x_i\right)=\left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }$ 和变量 ${\xi }_i^{\ast }$ 混合的函数来定义松弛变量 ${\xi }_i$ ，由此得出：

${\xi }_i=\left[\left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }\right]+{\xi }_i^{\ast },i=1,\cdots ,l$

$\left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }\ge 0,{\xi }_i^{\ast }\ge 0,i=1,\cdots ,l$

求解如下的最优化问题：

$\begin{array}{l}\underset{\omega ,{\omega }^{\ast },b,b^{\ast },{\xi }^{\ast }}{\min }\frac{1}{2}\left[\left(w\cdot w\right)+\gamma \left(w^{\ast }\cdot w^{\ast }\right)\right]+C{\displaystyle \underset{i=1}{\overset{l}{\sum }}\left[\left(w^{\ast }\cdot z^{\ast }\right)+b^{\ast }\right]}+\theta C{\displaystyle \underset{i=1}{\overset{l}{\sum }}{\xi }_i^{\ast }}\\ \text{s}\text{.t}\text{.}{y}_i\left[\left(w\cdot z_i\right)+b\right]\ge 1-\left[\left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }\right]-{\xi }_i^{\ast }\\ \left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }\ge 0\\ {\xi }_i^{\ast }\ge 0\end{array}$

其中， $\gamma$ 与 $C$ 为惩罚系数，参数 $\theta$ 的作用是用来调节线性函数和变量 $\varphi \left(x_i\right)=\left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }$ 和变量 ${\xi }_i^{\ast }$ 两者之间的惩罚程度。

3) 只有部分训练样本存在特权信息的SVM模型

当样本中只有一部分存在可提供的特权信息，而有 $n$ 个样本是没有特权信息时，样本集合表示为： $\left(x_1,y_1\right)$ ， $\cdots$ ， $\left(x_n,y_n\right)$ ， $\left(x_{n+1},x_{n+1}^{\ast },y_{n+1}\right)$ ， $\cdots$ ， $\left(x_l,x_l^{\ast },y_l\right)$ 。在这种情况下，只需要对有特权信息的样本做些处理，这种情况的最优化模型为：

$\begin{array}{l}\underset{\omega ,{\omega }^{\ast },b,b^{\ast }}{\min }\frac{1}{2}\left[\left(w\cdot w\right)+\gamma \left(w^{\ast }\cdot w^{\ast }\right)\right]+C{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\xi }_i}+C^{\ast }{\displaystyle \underset{i=n+1}{\overset{l}{\sum }}\left[\left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }\right]}\\ \text{s}\text{.t}\text{.}{y}_i\left[\left(w\cdot z_i\right)+b\right]\ge 1-{\xi }_i,i=1,\cdots ,n\\ y_i\left[\left(w\cdot z_i\right)+b\right]\ge 1-\left[\left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }\right],i=n+1,\cdots ,l\\ {\xi }_i\ge 0,i=1,\cdots ,n\\ \left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }\ge 0,i=n+1,\cdots ,l\end{array}$

其中， $\gamma$ ， $C$ 与 $C^{\ast }$ 为惩罚系数。

4) 来自多空间特权信息的SVM模型

假设所给的特权信息来自于不同的空间，不失一般性，我们可以考虑两个校正空间： $X^{\ast }$ 和 $X^{\ast \ast }$ 空间。令所给的样本集中部分样本点的形式为： $\left(x_i,x_i^{\ast },y_i\right),i=1,\cdots ,n$ ，剩下部分样本点的形式为： $\left(x_i,x_i^{\ast \ast },y_i\right),i=n+1,\cdots ,l$ 。

为了让样本集线性可分，我们把向量 $x\in X$ 映射到空间 $Z$ ，向量 $x^{\ast }\in X^{\ast }$ 映射到空间 $Z^{\ast }$ ，向量 $x^{\ast \ast }\in X^{\ast \ast }$ 映射到空间 $Z^{\ast \ast }$ ，由此组成三个线性函数 $\left(w\cdot z\right)+b$ ， $\left(w^{\ast }\cdot z^{\ast }\right)+b^{\ast }$ ， $\left(w^{\ast \ast }\cdot z^{\ast \ast }\right)+b^{\ast \ast }$ 。由此我们可以得到来自多空间的特权信息学习模型的最优化问题为：

$\begin{array}{l}\underset{\omega ,{\omega }^{\ast },{\omega }^{\ast \ast }，b,b^{\ast },b^{\ast \ast }}{\min }\frac{1}{2}\left[\left(w\cdot w\right)+\gamma \left(\left(w^{\ast }\cdot w^{\ast }\right)+\left(w^{\ast \ast }\cdot w^{\ast \ast }\right)\right)\right]\\ +C{\displaystyle \underset{i=1}{\overset{n}{\sum }}\left[\left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }\right]}+C^{\ast }{\displaystyle \underset{i=n+1}{\overset{l}{\sum }}\left[\left(w^{\ast \ast }\cdot z_i^{\ast \ast }\right)+b^{\ast \ast }\right]}\end{array}$

$\begin{array}{l}\text{s}\text{.t}\text{.}{y}_i\left[\left(w\cdot z_i\right)+b\right]\ge 1-\left[\left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }\right],i=1,\cdots ,n\\ y_i\left[\left(w\cdot z_i\right)+b\right]\ge 1-\left[\left(w^{\ast \ast }\cdot z_i^{\ast \ast }\right)+b^{\ast \ast }\right],i=n+1,\cdots ,l\\ \left(w^{\ast }\cdot z_i^{\ast }\right)+b^{\ast }\ge 0,i=1,\cdots ,n\\ \left(w^{\ast \ast }\cdot z_i^{\ast \ast }\right)+b^{\ast \ast }\ge 0,i=n+1,\cdots ,l\end{array}$

其中， $\gamma$ ， $C$ 与 $C^{\ast }$ 为惩罚系数。

4. 具有特权信息的SVM模型应用

1) 具有特权信息的SVM模型在恶意软件检测中的应用

工程、金融、医药等方面的一些重要应用问题可以作为基于分类的异常检测问题 [9] 。解决这个问题的一个经典办法是使用SVM来描述正常状态。然后为了检测异常，Burnaev提出了一种新的分类方法。同时制定了一个新的问题陈述及相应的算法，可以在训练阶段考虑到特权信息。使用合成数据集以及恶意软件分类数据集来评估新方法的性能。

Burnaev提供了改进分类问题的方法即允许合并特权信息。从实验结果可以看出，在某些情况下，特权信息可以显著提高异常检测的准确性。在特权信息对于相关问题的结构没有用的情况下，特权信息不会对分类功能产生重大影响 [10] 。

2) 基于特权信息的SVM模型在高级学习范式中的应用

在Vapnik的“基于经验数据的依赖估计”一书后记中，引入了一种名为学习使用隐藏信息的高级学习范式(LUHI) [11] 。这个后记还提出了SVM的扩展算法来解决LUHI示例。与现有的机器学习模式中教师不起作用相比，在新的范式中，教师可以为学生提供解释，评论，比较等方面存在的隐藏信息。Vapnik讨论了新范式的细节和相应算法，同时考虑了特定信息的几种具体形式，在解决实际问题时展示了新范式优于经典范式。

这种新的学习范式使得科学与人文和情感等元素进行整合。在数字识别问题中这样整合的元素描述为特权信息，这种特权信息有助于新范式的学习 [12] 。新范式是广泛适用的，它不仅可以成为机器学习的一个重要分析方向，也可以成为统计学，认知科学和哲学领域的重要分析方向。

3) 基于特权信息的SVM模型与经验风险最小化算法的综合应用

在使用特权信息的学习范式中，除了决策空间中的标准训练数据之外，教师还向学习者提供特权信息 [13] 。学习者的目标是在决策空间中找到一个泛化误差较小的分类器。Pechyony制定了具有特权信息的经验风险最小化算法，称为特权ERM，并给出了风险约束且叙述了修正空间的条件。即使决策空间中的原始学习问题非常困难，特权ERM也允许进行快速学习。结果显示在决策空间中特权ERM比常规ERM的学习速率快得多 [14] [15] 。

5. 总结与讨论

本文的主要研究内容是：针对特权信息的分布情况，提出了一种基于特权信息的SVM综合模型，其中包含了多种特权信息分布的模型。此外，本文总结了国内外研究者对基于特权信息的SVM在几个领域的应用，并加以讨论。总结发现，基于特权信息的SVM模型以统计学习理论为基础，存在全局泛化性能好、收敛速度较快等优点，但同时也存在诸多缺陷，有很多问题需深入研究。

(1) SVM算法的核心是核函数及其参数，它们的正确选取对SVM的预测及泛化性能影响很大 [16] 。对于具体问题，基于特权信息的SVM模型究竟选择哪种核函数并找到最优的参数对求解问题至关重要。因此，如何快速准确地选择核函数及对应的参数是亟待解决的问题。

(2) 在大规模及实时性要求较高的系统中，基于特权信息的SVM算法受制于求解问题的收敛速度和系统规模的复杂程度。尤其要处理大规模数据时，基于特权信息的SVM算法需要解决样本规模和速度间的矛盾，提高训练的效率和精度。

(3) 如何有效地将二分类有效地扩展到多分类问题上，基于特权信息的多分类SVM模型的优化设计也是今后研究的内容。

(4) 针对特定问题如何实现基于特权信息的SVM模型与其他算法的融合，从而顺利地解决问题也是今后需要研究的方向。

基金项目

国家自然科学基金项目(11301492)；中国地质大学(武汉)基础研究基金项目(CUGL140420)。