基于改进的Askey-Wilson多项式核函数

Based on Improved Askey-Wilson Polynomial Kernel Function

摘要: 基于Askey-Wilson多项式的性质，给出了两种Askey-Wilson多项式形式，分别与Rbf核函数和三角核函数进行组合，构造混合支持向量机AW核函数。所构造的AW核函数都含有一个重要核参数q，可通过改变q值来调整核函数。实验选取双螺线及6个UCI数据集，比较AW核函数在数据集上的泛化性能和鲁棒性。

Abstract: Based on the properties of Askey-Wilson polynomials, two forms of Askey-Wilson polynomials are given, which are combined with Rbf kernel function and triangular kernel function respectively to construct a hybrid support vector machine AW kernel function. The constructed AW kernel func-tions all contain an important kernel parameter q, which can be adjusted by changing the q value. The experiment selects the double helix and 6 UCI datasets to compare the generalization perfor-mance and robustness of the AW kernel function on the datasets.

1. 引言

一元Askey-Wilson多项式 $p_n\left(x;a,b,c,d|q\right)$ 是n阶的x多项式，包含五个参数a、b、c、d和q。参考标准的基本超几何表示法 [1] 和该多项式的三项递推表达式关系，可以推断Askey-Wilson多项式为正交多项式。正交多项式形成的正交函数系是分析数学中的一个重要组成部分，正交多项式在实际应用中有着良好的鲁棒性，现已被广泛应用于机器学习及数理统计等各方面。从分析组合角度出发，Askey-Wilson多项式可以给出一个明确的绝对连续测度的n阶矩函数 $u_n\left(a,b,c,d;q\right)$，该函数是包含参数a、b、c、d和q并混合二项式和q-二项式的有理函数。Jang Soo Kim [2] 通过组合模型的n阶矩函数，给出了新的n阶Askey-Wilson多项式组合形式，所包含的参数在多项式中权重有所不同，当参数 $d=0$ 时，得到的Askey-Wilson多项式表达式为对称的多项式，同样特殊情况 $b=-a$， $d=-c$ 也是如此。Askey-Wilson多项式在正交多项式邻域中是最新的研究成果，构造支持向量机的核函数也是十分有效的。Luís Daniel Abreu [3] 等人基于Askey-Wilson多项式构造出多项式再生核函数，Michael R. Hoare [4] 等人研究了其转移矩阵。Askey-Wilson多项式选取不同参数的值，可以获取不同的Askey-Wilson多项式核函数形式，但由于参数比较多，所以必须要有一种高效的寻参机制和核选择机制，利用自适应优化策略来控制参数。正交多项式核函数以往采用的是Rbf核函数与泛化正交多项式乘积的组合核。三角核函数有着与Rbf核函数相当的性能，本文提出了Askey-Wilson多项式两类形式分别与Rbf核函数和三角核函数组合形成混合核函数，并考察每一种混合核函数在支持向量机上的分类能力。

2. Askey-Wilson核函数

2.1. Askey-Wilson多项式

Askey-Wilson多项式表达式 [5] 为：

$p_n\left(x;a,b,c,d|q\right)={\left(ab,ac,ad;q\right)}_n{a}^{-n}{}_4\Phi {}_3\left(\begin{array}{c}{q}^{-n},abcd{q}^{n-1},a{\text{e}}^{i\theta },a{\text{e}}^{-i\theta }\\ ab,ac,ad\end{array}|q;q\right)$，

其中 $x=\cos \theta$，且 $\left|q\right|<1$。

Askey-Wilson多项式的递推公式 [2]：

$A_n{p}_{n+1}^{\alpha }\left(x\right)=\left(2x-B_n\right)p_n^{\alpha }\left(x\right)-C_n{p}_{n-1}^{\alpha }\left(x\right)$，

其中

$A_n=\frac{a^{-1}\left(1-ab{q}^{n+\alpha }\right)\left(1-ac{q}^{n+\alpha }\right)\left(1-ad{q}^{n+\alpha }\right)\left(1-abcd{q}^{n+\alpha -1}\right)}{\left(1-abcd{q}^{2n+2\alpha -1}\right)\left(1-abcd{q}^{2n+2\alpha }\right)}$

$C_n=\frac{a\left(1-bc{q}^{n+\alpha }\right)\left(1-bd{q}^{n+\alpha }\right)\left(1-cd{q}^{n+\alpha }\right)\left(1-q^{n+\alpha }\right)}{\left(1-abcd{q}^{2n+2\alpha -2}\right)\left(1-abcd{q}^{2n+2\alpha -1}\right)}$

$B_n=a+a^{-1}-A_n-C_n$

Askey-Wilson多项式的正交关系 [6] 为：

$\frac{1}{2\pi }{\displaystyle {\int }_{-1}^1\frac{\omega \left(x\right)}{\sqrt{1-x^2}}{p}_m\left(x;a,b,c,d|q\right)p_n\left(x;a,b,c,d|q\right)\text{d}x=h_n{\delta }_{mn}}$

其中 $h\left(x\right)={\left({\text{e}}^{i\theta },{\text{e}}^{-i\theta };q\right)}_{\infty }$， $\max \left(\left|a\right|,\left|b\right|,\left|c\right|,\left|d\right|,q\right)<1$。

2.2. 三角核函数

三角核函数是根据Laplace核函数 $K\left(x,z\right)=\exp \left(-\frac{\Vert x-z\Vert }{\sigma }\right)$ 改进而来。利用泰勒展开式，当 $\Vert x-z\Vert \to 0$ 时， $K\left(x,z\right)$ 近似等于 $1-\frac{\Vert x-z\Vert }{\sigma }$。当 $\sigma$ 为1或者2且 $z=0$，固定x范围， $K\left(x,z\right)=1-\frac{\Vert x-z\Vert }{\sigma }$ 核函数关于 $x=0$ 是一个对称的三角图形，故可称为三角核函数 [7]。

2.3. 两类AW核函数

第一类Askey-Wilson多项式， $b=c=d=0$， $a=q$ 时，根据递推公式 $A_n=q^{-1}$ 、 $C_n=q\left(1-q^n\right)$ 、 $B_n=q^{n+1}$，1到3阶AW广义多项式为

$p_1^1\left(x;q|q\right)=-q^2+2x$

$p_2^1\left(x;q|q\right)=\left(-q^2+2x\right)p_1^1{\left(x;q|q\right)}^{\text{T}}+q^2-1$

$p_3^1\left(x;q|q\right)=\left(-q^3+2x\right)p_2^1{\left(x;q|q\right)}^{\text{T}}+\left(q^3-1\right)\left(-q^2+2x\right)$

x为行向量， $p_n^1{\left(x;q|q\right)}^{\text{T}}$ 为 $p_n^1\left(x;q,q\right)$ 转置。

第二类Askey-Wilson多项式， $c=d=0$， $b=-a$， $a=q$ 时，根据递推公 $A_n=\left(1+q^{n+2}\right)/q$ $C_n=q\left(1-q^n\right)$ 、 $B_n=0$ 1到3阶的AW广义多项式为

$p_1^2\left(x;q|q\right)=2qx/\left(q^2+1\right)$

$p_2^2\left(x;q|q\right)=2qx{p}_1^2{\left(x;q|q\right)}^{\text{T}}/\left(1+q^3\right)+\left(q^3-q^2\right)/\left(1+q^3\right)$

$p_3^2\left(x;q|q\right)=2qx{p}_2^2{\left(x;q|q\right)}^{\text{T}}/\left(1+q^4\right)-\left(q^2-q^4\right)p_1^2\left(x;q|q\right)/\left(1+q^4\right)$

基于上述的两类Askey-Wilson多项式，建立n阶Askey-Wilson高斯核函数和Askey-Wilson三角核函数第一类AW高斯核函数 $K_{Gauss\_H}^1\left(x,z\right)=\exp \left(-\frac{{\Vert x-z\Vert }^2}{d}\right){\displaystyle \underset{j=0}{\overset{n}{\sum }}{P}_n^1\left(x\right){\left(P_n^1\left(z\right)\right)}^{\text{T}}}$，第一类AW三角核函数 $K_{Tri\_H}^1\left(x,z\right)=\left(1-\frac{\Vert x-z\Vert }{{\sigma }_0}\right){\displaystyle \underset{j=0}{\overset{n}{\sum }}{P}_n^1\left(x\right)P_n^1{\left(z\right)}^{\text{T}}}$。同理可以构建第二类AW高斯核函数 $K_{Gauss\_H}^2\left(x,z\right)$ 和第二类AW三角核函数 $K_{Tri\_H}^2\left(x,z\right)$。

根据Mercer条件 [6]，若 ${\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left({\displaystyle \int p_i\left(x\right)\phi \left(x\right)\text{d}x}\right)}^2}\ge 0$，则 $K\left(x,z\right)={\displaystyle \underset{i=1}{\overset{n}{\sum }}{p}_i\left(x\right){\left(p_i\left(z\right)\right)}^{\text{T}}}$ 是核函数。由于 $\exp \left(-\frac{{\Vert x-z\Vert }^2}{d}\right)$ 是Rbf核函数的一种形式，所以核函数成立。三角函数 $1-\frac{\Vert x-z\Vert }{{\sigma }_0}$，基于其单调性，利用Mercer定理，证明也是一个核函数 [6]。再根据核函数的性质，核函数的乘积组合依旧是核函数，所以第一类AW多项式混合函数和第二类AW多项式混合函数都可以作为支持向量机的核函数。

3. 实验结果

3.1. 在双螺旋分类对比

本文实验选择了238个样本点的双螺旋线数据集，通过第一类AW高斯核函数、第一类AW三角核函数、第二类AW高斯核函数、第二类AW三角核函数以及Rbf核函数来进行对比。表1列出了这5种核函数在双螺旋集上训练精度为100%时的分类间隔及支持向量的个数。如下是各类AW核函数在训练集上的分类界面图。

Table 1. Training results of kernel function on double helix

表1. 核函数在双螺旋线上训练结果

实验结果表明，AW核函数都能将双螺旋数据集准确的分类，且间隔都要优于Rbf核函数，尤其是第二类AW三角核函数最大间隔最好，其次是第二类AW高斯核函数。

3.2. 标准UCI数据集上的分类对比

选取的标准UCI数据集属性如表2所示。在这里只考虑1到3阶的AW核函数，核参数q取不同值时，1到3阶AW核函数对数据预测会产生不同准确率。选取最高的准确率，标明对应阶数，则得到实验结果如表3。根据表3的实验结果，挑选出AW核函数在每个数据集上最好的分类效果，然后和Rbf核函数、Poly核函数分类效果做出对比，得到表4。

Table 2. Attributes of experimental UCI data sets

表2. 实验种UCI数据集的属性

Table 3. Precision of four kinds of AW kernel function results: %

表3. 四类AW核函数结果精度：%

Table 4. Attributes of experimental UCI data sets

表4. 实验种UCI数据集的属性

从表4可以看出，第一类AW高斯核函数和第二类AW高斯核函数在sonar数据集上具有很好的表现，在vechicle和svmguide2表现比第一类AW三角核函数，第二类AW三角核函数要差一些。第一类AW三角核函数和第二类AW三角核函数可以通过调整核参数q的值从而获取最高的精度，比高斯核函数和多项式核函数而言有明显优势，因此有着非常好的鲁棒性的泛化能力。

NOTES

^*通讯作者。