海量数据中的分布式支持向量回归

Distributed Support Vector Regression of Massive Datasets

摘要: 大规模的数据给传统的统计推断方法带来了新的挑战，比如在分析超过一台计算机容量的海量数据集时，由于数据太大，无法保存在计算机内存中，计算任务可能需要花费很长时间才能获得结果。为了有效地解决海量数据情形下的诸多问题，本文研究了支持向量回归的分布式估计。首先采用平滑技术发展了一种平滑支持向量回归(S-SVR)估计方法。然后基于分而治之的思想，针对海量数据集对S-SVR估计方法提出了分而治之支持向量回归估计算法(DC-SVR)，该方法解决了内存限制和计算时间的问题。此外，本文中提出的DC-SVR方法中的参数可通过网格搜索和交叉验证相结合的方法获得，具有自适应性，其中最优的参数是由每次数据自动选择的。在模拟研究中，通过不同情形的实验表明了文章所提估计量的优越性，模拟结果显示通过DC-SVR所得的估计量在平均绝对偏差和均方误差评价准则下的差异更小。

Abstract: Large scale data brings new challenges to the traditional statistical inference methods. For example, when analyzing massive datasets whose sizes usually exceed the capacity of a single computer, the data is too large to be saved in computer memory and computing task may take too long to get the results. In order to effectively solve many problems in the case of massive data, this paper studies the distributed estimation of support vector regression. Firstly, we develop smoothed support vector regression (S-SVR) estimation method. Then based on the idea of divide-and-conquer, we propose divide-and-conquer support vector regression estimation algorithm (DC-SVR) for the S-SVR estimation method of massive datasets. This method solves the problems of memory limitation and computing time. In addition, the parameters in the DC-SVR method can be obtained by the combination of grid search and cross validation, which is adaptive. The optimal parameters are automatically selected by each data. In the simulation study, a lot of numerical simulation studies are carried out to verify the superiority of our proposed distributed estimator. The simulation results show that the DC-SVR estimator has less difference under the evaluation criteria of mean absolute deviation and mean square error.

1. 引言

近年来，对海量数据集的统计分析已成为人们日益关注的课题。数据集的规模不断扩大，部分原因是它们越来越多地被无处不在的信息传感移动设备、遥感技术和无线传感器网络等收集。这些数据的规模给传统的统计估计方法带来了新的挑战。数据库有数百个字段、数十亿条记录和数兆字节的信息并不少见。例如，大型文本语料库很容易超过内存限制，因此不能一次全部加载到内存中。例如，在给定样本的情况下，经典的估计方法通常会建立一个极大似然估计(MLE)问题，然后用确定性优化方法(如梯度下降法或牛顿法)求解极大似然估计。然而，当样本量过大时，采用这种方法有两个主要障碍。首先，在分析大小通常超过一台计算机容量的海量数据集时，机器没有足够的内存来一次加载整个数据集。其次，确定性优化方法计算量大，计算任务可能需要太长时间才能获得结果。为了解决存储限制和计算问题，最近在统计学中引入了起源于计算机科学文献的分布式计算方法。一种通用的分布式计算方案是将整个数据集划分为多个部分，然后对每个部分独立执行统计分析，即每台机器用存储在本地的数据形成一个局部估计量。最终的估计量将通过局部估计量之间的一些聚合来获得。

在分布式统计学习中，最简单和最流行的方法是平均法。平均最先是由McDonald et al. (2009) [1] 提出的，用于多项式回归，他们给出了估计误差的非渐近误差界，表明平均化降低了局部估计量的方差，但对偏差没有影响。在后续工作中，Zinkevich et al. (2010) [2] 研究了平均的一种变形，其中每台机器都在数据集的随机子集上计算具有随机梯度下降(SGD)的局部估计量，证明了他们的估计器收敛于集中估计器。Zhang et al. (2013) [3] 研究了两种基于大规模数据的分布式统计优化算法。第一个算法是平均法，第二种算法是一种基于适当形式的引导的新方法，只需要进行一轮通信。Cheyer et al. (2014) [4] 提出了一种分治方法，并使用几种计算密集型惩罚回归方法对其进行了分析。这种分治方法可以大大减少计算时间和计算机内存需求。2016年Jordan et al. [5] 提出了一种解决分布式统计学习问题的Communication-efficient Surrogate Likelihood (CSL)框架。2017年Lee et al. [6] 设计了一种在高维环境下实现分布式稀疏回归的高效通信方法。在2020年，Chen et al. [7] 研究并提出了主成分分析(PCA)的分布估计问题。

支持向量机(Support Vector Machine)是由Cortes和Vapnik [8] 于1995年最先提出的，是统计机器学习中最流行的方法之一，具有相对优良的性能指标，在图像分析、医学、神经网络等领域有着广泛的应用。SVM最初是针对经典的二分类问题提出的(Liu et al. 2007 [9]; Hsieh et al. 2013 [10]; Lian et al. 2018 [11] )，支持向量分类(Support Vector Classification)。然而，随着支持向量机方法理论的发展，支持向量机应用的领域越来越广泛，其中一个重要的应用是解决回归问题，即支持向量回归(Support Vector Regression)。支持向量回归与传统机器学习方法相比有较好的学习性能，是一种稳健而有效的估计方法，成为统计机器学习理论的研究热点。2004年Smola et al. [12] 详细概述了支持向量机用于回归和函数估计的基本思想。2009年ReShma et al. [13] 通过用正则化最小二乘的模糊支持向量回归，以此来处理相应的金融时间序列预测。2013年Rivas et al. [14] 提出了一种训练大规模SVR模型的求解方法，该方法将SVR问题转化为一个线性规划问题。2017年Anyu Cheng et al. [15] 通过基于混沌理论、支持向量回归的多源多尺度的交通流预测算法，并由支持向量回归模型来预测某市区的实际交通流量的变化。2019年S. Maldonado et al. [16] 提出了一套基于ε-SVR的时间序列预测问题滞后期自动选择的算法并且验证了该算法的优越性能。

SVR需要解决一个非光滑优化问题，这对于海量数据集来说计算是非常密集的。因此，在第二章中本文采用平滑技术(Horowitz 1998 [17]; Pang et al. 2012 [18]; Chen et al. 2018 [19] 和Wang et al. 2019 [20] )，提出了平滑支持向量回归(S-SVR)估计方法。然后，在有限的内存约束下，在第三章中提出了海量数据集的DC-SVR方法，该方法解决了内存限制和计算时间问题。在实践中，具有固定(非自适应)参数的学习过程只有在某些情况下才有其优势，因为不同的参数可能适合不同的数据，在以往的支持向量回归中，参数一般是提前指定的，它是非自适应性的，所以在第四章中我们考虑了SVR的自适应参数，并且给出了本文的算法。第五章中，本文通过数值模拟验证了该方法的有效性。

2. 支持向量回归

2.1. 经典支持向量回归

本文假设有n个样本 $\left\{\left(X_{i_{-}},y_i\right)\right\}$ 来自以下模型：

$y_i=X_{i_{-}}^{\text{T}}{\beta }_{-}+e_i,i=1,2,\cdots ,n,$ (1)

考虑随机变量 $\left(X_{-},Y\right)$ ，其中 $X_{-}={\left(X_1,\cdots ,X_p\right)}^{\text{T}}\in {ℝ}^p$。定义 $\beta ={\left({\beta }_0,{\beta }_1,\cdots ,{\beta }_p\right)}^{\text{T}}={\left({\beta }_0,{\beta }_{-}\right)}^{\text{T}}\in {ℝ}^{\left(p+1\right)}$ ， $X={\left(1,X_1,\cdots ,X_p\right)}^{\text{T}}$ ，超平面 ${\beta }_0+X_{-}^{\text{T}}{\beta }_{-}=0$。SVR的目标是估计由 ${\beta }_0+X_{-}^{\text{T}}{\beta }_{-}=X^{\text{T}}\beta$ 定义的超平面通过求解优化问题：

$\begin{array}{l}\underset{{\beta }_{-},{\beta }_0}{\min }\frac{1}{2}{\Vert {\beta }_{-}\Vert }^2\\ \text{s}\text{.t}\text{.}\left|y_i-X_i^{\text{T}}\beta \right|\le \epsilon ,i=1,2,\cdots ,n\end{array}$ (2)

通过引入两个松弛变量 $\left({\xi }_i,{{\xi }^{\prime }}_i\right)$ ，对SVR问题进行优化，对于任何样本 $\left(X_i,y_i\right)$ ，当划分有误差时，松弛变量都大于0，误差不存在时松弛变量为0。其中观测值 $y_i\ge X_i^{\text{T}}\beta +\epsilon$ 出现误差时对应于松弛变量 ${\xi }_i>0$ ，观测值 $y_i\ge X_i^{\text{T}}\beta -\epsilon$ 出现误差时对应的松弛变量是 ${{\xi }^{\prime }}_i>0$。所以引入松弛变量后，可以将目标问题等式(2)转化为如下式(3)求解问题：

$\begin{array}{l}\underset{{\beta }_{-},{\beta }_0,{\xi }_i,{{\xi }^{\prime }}_i}{\min }\frac{1}{2}{\Vert {\beta }_{-}\Vert }^2+{\lambda }^{\prime }{\displaystyle \underset{i=1}{\overset{n}{\sum }}\left({\xi }_i+{{\xi }^{\prime }}_i\right)}\\ s.t.X_i^{\text{T}}\beta -y_i\le \epsilon +{\xi }_i\\ y_i-X_i^{\text{T}}\beta \le \epsilon +{{\xi }^{\prime }}_i\\ {\xi }_i\ge 0,{{\xi }^{\prime }}_i\ge 0,i=1,2,\cdots ,n\end{array}$ (3)

上述是一个凸二次规划问题，可以把式(3)中引入拉格朗日乘子，然后转化为求解它的对偶问题。对式(3)的每个约束条件添加拉格朗日乘子 ${\mu }_i\ge 0$ ， ${{\mu }^{\prime }}_i\ge 0$ ， ${\alpha }_i\ge 0$ ， ${{\alpha }^{\prime }}_i\ge 0$ ，从而得到拉格朗日函数式(4)：

$\begin{array}{l}L\left({\beta }_{-},{\beta }_0,\alpha ,{\alpha }^{\prime },\xi ,{\xi }^{\prime },\mu ,{\mu }^{\prime }\right)\\ =\frac{1}{2}{\Vert {\beta }_{-}\Vert }^2+{\lambda }^{\prime }{\displaystyle \underset{i=1}{\overset{n}{\sum }}\left({\xi }_i+{{\xi }^{\prime }}_i\right)}-{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\mu }_i{\xi }_i}-{\displaystyle \underset{i=1}{\overset{n}{\sum }}{{\mu }^{\prime }}_i{{\xi }^{\prime }}_i}\\ +{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\alpha }_i\left(X_i^{\text{T}}\beta -y_i-\epsilon -{\xi }_i\right)}+{\displaystyle \underset{i=1}{\overset{n}{\sum }}{{\alpha }^{\prime }}_i\left(y_i-X_i^{\text{T}}\beta -\epsilon -{{\xi }^{\prime }}_i\right)}\end{array}$ (4)

把决策函数 ${\beta }_0+X_{-}^{\text{T}}{\beta }_{-}=X^{\text{T}}\beta$ 代入上式，再令 $L\left({\beta }_{-},{\beta }_0,\alpha ,{\alpha }^{\prime },\xi ,{\xi }^{\prime },\mu ,{\mu }^{\prime }\right)$ 对 ${\beta }_{-},{\beta }_0,\xi$ 和 ${\xi }^{\prime }$ 的偏导为零可得

$\begin{array}{l}{\beta }_{-}={\displaystyle \underset{i=1}{\overset{n}{\sum }}\left({{\alpha }^{\prime }}_i-{\alpha }_i\right)X_i},\\ 0={\displaystyle \underset{i=1}{\overset{n}{\sum }}\left({{\alpha }^{\prime }}_i-{\alpha }_i\right)},\\ {\lambda }^{\prime }={\alpha }_i+{\mu }_i,\\ {\lambda }^{\prime }={{\alpha }^{\prime }}_i+{{\mu }^{\prime }}_i.\end{array}$ (5)

接着把上式代入拉格朗日函数 $L\left({\beta }_{-},{\beta }_0,\alpha ,{\alpha }^{\prime },\xi ,{\xi }^{\prime },\mu ,{\mu }^{\prime }\right)$ ，最后得到SVR的对偶问题

$\begin{array}{l}\underset{\alpha ,{\alpha }^{\text{'}}}{\max }{\displaystyle \underset{i=1}{\overset{n}{\sum }}{y}_i\left({{\alpha }^{\prime }}_i-{\alpha }_i\right)}-\epsilon \left({{\alpha }^{\prime }}_i-{\alpha }_i\right)-\frac{1}{2}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\displaystyle \underset{j=1}{\overset{n}{\sum }}\left({{\alpha }^{\prime }}_i-{\alpha }_i\right)}}\left({{\alpha }^{\prime }}_j-{\alpha }_j\right)X_i^{\text{T}}{X}_j\\ \text{s}\text{.t}.{\displaystyle \underset{j=1}{\overset{n}{\sum }}\left({{\alpha }^{\prime }}_i-{\alpha }_i\right)}=0,\\ \text{0}\le {\alpha }_i,{{\alpha }^{\prime }}_i\le {\lambda }^{\prime }.\end{array}$ (6)

上述过程的求解需要满足KKT条件：

$\{\begin{array}{l}{\alpha }_i\left(X_i^{\text{T}}\beta -y_i-\epsilon -{\xi }_i\right)=0,\\ {{\alpha }^{\prime }}_i\left(y_i-X_i^{\text{T}}\beta -\epsilon -{{\xi }^{\prime }}_i\right)=0,\\ {\alpha }_i{{\alpha }^{\prime }}_i=0,{\xi }_i{{\xi }^{\prime }}_i=0,\\ \left({\lambda }^{\prime }-{\alpha }_i\right){\xi }_i=0,\left({\lambda }^{\prime }-{{\alpha }^{\prime }}_i\right){{\xi }^{\prime }}_i=0.\end{array}$ (7)

由KKT条件，当且仅当 $X_i^{\text{T}}\beta -y_i-\epsilon -{\xi }_i=0$ 时 ${\alpha }_i$ 可以取非零值，当且仅当 $y_i-X_i^{\text{T}}\beta -\epsilon -{{\xi }^{\prime }}_i=0$ 时， ${{\alpha }^{\prime }}_i$ 可以取非零值。换言之，仅当样本 $\left(X_i,y_i\right)$ 不落入 $\epsilon$ 间隔带中时，对应的乘子 ${\alpha }_i$ 和 ${{\alpha }^{\prime }}_i$ 才取非零值。除此之外，约束条件 $X_i^{\text{T}}\beta -y_i-\epsilon -{\xi }_i=0$ 、 $y_i-X_i^{\text{T}}\beta -\epsilon -{{\xi }^{\prime }}_i=0$ 不能同时成立，所以 ${\alpha }_i$ 和 ${{\alpha }^{\prime }}_i$ 中至少有一个为0。

把系数 ${\beta }_{-}={\displaystyle \underset{i=1}{\overset{n}{\sum }}\left({{\alpha }^{\prime }}_i-{\alpha }_i\right)X_i}$ 代入决策函数 ${\beta }_0+X_{-}^{\text{T}}{\beta }_{-}=X^{\text{T}}\beta$ ，可得到SVR解的形式：

$f\left(X\right)={\displaystyle \underset{i=1}{\overset{n}{\sum }}\left({{\alpha }^{\prime }}_i-{\alpha }_i\right)X_i^{\text{T}}X}+{\beta }_0$ (8)

对于等式(8)，满足 ${{\alpha }^{\prime }}_i-{\alpha }_i\ne 0$ 的样本就是支持向量，这些样本点必然会落在 $\epsilon$ -间隔带之外，而在间隔带之间的样本点都满足 ${{\alpha }^{\prime }}_i={\alpha }_i=0$。所以SVR的支持向量仅仅是训练样本的一部分，支持向量的数量是一个与误差 $ϵ$ 有关的函数，误差 $ϵ$ 越大，支持向量的个数越少。

由于 ${{\alpha }^{\prime }}_i$ 和 ${\alpha }_i$ 不能全是零，根据KKT条件可知，对每个样本 $\left(X_i,y_i\right)$ 有 $\left({\lambda }^{\prime }-{\alpha }_i\right){\xi }_i=0$ 或者 $\left({\lambda }^{\prime }-{{\alpha }^{\prime }}_i\right){{\xi }^{\prime }}_i=0$ ，进而可以得到 ${\alpha }_i\left(X_i^{\text{T}}\beta -y_i-\epsilon -{\xi }_i\right)=0$ 或者 ${{\alpha }^{\prime }}_i\left(y_i-X_i^{\text{T}}\beta -\epsilon -{{\xi }^{\prime }}_i\right)=0$ 成立，于是在求出 ${{\alpha }^{\prime }}_i$ 或 ${\alpha }_i$ 后，可以得到参数 ${\beta }_0$。比如说，若 $0<{\alpha }_i<{\lambda }^{\prime }$ ，则必有 ${\xi }_i=0$ ，所以最后可以求出 ${\beta }_0$ 的等式：

${\beta }_0=y_i+\epsilon -{\displaystyle \underset{i=1}{\overset{n}{\sum }}\left({{\alpha }^{\prime }}_i-{\alpha }_i\right)X_i^{\text{T}}{X}_i}$ (9)

所以在对(6)的求解过程中得到 ${\alpha }_i$ 后，从理论上说，可任意选取满足 $0<{\alpha }_i<{\lambda }^{\prime }$ 的样本通过等式(9)求得 ${\beta }_0$。

2.2. 平滑支持向量回归估计

在这一部分中，我们提出了一种支持向量回归的线性型估计，称为平滑支持向量回归(Smooth Support Vector Regression, S-SVR)。带松弛变量的支持向量回归还有另一种解释， $ϵ$ -不敏感损失函数 + L2正则，就是最小化以下目标函数：

$\begin{array}{l}L\left(\beta \right)=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left|y_i-X_i^{\text{T}}\beta \right|}_{ϵ}}+\frac{\lambda }{2}{\Vert {\beta }_{-}\Vert }_2^2,\\ \hat{\beta }=\underset{\beta \in R^{p+1}}{\arg \min }L\left(\beta \right)\end{array}$ (10)

其中 ${\left|v\right|}_{ϵ}=\{\begin{array}{ll}\left|v\right|-ϵ,\hfill & \left|v\right|\ge ϵ\hfill \\ 0,\hfill & 其它\hfill \end{array}$ 是 $ϵ$ -不敏感损失函数， $\lambda >0$ 是正则化参数， ${\Vert \cdot \Vert }_2$ 表示向量的欧几里德范数。

对于(10)，由于绝对值和不敏感损失函数的存在，目标函数是不可微的，所以接下来要解决这个问题。首先，引入量Z来解决绝对值问题，使得 $z_i=\{\begin{array}{ll}-1,\hfill & y_i-X_i^{\text{T}}\beta \le 0\hfill \\ 1,\hfill & y_i-X_i^T\beta >0\hfill \end{array}$ ，所以 $z_i\left(y_i-X_i^{\text{T}}\beta \right)\ge 0$。即可以用 $z_i\left(y_i-X_i^{\text{T}}\beta \right)$ 来取代绝对值 $\left|y_i-X_i^{\text{T}}\beta \right|$ ，因此 $ϵ$ -不敏感损失函数可以写成 ${\left|y_i-X_i^{\text{T}}\beta \right|}_{ϵ}=\max \left(\left|y_i-X_i^{\text{T}}\beta \right|-ϵ,0\right)=\max \left(z_i\left(y_i-X_i^{\text{T}}\beta \right)-ϵ,0\right)$。所以目标函数变为：

$\begin{array}{l}L\left(\beta \right)=\frac{1}{n}\underset{i=1}{\overset{n}{{\displaystyle \sum }}}{\left[z_i\left(y_i-X_i^{\text{T}}\beta \right)\right]}_{ϵ}+\frac{\lambda }{2}{\Vert {\beta }_{-}\Vert }_2^2,\\ \hat{\beta }=\underset{\beta \in R^{p+1}}{\arg \min }L(\; \beta \; )\end{array}$

其中 ${\left[v\right]}_{ϵ}=\max \left(v-ϵ,0\right)$ 是 $ϵ$ -不敏感损失函数。

然后基于平滑技术(Horowitz 1998 [17]; Pang et al. 2012 [18]; Chen et al. 2018 [19] 和Wang et al. 2019 [20] )，考虑了一个平滑函数 $S(\cdot )$ ，即 $S\left(t\right)=\{\begin{array}{ll}1,\hfill & t\ge 1\hfill \\ 0,\hfill & t\le -1\hfill \end{array}$。我们用平滑近似 $D_h\left(t\right)=tS\left(\frac{t}{h}\right)$ 代替 $ϵ$ -不敏感损失函数，其中 $h\to 0$ 是带宽， $S\left(\frac{t}{h}\right)$ 近似示性函数 $I\left\{t\ge 0\right\}$ ， $D_h\left(t\right)$ 近似于 $\max \left(t,0\right)$。所以 $ϵ$ -不敏感损失函数 ${\left[z_i\left(y_i-X_i^{\text{T}}\beta \right)\right]}_{ϵ}=\left[z_i\left(y_i-X_i^{\text{T}}\beta \right)-ϵ\right]S\left(\frac{z_i\left(y_i-X_i^{\text{T}}\beta \right)-ϵ}{h}\right)$ ，并定义以下目标函数和估计量：

$L\left(\beta \right)=\frac{1}{n}\underset{i=1}{\overset{n}{{\displaystyle \sum }}}\left[z_i\left(y_i-X_i^{\text{T}}\beta \right)-ϵ\right]S\left(\frac{z_i\left(y_i-X_i^{\text{T}}\beta \right)-ϵ}{h}\right)+\frac{\lambda }{2}{\Vert {\beta }_{-}\Vert }_2^2$ (11)

$\begin{array}{c}\widehat{{\beta }_h}=\underset{\beta \in R^{p+1}}{\arg \min }\frac{1}{n}\underset{i=1}{\overset{n}{{\displaystyle \sum }}}\left[z_i\left(y_i-X_i^{\text{T}}\beta \right)-ϵ\right]S\left(\frac{z_i\left(y_i-X_i^{\text{T}}\beta \right)-ϵ}{h}\right)+\frac{\lambda }{2}{\Vert {\beta }_{-}\Vert }_2^2\\ =\underset{\beta \in R^{p+1}}{\arg \min }\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{D}_h}\left[z_i\left(y_i-X_i^{\text{T}}\beta \right)-ϵ\right]+\frac{\lambda }{2}{\Vert {\beta }_{-}\Vert }_2^2\end{array}$ (12)

目标函数(12)是可微的，通过一阶最优性条件，解 $\widehat{{\beta }_h}$ 满足：

$\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{D^{\prime }}_h}\left[z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_h}\right)-ϵ\right]+\lambda \left(\begin{array}{l}0\\ {\widehat{{\beta }_h}}_{-}\end{array}\right)=0$ (13)

其中

${D^{\prime }}_h\left[z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_h}\right)-ϵ\right]=\left(-z_i{X}_i\right)\left[S\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_h}\right)-ϵ}{h}\right)+\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_h}\right)-ϵ}{h}{S}^{\prime }\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_h}\right)-ϵ}{h}\right)\right]$

根据(13)，可以通过以下公式表示 $\widehat{{\beta }_h}$ ：

$\begin{array}{l}\widehat{{\beta }_h}={\left[\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{X_i{X}_i^{\text{T}}}{h}{S}^{\prime }}\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_h}\right)-ϵ}{h}\right)\right]}^{-1}\\ \times \left\{\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i{X}_i\left[S\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_h}\right)-ϵ}{h}\right)+\frac{z_i{y}_i-ϵ}{h}{S}^{\prime }\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_h}\right)-ϵ}{h}\right)\right]}-\lambda \left(\begin{array}{l}0\\ {\widehat{{\beta }_h}}_{-}\end{array}\right)\right\}\end{array}$ (14)

然而，这个不动点方程中没有 $\widehat{{\beta }_h}$ 的封闭解，所以将(14)右边的 $\widehat{{\beta }_h}$ 替换为一致的初始估计 $\widehat{{\beta }_0}$。得到下面的S-SVR估计量：

$\begin{array}{l}\hat{\beta }={\left[\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{X_i{X}_i^{\text{T}}}{h}{S}^{\prime }}\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_h}\right)-ϵ}{h}\right)\right]}^{-1}\\ \times \left\{\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i{X}_i\left[S\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_h}\right)-ϵ}{h}\right)+\frac{z_i{y}_i-ϵ}{h}{S}^{\prime }\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_h}\right)-ϵ}{h}\right)\right]}-\lambda \left(\begin{array}{l}0\\ {\widehat{{\beta }_0}}_{-}\end{array}\right)\right\}\end{array}$ (15)

初始估计量可以通过求解小样本的线性支持向量回归来构造，所以我们对小批量样本(如第一台机器上的样本，见下一节)的原始支持向量回归(10)进行了优化得到初始估计量。然后给定初始估计量，可以通过分布式方案解决(15)的S-SVR。

3. 分布式支持向量回归

当无法将所有数据加载到内存中时，很难求解(15)。但我们可以通过分布式方案来实现。具体来说，基于S-SVR，引入分治法提出分治支持向量回归估计(Divide and Conquer Support Vector Regression, DC-SVR)来计算 $\hat{\beta }$。

首先，将总数据集 $\left\{1,\cdots ,n\right\}$ 分为L个子集 $\left\{{\mathcal{N}}_1,\cdots ,{\mathcal{N}}_L\right\}$ ，每个子集的大小都相等 $m=n/L$。用 ${\mathcal{D}}_l=\left\{\left(X_i,y_i,z_i\right):i\in {\mathcal{N}}_l\right\}$ 表示第l台本地机器中的数据，第l台机器包含m数据。然后基于 ${\mathcal{D}}_1$ 获得初始估计值 $\widehat{{\beta }_0}$ ：

$\widehat{{\beta }_0}=\underset{\beta \in R^{p+1}}{\arg \min }\frac{1}{m}{\displaystyle \underset{i\in {\mathcal{N}}_1}{\sum }{\left|y_i-X_i^{\text{T}}\beta \right|}_{ϵ}}+\frac{\lambda }{2}{\Vert {\beta }_{-}\Vert }_2^2$ (16)

为了计算 $\hat{\beta }$ ，对于每一批数据 ${\mathcal{D}}_l$ ， $l=1,\cdots ,L$ ，计算以下量：

$\begin{array}{l}{A}_l=\frac{1}{m}{\displaystyle \underset{i\in {\mathcal{N}}_l}{\sum }\frac{X_i{X}_i^{\text{T}}}{h}{S}^{\prime }}\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_0}\right)-ϵ}{h}\right)\\ B_l=\frac{1}{m}{\displaystyle \underset{i\in {\mathcal{N}}_l}{\sum }{z}_i}{X}_i\left[S\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_0}\right)-ϵ}{h}\right)+\frac{z_i{y}_i-ϵ}{h}{S}^{\prime }\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_0}\right)-ϵ}{h}\right)\right]\end{array}$ (17)

在每台机器中计算 $A_l,B_l$ ，然后计算出每一台机器中存储的数据所对应的局部估计量 ${\hat{\beta }}_{\left(l\right)}$ ：

$\{\begin{array}{l}{\hat{\beta }}_{\left(1\right)}=A_1^{-1}\left(B_1-\lambda \left(\begin{array}{l}0\\ {\widehat{{\beta }_0}}_{-}\end{array}\right)\right)\\ {\hat{\beta }}_{\left(2\right)}=A_2^{-1}\left(B_2-\lambda \left(\begin{array}{l}0\\ {\widehat{{\beta }_0}}_{-}\end{array}\right)\right)\\ ⋮\\ {\hat{\beta }}_{\left(L\right)}=A_L^{-1}\left(B_L-\lambda \left(\begin{array}{l}0\\ {\widehat{{\beta }_0}}_{-}\end{array}\right)\right)\end{array}$ (18)

所有机器接收到 $A_l,B_l$ 计算出的局部估计量后，汇总数据将各个机器的局部估计量取平均得到最终估计量：

$\hat{\beta }=\frac{1}{L}{\displaystyle \underset{l=1}{\overset{L}{\sum }}{\hat{\beta }}_{\left(l\right)}}$ (19)

下面分析一下估计的渐近性质，根据(15)， $\hat{\beta }$ 和真实系数 ${\beta }^{*}$ 之间的差为：

$\begin{array}{l}\hat{\beta }-{\beta }^{*}={\left[\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{X_i{X}_i^{\text{T}}}{h}{S}^{\prime }}\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_0}\right)-ϵ}{h}\right)\right]}^{-1}\\ \times \left\{\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i}{X}_i\left[S\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_0}\right)-ϵ}{h}\right)+\frac{z_i\left(y_i-X_i^{\text{T}}{\beta }^{*}\right)-ϵ}{h}{S}^{\prime }\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_0}\right)-ϵ}{h}\right)\right]-\lambda \left(\begin{array}{l}0\\ {\widehat{{\beta }_0}}_{-}\end{array}\right)\right\}\end{array}$

因此 $\hat{\beta }-{\beta }^{*}$ 可以被表示为

$\hat{\beta }-{\beta }^{*}=M^{-1}\left(Q-\lambda \left(\begin{array}{l}0\\ {\widehat{{\beta }_0}}_{-}\end{array}\right)\right)$ (20)

其中

$\begin{array}{l}M=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{X_i{X}_i^{\text{T}}}{h}{S}^{\prime }}\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_0}\right)-ϵ}{h}\right)\\ Q=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i}{X}_i\left[S\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_0}\right)-ϵ}{h}\right)+\frac{z_i\left(y_i-X_i^{\text{T}}{\beta }^{*}\right)-ϵ}{h}{S}^{\prime }\left(\frac{z_i\left(y_i-X_i^{\text{T}}\widehat{{\beta }_0}\right)-ϵ}{h}\right)\right]\end{array}$

为了证明所提出的估计量的渐近性质，首先引入一些正则性条件和假设。

假设1：e的密度函数 $f(\cdot )$ 是Lipschitz连续的。另外，对于某些常量 $c_1,c_2$ ，假设 $0<c_1\le {\lambda }_{\min }\left(M^{\prime }\right)\le {\lambda }_{\max }\left(M^{\prime }\right)\le c_2$。

假设2：平滑函数 $S(\cdot )$ 满足 $S\left(u\right)=\{\begin{array}{l}1,u\ge 1\\ 0,u\le -1\end{array}$。进一步，假设 $S(\cdot )$ 是两次可微的，并且它的二阶导数 $S^{\left(2\right)}(\cdot )$ 是有界的。此外，我们假设带宽 $h=o\left(1\right)$。

假设3：对于某些 $t>0$ 和 $C>0$ ，假设 $p=o\left(nh/\left(\log n\right)\right)$ 和 $\underset{{\Vert v\Vert }_2\le 1}{\sup }E{\text{e}}^{t{\left(v^{\text{T}}X\right)}^2}\le C$。

假设4：独立随机向量 $\left\{X_i,1\le i\le n\right\}$ 满足 ${\sup }_{i,j}E{\left|X_{ij}\right|}^3=O\left(1\right)$。

定理1. 在满足假设条件1-4的情况下，并且假设初始估计 $\widehat{{\beta }_0}$ 满足 ${\Vert \widehat{{\beta }_0}-{\beta }^{*}\Vert }_2=O_p\left(\sqrt{\frac{p}{m}}\right)$。然后我们有，

$\hat{\beta }-{\beta }^{*}={\left(\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\delta }\left(e_i\right)X_i{X}_i^{\text{T}}\right)}^{-1}\left(\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i}{X}_{i}I\left\{e_i\ge 0\right\}-\lambda \left(\begin{array}{c}0\\ {\beta }_{-}^{*}\end{array}\right)\right)+r_n$ (21)

其中

${\Vert r_n\Vert }_2=O_p\left(\sqrt{\frac{p^2\log n}{n^{2}h}}+\sqrt{\frac{ph\log n}{n}}+\frac{p}{m}+h^2\right)$ (22)

证明：如果初始估计值 $\widehat{{\beta }_0}$ 接近真实系数 ${\beta }^{*}$ ，则M和Q分别接近 $M\left({\beta }^{*}\right)$ 和 $Q\left({\beta }^{*}\right)$。

$\begin{array}{l}M\left({\beta }^{*}\right)=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{X_i{X}_i^{\text{T}}}{h}{S}^{\prime }}\left(\frac{z_i\left(y_i-X_i^{\text{T}}{\beta }^{*}\right)-ϵ}{h}\right)\\ Q\left({\beta }^{*}\right)=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i}{X}_i\left[S\left(\frac{z_i\left(y_i-X_i^{\text{T}}{\beta }^{*}\right)-ϵ}{h}\right)+\frac{z_i\left(y_i-X_i^{\text{T}}{\beta }^{*}\right)-ϵ}{h}{S}^{\prime }\left(\frac{z_i\left(y_i-X_i^{\text{T}}{\beta }^{*}\right)-ϵ}{h}\right)\right]\end{array}$

假设 $e_i=z_i\left(y_i-X_i^{\text{T}}\beta \right)-ϵ,\left(e_i=\left|y_i-X_i^{\text{T}}\beta \right|-ϵ\right)$ ，则有：

$\begin{array}{l}M\left({\beta }^{*}\right)=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{X_i{X}_i^{\text{T}}}{h}{S}^{\prime }}\left(\frac{e_i}{h}\right)\\ Q\left({\beta }^{*}\right)=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i}{X}_i\left[S\left(\frac{e_i}{h}\right)+\frac{e_i}{h}{S}^{\prime }\left(\frac{e_i}{h}\right)\right]\end{array}$

$\frac{1}{h}{S}^{\prime }\left(\frac{e_i}{h}\right)$ 和 $S\left(\frac{e_i}{h}\right)+\frac{e_i}{h}{S}^{\prime }\left(\frac{e_i}{h}\right)$ 分别近似于 $\delta \left(e_i\right)$ 和 $I\left\{e_i\ge 0\right\}$ ，所以 $M\left({\beta }^{*}\right)$ 和 $Q\left({\beta }^{*}\right)$ 近似于 $\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\delta }\left(e_i\right)X_i{X}_i^{\text{T}}$ 和 $\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i}{X}_{i}I\left\{e_i\ge 0\right\}$。

根据上述分析，当 $\widehat{{\beta }_0}$ 近似 ${\beta }^{*}$ 时，M和Q分别近似 $\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\delta }\left(e_i\right)X_i{X}_i^{\text{T}}$ 和 $\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i}{X}_{i}I\left\{e_i\ge 0\right\}$。因此， $\hat{\beta }-{\beta }^{*}$ 近似于：

${\left(\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\delta }\left(e_i\right)X_i{X}_i^{\text{T}}\right)}^{-1}\left(\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i}{X}_{i}I\left\{e_i\ge 0\right\}-\lambda \left(\begin{array}{c}0\\ {\beta }_{-}^{*}\end{array}\right)\right)$

假设有一个初始估计 $\widehat{{\beta }_0}$ 且 ${\Vert \widehat{{\beta }_0}-{\beta }^{*}\Vert }_2=O_p\left(a_n\right)$ ， $a_n=O\left(h\right)$。则有，

${\Vert Q-\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i}{X}_{i}I\left\{e_i\ge 0\right\}\Vert }_2=O_p\left(\sqrt{\frac{ph\log n}{n}}+a_n^2+h^2\right)$

${\Vert M-\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\delta }\left(e_i\right)X_i{X}_i^{\text{T}}\Vert }_2=O_p\left(\sqrt{\frac{p\log n}{nh}}+a_n+h\right)$

对于独立随机向量 $\left\{X_i,1\le i\le n\right\}$ 且 ${\sup }_{j}E{\left|X_j\right|}^3=O\left(1\right)$ ，有 $E{\Vert {\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i}{X}_{i}I\left\{e_i\ge 0\right\}\Vert }^2=O\left(np\right)$。所以能够得到：

${\Vert \frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i}{X}_{i}I\left\{e_i\ge 0\right\}\Vert }_2=O_p(\; p\; n\; )$

根据上述结果，可以得出：

$\hat{\beta }-{\beta }^{*}={\left(\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\delta }\left(e_i\right)X_i{X}_i^{\text{T}}\right)}^{-1}\left(\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i}{X}_{i}I\left\{e_i\ge 0\right\}-\lambda \left(\begin{array}{c}0\\ {\beta }_{-}^{*}\end{array}\right)+\lambda \left(\begin{array}{c}0\\ {\beta }_{-}^{*}-\widehat{{\beta }_0}\end{array}\right)\right)+r_n$

其中

${\Vert r_n\Vert }_2=O_p\left(\sqrt{\frac{p^2\log n}{n^{2}h}}+\sqrt{\frac{ph\log n}{n}}+\sqrt{\frac{p\log n}{nh}}\lambda +\lambda h+h^2\right)$

设 $\lambda \le h$ 和 ${\Vert \widehat{{\beta }_0}-{\beta }^{*}\Vert }_2=O_p\left(\sqrt{\frac{p}{m}}\right)$ ，则有

$\hat{\beta }-{\beta }^{*}={\left(\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\delta }\left(e_i\right)X_i{X}_i^{\text{T}}\right)}^{-1}\left(\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{z}_i}{X}_{i}I\left\{e_i\ge 0\right\}-\lambda \left(\begin{array}{c}0\\ {\beta }_{-}^{*}\end{array}\right)\right)+r_n$

其中

${\Vert r_n\Vert }_2=O_p\left(\sqrt{\frac{p^2\log n}{n^{2}h}}+\sqrt{\frac{ph\log n}{n}}+\frac{p}{m}+h^2\right)$

4. 参数优化

对于支持向量回归，模型参数的选择对于预测结果有着重要影响。在建立SVR模型后，需要对模型参数进行标定，使得最终模型具有较好的预测效果以及泛化能力，需要标定的模型参数及其具体含义如下：

1) 不敏感参数 $ϵ$

该参数控制不敏感带宽度的大小，影响着支持向量的数目。当值较小时，模型回归精度较高，支持向量的数量增多，易产生过拟合。反之，模型回归精度较低，支持向量的数量减少，易导致模型欠拟合。

2) 正则化参数λ

SVR模型的惩罚因子，该参数控制模型的复杂度与模型训练误差项的比重，反映了对超出不敏感带宽度数据的惩罚程度。正则化参数λ取值过大，对超出不敏感带宽度数据的惩罚小，会使得模型训练误差增大，使得模型处于欠学习状态，而λ取值过小，能够提升模型回归精度，但模型泛化能力减弱，对于新数据的测试误差将变大，使得模型处于过学习状态。

许多研究人员使用交叉验证来选择参数(Chen et al. (2007) [21]; Anass et al. (2018) [22] )。在实践中，具有固定(非自适应)参数的学习过程只有在某些情况下才有其优势，因为不同的参数可能最适合不同的数据，这促使我们考虑对SVR中参数进行自适应。因此，基于上述分析，为了使SVR的预测效果达到最优，在本文中，我们提出一种自适应参数学习过程，根据不同的数据本文使用网格搜索和k-折交叉验证相结合的方法自适应的选择SVR模型最优参数组合 $\left(\lambda ,\epsilon \right)$。

利用网格搜索和k-折交叉验证相结合的方法优化SVR中的参数 $\left(\lambda ,\epsilon \right)$ 的具体步骤如下：

1) 建立网格坐标。设定参数λ和 $ϵ$ 的范围，设定搜索步长，在λ、 $ϵ$ 坐标系上建立二维网格，网格的节点就是λ、 $ϵ$ 组成的参数对；

2) 划分样本。利用k-折交叉验证法时，将原始样本均分成k组，每组轮流作为验证集，测试其他k-1组训练得到的模型；

3) 确定预测误差。取上述k次测试结果的均方误差的平均值作为本次模型的性能指标。对每一组λ、 $ϵ$ 的值，计算支持向量回归k次交叉验证的均方误差(MSE)；

4) 确定最优参数组合。网格上所有交叉点处的参数组合经过k-折交叉验证后，MSE最小值所对应的参数组合就是模型的最优参数。

本文算法：

5. 数值模拟

在本节中，我们通过仿真来说明DC-SVR的性能。数据由以下模型生成：

$Y_i=X_i^{\text{T}}\beta +e_i,i=1,2,\cdots ,n$

其中 $\beta =1_p$ 和X服从多元正态分布 $N\left(0,\Sigma \right)$ ， ${\Sigma }_{ij}={0.5}^{\left|i-j\right|}$ ， $1\le i,j\le p$。在我们的模拟中，误差 $e_i$ 相互独立且产生于以下两种分布：

1) 标准正态分布， $e_i~N\left(0,1\right)$ ；

2) 自由度为3的t分布， $e_i~t\left(3\right)$。

最优参数组合 $\left(\lambda ,ϵ\right)$ 是由每组数据自动选择的。在模拟中，取k为5，即5-折交叉验证。根据经验，将参数 $ϵ$ 的变化范围设置为 $\left[2^{-6},2^{-5},\cdots ,2^1\right]$ ，并将参数 $\lambda$ 的变化范围设置为 $\left[2^{-8},2^{-7},\cdots ,2^{-1}\right]$ ，真参数设置为 ${\beta }^{*}={\left(0,1,\cdots ,1\right)}^{\text{T}}\in {ℝ}^{\left(p+1\right)}$。使用核函数的积分作为平滑函数：

$S\left(t\right)=\{\begin{array}{ll}0,\hfill & \text{if}t\le -1\hfill \\ \frac{1}{2}+\frac{15}{16}\left(t-\frac{2}{3}{t}^3+\frac{1}{5}{t}^5\right),\hfill & \text{if}\left|t\right|<1\hfill \\ 1,\hfill & \text{if}t\ge 1\hfill \end{array}$

在本文中，所有模拟结果均为500次独立运行的平均值。我们将分而治之的方法应用于经典支持向量回归中，并与本文的方法进行比较。在这里，我们还用完整数据集(非分布式方法)估计参数，观察DC-SVR方法是否接近它。总结一下，我们将报告三种比较方法：

1) 用完整数据集估计SVR的非分布式方法(SVR-ALL)；

2) naive分布式经典支持向量回归方法(ND-SVR)；

3) 分治平滑支持向量回归方法(DC-SVR)。

为了评估不同方法的表现，本文采用平均绝对偏差(MAD)和均方误差(MSE)作为评价指标。

$\text{MAD}=\frac{1}{p}{\displaystyle \underset{k=1}{\overset{p}{\sum }}\left|\widehat{{\beta }_k}-{\beta }_k^{*}\right|}$

$\text{MSE}=\frac{1}{p}{\displaystyle \underset{k=1}{\overset{p}{\sum }}{\left(\widehat{{\beta }_k}-{\beta }_k^{*}\right)}^2}$

首先，在表1和表2中，固定了样本容量n和维数p的情况下，研究了机器容量m不同时 $\hat{\beta }$ 的MAD和MSE的情况。考虑了两种设置： $p=3$ ， $n={10}^4$ 和 $p=15$ ， $n={10}^5$。

Table 1. MAD ( × 10 − 2 ) , MSE ( × 10 − 4 ) of SVR-ALL, ND-SVR and DC-SVR with p = 3 , n = 10 4

表1. $p=3$ ， $n={10}^4$ ，SVR-ALL、ND-SVR和DC-SVR的 $\text{MAD}\left(\times {10}^{-2}\right)$ ， $\text{MSE}\left(\times {10}^{-4}\right)$

Table 2. MAD ( × 10 − 2 ) , MSE ( × 10 − 4 ) of SVR-ALL, ND-SVR and DC-SVR with p = 15 , n = 10 5

表2. $p=15$ ， $n={10}^5$ ，SVR-ALL、ND-SVR和DC-SVR的 $\text{MAD}\left(\times {10}^{-2}\right)$ ， $\text{MSE}\left(\times {10}^{-4}\right)$

从表1和表2可以看出，在标准正态误差分布和t误差分布下，DC-SVR始终优于ND-SVR方法。当m变大时，DC-SVR和ND-SVR的MAD和MSE变小。从上述表还可以看出，与在整个数据集上计算的SVR-ALL相比，DC-SVR比ND-SVR方法更加接近SVR-ALL。

类似地，在表3和表4中，我们固定了p和m，改变样本大小n来观察估计量 $\hat{\beta }$ 的MAD和MSE。同样考虑了两种设置： $p=3$ ， $m=100$ 和 $p=15$ ， $m=500$。

从表3和表4中，同样可以看出在标准正态误差分布和t误差分布下，DC-SVR的性能优于ND-SVR方法。我们还观察到，MAD和MSE随着样本n的增加而减少。上述表中结果也表明DC-SVR与在整个数据集上计算的支持向量回归估计量SVR-ALL进行比较时表现良好。

Table 3. MAD ( × 10 − 2 ) , MSE ( × 10 − 4 ) of SVR-ALL, ND-SVR and DC-SVR with p = 3 , m = 100

表3. $p=3$ ， $m=100$ ，SVR-ALL、ND-SVR和DC-SVR的 $\text{MAD}\left(\times {10}^{-2}\right)$ ， $\text{MSE}\left(\times {10}^{-4}\right)$

Table 4. MAD ( × 10 − 2 ) , MSE ( × 10 − 4 ) of SVR-ALL, ND-SVR and DC-SVR with p = 15 , m = 500

表4. $p=15$ ， $m=500$ ，SVR-ALL、ND-SVR和DC-SVR的 $\text{MAD}\left(\times {10}^{-2}\right)$ ， $\text{MSE}\left(\times {10}^{-4}\right)$

6. 结论

本文针对海量数据集提出了一种基于分而治之的平滑支持向量回归(DC-SVR)估计方法。我们的方法解决了内存限制和计算时间的问题，其模拟研究也表明了该方法的优越性。本文我们还提出了SVR参数的自适应学习过程，其中最优的参数 $\left(\lambda ,\epsilon \right)$ 是由每次数据自动选择的。选择 $\left(\lambda ,\epsilon \right)$ 的过程是实现DC-SVR的一个重要步骤，目前本文采用网格搜索和k-折交叉验证相结合的方法来优化参数。然而，或许可以设计一种更有效的方法，相关的研究需要进一步的工作。

NOTES

^*通讯作者。