基于神经网络的模糊半参数回归模型

Fuzzy Semi-Parametric Regression Model Based on Neural Networks

摘要: 本文把样条基和BP (Back Propagation)神经网络的基本原理结合起来，从而提出了一种具有模糊输入和模糊输出的自适应模糊半参数回归模型。对于所提出的自适应模糊回归模型较好地解释了模型的内在依赖性和模糊性。文中借助截断幂基作为模型的一部分，然后与非参数部分结合构造半参回归模型。利用BP神经网络预测模型中的观测输出值，然后利用LR-型模糊数的交叉验证准则和基于绝对偏差的距离测度。通过求解光滑函数、光滑函数的光滑参数带宽和回归模型的未知系数，实现了构造自适应模糊半参数回归的目标函数优化问题。通过实例并计算模型的拟合度表明所提出的模型的有效性，该策略也显著提高了所提出算法的拟合优度，并为模糊回归模型提供了数值不确定性之间的依赖框架。

Abstract: In this paper, based on spline basis and BP (Back Propagation) neural network, an adaptive fuzzy semi-parametric regression model with fuzzy input and fuzzy output is presented. The intrinsic dependence and fuzziness of the adaptive fuzzy regression model are explained well. In this paper, the truncated spline basis is used as a part of the model, and then combined with the non-parametric part to construct a semi-parametric regression model. The BP neural network is used to predict the observed output values in the model, and then the cross validation criterion of LR-type fuzzy numbers and the distance measure based on absolute deviation are used. By solving the smooth function, the smooth parameter bandwidth of the smooth function and the unknown coefficient of the regression model, the objective function optimization problem of constructing adaptive fuzzy semi-parametric regression is realized. The effectiveness of the proposed model is demonstrated by an example and the fitting degree of the model is calculated. The proposed strategy also significantly improves the goodness of fit of the proposed algorithm, and provides a dependency framework for the fuzzy regression model between the numerical uncertainties.

1. 引言

回归分析 [1] 采用统计方法研究变量之间的相关性。然而，由于数据不精确，观测数据与相应的估计值之间存在偏差。因此提出一种模糊回归方法来模拟变量之间的关系。在经济系统、社会系统、工程系统、环境系统等领域也有广泛的应用，在这些领域，人类主观判断的模糊性会产生影响 [2] [3] [4] [5] 。

Tanaka et al. [6] 最早提出了模糊线性回归问题。他们最小化了系统的模糊性，以估计回归模型的参数。Lee和Chen [7] 利用广义模糊线性函数建立了广义模糊回归模型，并提出了一种非线性规划模型来识别模糊参数。之后又有Hojati et al. [8] ，Chen et al. [9] ，Spiliotis et al. [10] 等对模糊线性回归模型进行研究。Diamond [11] 研究了模糊回归建模中未知参数的最小二乘估计方法。Xu和Li [12] 开发了一个模糊类比，并用最小二乘方法处理了模糊多变量线性回归问题。一些作者对这种方法进行了研究和改进(参见示例 [13] [14] [15] )。

对于许多实际问题，输入和输出之间的函数形式往往是未知的。因此，一些研究人员提出了使用涉及神经网络的非参数模糊回归方法。Ishibuchi和Tanaka [16] 是结合模糊回归分析和反向传播神经网络来拟合区间值模糊数的上界和下界的先驱。Dunyak和Wunsch [17] 研究广义线性和非线性模糊回归分析，使用具有一般模糊数输入、输出、权重和偏差的神经网络模型。Zhang等 [18] 将模糊径向基函数网络应用于模糊非线性回归分析。He et al. [19] 使用随机权重网络开发了梯形模糊数的模糊非线性回归模型。Prakaash和Sivakumar [20] 利用一种基于递归神经网络的优化机器学习算法，结合模糊分类器和模糊回归模型，实现了一种新的数据预测系统。

除了神经网络算法，还有其他非参数技术来改进模糊回归。Cheng和Lee [21] 模糊化了应用于模糊回归方程的非参数回归技术k-最近邻和核平滑。Wang等人 [22] 提出了一个基于加权最小二乘和局部线性平滑技术的非参数模糊回归模型。Chachi等 [4] 提出了一种基于非参数多元自适应样条回归方法的模糊回归模型。注意，作为一种完全非参数的方法，它通常会导致一些缺点，如维数问题、解释困难和缺乏外推能力。值得注意的是，模糊半参数回归模型比相应的模糊非参数回归模型更具优势和灵活性。Hesamian et al. [23] 提出了一种基于曲线拟合方法和最小绝对偏差的混合方法来研究具有模糊输入、输出、平滑函数和非模糊系数的半参数部分线性模型。Akbari和Hesamian [24] 将采用半参数方法和弹性网的多元线性回归模型扩展到模糊解释变量和模糊响应变量中。

在之前的研究中，他们没有研究半参数技术和神经网络同时对自适应模糊回归模型中响应变量中心的影响。本文利用半参数回归技术、样条基和神经网络方法对线性自适应模糊回归模型进行了扩展。采用基于交叉验证准则最小化的算法选择最优带宽，采用以总距离误差最小化为目标的优化模型确定模糊回归系数。然后，通过比较我们在一些常见的拟合优度标准方面的结果来检验所提出方法的有效性和优点。

本文的其余部分组织如下。第2节回顾了LR-型模糊数、线性自适应模糊回归模型和模糊半参数部分线性模型的基本知识。第3节描述了所提出的自适应模糊半参数回归模型。然后，介绍了不同模型的性能标准，来评估所提出模型的拟合效果。在第4节中，我们进行了一些比较研究，以证明所提出模型的有效性。最后，在第5节中，我们对目前的工作作了一些总结，以供进一步研究。

2. 预备知识

本节将介绍LR-型模糊数、线性自适应模糊回归模型和模糊半参数部分线性模型的基本概念。

2.1. LR-型模糊数

LR-型模糊数 $\tilde{A}$ 由其隶属度函数定义 [25] ，使

$\tilde{A}\left(x\right)=\{\begin{array}{ll}L\left(\frac{c-x}{l}\right),\hfill & x\le c,\hfill \\ R\left(\frac{x-c}{r}\right),\hfill & x>c.\hfill \end{array}$ (1)

它完全由中心值 $c\in ℝ$ ，左右展值 $l,r\in {ℝ}^{+}$ ，严格递减左右形状函数 $L,R:{ℝ}^{+}\to \left[0,1\right]$ ，且 $L\left(0\right)=R\left(0\right)=1$ 组成。可以表示为 $\tilde{A}={\left(c;l,r\right)}_{LR}$ 。三角形模糊数 $\tilde{A}$ 是一个LR-型模糊数，其形状函数由 $\max \left\{0,1-x\right\}$ 定义，记为 $\tilde{A}={\left(c;l,r\right)}_T$ 。

Kelkinnama和Taheri [26] 定义了一个基于LR-型模糊数之间绝对偏差的距离，如下所示：

$D\left(\tilde{A},\tilde{B}\right)=\frac{1}{3}\left\{\left|a-b\right|+\left|\left(a-\omega l_a\right)-\left(b-\omega l_b\right)\right|+\left|\left(a+\upsilon r_a\right)-\left(b+\upsilon r_b\right)\right|\right\},$ (2)

这里， $\omega ={\displaystyle {\int }_0^1{L}^{-1}}\left(x\right)\text{d}x$ ， $\upsilon ={\displaystyle {\int }_0^1{R}^{-1}}\left(x\right)\text{d}x$ 。

2.2. 线性自适应模糊回归模型

我们考虑 $\left\{{\tilde{x}}_{i0},{\tilde{x}}_{i1},\cdots ,{\tilde{x}}_{ip},{\tilde{y}}_i,i=1,2,\cdots ,n\right\}$ ，设 ${\tilde{x}}_{ij}={\left(x_{ij};l_{x_{ij}},r_{x_{ij}}\right)}_{LR}$ 是解释变量， ${\tilde{y}}_i={\left(y_i;l_{y_i},r_{y_i}\right)}_{LR}$ 是响应变量 $\left(j=0,1,\cdots ,p,{\tilde{x}}_{i0}={\left(1;1,1\right)}_{LR}\right)$ 。那么线性自适应模糊回归模型的形式为 [27] ：

$\{\begin{array}{ll}{y}_i={\hat{y}}_i+{ϵ}_i,\hfill & {\hat{y}}_i={\displaystyle \underset{j=0}{\overset{p}{\sum }}{\alpha }_j}{x}_{ij}+{\displaystyle \underset{j=0}{\overset{p}{\sum }}{\beta }_j}{l}_{x_{ij}}+{\displaystyle \underset{j=0}{\overset{p}{\sum }}{\delta }_j}{r}_{x_{ij}},\hfill \\ l_{y_i}={\hat{l}}_{y_i}+{\lambda }_i,\hfill & {\hat{l}}_{y_i}=u{\hat{y}}_i+g,\hfill \\ r_{y_i}={\hat{r}}_{y_i}+{\rho }_i,\hfill & {\hat{r}}_{y_i}=v{\hat{y}}_i+z,\hfill \end{array}$ (3)

这里， ${\hat{y}}_i$ ， ${\hat{l}}_{y_i}$ 和 ${\hat{r}}_{y_i}$ 分别表示第i个输出的中心、左展和右展； ${\alpha }_j$ ， ${\beta }_j$ 和 ${\delta }_j$ 是关于中心的回归模型的系数；u，v，g和z是关于左右展形的回归模型的系数； ${ϵ}_i$ ， ${\lambda }_i$ 和 ${\rho }_i$ 分别表示中心、左展和右展的残差。

2.3. 模糊半参数部分线性模型

给定n个的模糊观测数据 $\left\{{\tilde{x}}_{i1},{\tilde{x}}_{i2},\cdots ,{\tilde{x}}_{ip},{\tilde{y}}_i,i=1,2,\cdots ,n\right\}$ ，可以建立模糊半参数部分线性模型 [23] ：

${\tilde{y}}_i={\displaystyle \underset{j=1}{\overset{p}{\sum }}{\beta }_j}{\tilde{x}}_{ij}+\tilde{f}\left({\tau }_i\right)+{ϵ}_i,i=1,2,\cdots ,n,$ (4)

其中， ${\beta }_j$ 是一个待估计的实数； ${\tau }_i$ 是一个协变量，且 ${\tau }_i\in \left[0,1\right]$ ， ${\tau }_i\le {\tau }_j$ ( $i<j$ )； $\tilde{f}\left({\tau }_i\right)={\left(f\left({\tau }_i\right);l_{{\tau }_i},r_{{\tau }_i}\right)}_{LR}$ ， $l_{{\tau }_i},r_{{\tau }_i}\ge 0$ 是未知的光滑函数； ${ϵ}_i$ 是一个均值为零的随机误差。

3. 建立模型

在本节中，考虑了基于样条基和神经网络的具有LR-型模糊输入和LR-型模糊输出的自适应模糊半参数回归模型。并给出了模型的计算过程和评价指标。

3.1. 基于神经网络的自适应模糊半参数回归模型

假设，我们有一组观测数据 $\left\{{\tilde{x}}_{i1},{\tilde{x}}_{i2},\cdots ,{\tilde{x}}_{ip},{\tilde{y}}_i,i=1,2,\cdots ,n\right\}$ ，其中 ${\tilde{x}}_{ij}={\left(x_{ij};l_{x_{ij}},r_{x_{ij}}\right)}_{LR}$ ， ${\tilde{y}}_i={\left(y_i;l_{y_i},r_{y_i}\right)}_{LR}$ ， $j=1,2,\cdots ,p$ 。我们考虑以下应用d阶截断幂基的自适应模糊半参数回归模型：

$\{\begin{array}{ll}{y}_i={\hat{y}}_i+{ϵ}_i,\hfill & {\hat{y}}_i={\displaystyle \underset{j=1}{\overset{p}{\sum }}\left({\displaystyle \underset{q=1}{\overset{d}{\sum }}{\alpha }_{jq}}{x}_{ij}^q+{\displaystyle \underset{k=1}{\overset{s}{\sum }}{\beta }_{jk}}{\left(x_{ij}-t_{jk}\right)}_{+}^d\right)}\hfill \\ \hfill & +{\displaystyle \underset{j=1}{\overset{p}{\sum }}\left({\displaystyle \underset{q=1}{\overset{d}{\sum }}{{\alpha }^{\prime }}_{jq}}{l}_{x{}_{ij}}^q+{\displaystyle \underset{k=1}{\overset{s}{\sum }}{{\beta }^{\prime }}_{jk}}{\left(l_{x_{ij}}-{t^{\prime }}_{jk}\right)}_{+}^d\right)}\hfill \\ \hfill & +{\displaystyle \underset{j=1}{\overset{p}{\sum }}\left({\displaystyle \underset{q=1}{\overset{d}{\sum }}{{\alpha }^{″}}_{jq}}{r}_{x{}_{ij}}^q+{\displaystyle \underset{k=1}{\overset{s}{\sum }}{{\beta }^{″}}_{jk}}{\left(r_{x_{ij}}-{t^{″}}_{jk}\right)}_{+}^d\right)}+f\left({\tau }_i\right),\hfill \\ l_{y_i}={\hat{l}}_{y_i}+{\lambda }_i,\hfill & {\hat{l}}_{y_i}=u{\hat{y}}_i+g,\hfill \\ r_{y_i}={\hat{r}}_{y_i}+{\rho }_i,\hfill & {\hat{r}}_{y_i}=v{\hat{y}}_i+z,\hfill \end{array}$ (5)

其中， ${\alpha }_{jq}$ ， ${\beta }_{jk}$ ， ${{\alpha }^{\prime }}_{jq}$ ， ${{\beta }^{\prime }}_{jk}$ ， ${{\alpha }^{″}}_{jq}$ ， ${{\beta }^{″}}_{jk}$ ，u，v，g和z是模型中的未知系数； $t_{jk}$ ， ${t^{\prime }}_{jk}$ 和 ${t^{″}}_{jk}$ 分别是关于解释变量中心、左展和右展的节点； ${ϵ}_i$ ， ${\lambda }_i$ 和 ${\rho }_i$ 表示残差； $f\left({\tau }_i\right)$ 是未知的光滑函数； ${\tau }_i\in \left[0,1\right]$ 是协变量。该模型基于三个子模型。第一个子模型是模糊输出中心的估计，其他两个子模型是在第一个模型的基础上得到的。在这个公式中考虑了估计的中心与展形可能的关系，因为这在实际情况中经常是必要的。

由Nadaraya-Watson [28] ，我们可以估计未知的光滑函数 $f\left({\tau }_i\right)$ ：

$\begin{array}{l}{\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m}\left({\tau }_i\right)\cdot (y_m-{\displaystyle \underset{j=1}{\overset{p}{\sum }}\left({\displaystyle \underset{q=1}{\overset{d}{\sum }}{\alpha }_{jq}}{x}_{mj}^q+{\displaystyle \underset{k=1}{\overset{s}{\sum }}{\beta }_{jk}}{\left(x_{mj}-t_{jk}\right)}_{+}^d\right)}\\ -{\displaystyle \underset{j=1}{\overset{p}{\sum }}\left({\displaystyle \underset{q=1}{\overset{d}{\sum }}{{\alpha }^{\prime }}_{jq}{l}_{x_{mj}}^q+{\displaystyle \underset{k=1}{\overset{s}{\sum }}{{\beta }^{\prime }}_{jk}{\left(l_{x_{mj}}-{t^{\prime }}_{jk}\right)}_{+}^d}}\right)}\\ -{\displaystyle \underset{j=1}{\overset{p}{\sum }}\left({\displaystyle \underset{q=1}{\overset{d}{\sum }}{{\alpha }^{″}}_{jq}{r}_{x_{mj}}^q+{\displaystyle \underset{k=1}{\overset{s}{\sum }}{{\beta }^{″}}_{jk}{\left(r_{x_{mj}}-{t^{″}}_{jk}\right)}_{+}^d}}\right)})\end{array}$ (6)

其中 $w_m\left({\tau }_i\right)=\frac{K\left(\frac{{\tau }_m-{\tau }_i}{h}\right)}{{\displaystyle \underset{m=1}{\overset{n}{\sum }}K}\left(\frac{{\tau }_m-{\tau }_i}{h}\right)}$ 和 $h>0$ 为核函数 $K(\cdot )$ 的带宽。

将(6)式代入(5)核心回归模型中的对应项，得到

$\begin{array}{c}{\hat{y}}_i={\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m}\left({\tau }_i\right)y_m+{\displaystyle \underset{j=1}{\overset{p}{\sum }}{\displaystyle \underset{q=1}{\overset{d}{\sum }}{\alpha }_{jq}}}\left(x_{ij}^q-{\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m\left({\tau }_i\right)x_{mj}^q}\right)\\ +{\displaystyle \underset{j=1}{\overset{p}{\sum }}{\displaystyle \underset{k=1}{\overset{s}{\sum }}{\beta }_{jk}}}\left({\left(x_{ij}-t_{jk}\right)}_{+}^d-{\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m\left({\tau }_i\right){\left(x_{mj}-t_{jk}\right)}_{+}^d}\right)\\ +{\displaystyle \underset{j=1}{\overset{p}{\sum }}{\displaystyle \underset{q=1}{\overset{d}{\sum }}{{\alpha }^{\prime }}_{jq}\left(l_{x_{ij}}^q-{\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m\left({\tau }_i\right)l_{x_{mj}}^q}\right)}}+{\displaystyle \underset{j=1}{\overset{p}{\sum }}{\displaystyle \underset{k=1}{\overset{s}{\sum }}{{\beta }^{\prime }}_{jk}}}\left({\left(l_{x_{ij}}-{t^{\prime }}_{jk}\right)}_{+}^d-{\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m\left({\tau }_i\right){\left(l_{x_{mj}}-{t^{\prime }}_{jk}\right)}_{+}^d}\right)\\ +{\displaystyle \underset{j=1}{\overset{p}{\sum }}{\displaystyle \underset{q=1}{\overset{d}{\sum }}{{\alpha }^{″}}_{jq}\left(r_{x_{ij}}^q-{\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m\left({\tau }_i\right)r_{x_{mj}}^q}\right)}}+{\displaystyle \underset{j=1}{\overset{p}{\sum }}{\displaystyle \underset{k=1}{\overset{s}{\sum }}{{\beta }^{″}}_{jk}}}\left({\left(r_{x_{ij}}-{t^{″}}_{jk}\right)}_{+}^d-{\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m\left({\tau }_i\right){\left(r_{x_{mj}}-t_{jk}\right)}_{+}^d}\right)\end{array}$ (7)

神经网络可以分为前向神经网络和反馈神经网络。本文重点介绍前向神经网络的BP神经网络。BP神经网络是一种学习误差的反向传播算法。它包括两个过程：信息的正向传播和误差的反向传播。输入信号从输入层经过隐藏层到输出层。每一层神经元的状态只影响下一层神经元的状态。当输出层未达到预期输出时，将进行反向传播，并可根据预测误差调整网络的权值和偏差，从而达到BP神经网络预测输出不断接近预期输出的目的。按照以下步骤训练BP神经网络：1) 初始化神经网络2) 计算隐含层输出3) 计算输出层输出4) 计算误差5) 计算权值判断算法迭代是否结束。如果没有，请返回2)。BP神经网络在预测方面应用非常广泛。本文采用的是3层网络，即输入层，隐藏层，和输出层，如图1所示。BP神经网络方法能更准确地拟合预测趋势，预测结果更稳定。我们考虑如图1所示的三层BP神经网络。设一组输入数据为 $y_m,x_{m1},\cdots ,x_{mn},l_{x_{m1}},\cdots ,l_{x_{mn}},r_{x_{m1}},\cdots ,r_{x_{mn}}$ ，输出值为 $y_m^{*}\left(m=1,2,\cdots ,n\right)$ ，因此，利用样条基和BP神经网络我们可以拟合自适应模糊半参数回归模型。

Figure 1. Structure of three-layer BP neural network

图1. 三层BP神经网络结构

设 ${\theta }_{ij,q}=x_{ij}^q-{\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m}\left({\tau }_i\right)x_{mj}^q$ ， ${\zeta }_{ij,k}={\left(x_{ij}-t_{jk}\right)}_{+}^d-{\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m}\left({\tau }_i\right){\left(x_{mj}-t_{jk}\right)}_{+}^d$ ， ${{\theta }^{\prime }}_{ij,q}=l_{x_{ij}}^q-{\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m}\left({\tau }_i\right)l_{x_{mj}}^q$ ， ${{\zeta }^{\prime }}_{ij,k}={\left(l_{x_{ij}}-t_{jk}\right)}_{+}^d-{\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m}\left({\tau }_i\right){\left(l_{x_{mj}}-t_{jk}\right)}_{+}^d$ ， ${{\theta }^{″}}_{ij,q}=r_{x_{ij}}^q-{\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m}\left({\tau }_i\right)r_{x_{mj}}^q$ ， ${{\zeta }^{″}}_{ij,k}={\left(r_{x_{ij}}-t_{jk}\right)}_{+}^d-{\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m}\left({\tau }_i\right){\left(r_{x_{mj}}-t_{jk}\right)}_{+}^d$ ${\left(r_{x_{mj}}-t_{jk}\right)}_{+}^d$ 。因此，将(7)中的 $y_m$ 替换为BP神经网络计算的 $y_m^{*}$ ，则基于样条基和BP神经网络的自适应模糊半参数回归模型为：

$\{\begin{array}{ll}{y}_i={\hat{y}}_i+{ϵ}_i,\hfill & {\hat{y}}_i={\displaystyle \underset{m=1}{\overset{n}{\sum }}{w}_m}\left({\tau }_i\right)y_m^{*}+{\displaystyle \underset{j=1}{\overset{p}{\sum }}{\displaystyle \underset{q=1}{\overset{d}{\sum }}{\alpha }_{jq}}}{\theta }_{ij,q}+{\displaystyle \underset{j=1}{\overset{p}{\sum }}{\displaystyle \underset{k=1}{\overset{s}{\sum }}{\beta }_{jk}}}{\zeta }_{ij,k}\hfill \\ \hfill & +{\displaystyle \underset{j=1}{\overset{p}{\sum }}{\displaystyle \underset{q=1}{\overset{d}{\sum }}{{\alpha }^{\prime }}_{jq}}}{{\theta }^{\prime }}_{ij,q}+{\displaystyle \underset{j=1}{\overset{p}{\sum }}{\displaystyle \underset{k=1}{\overset{s}{\sum }}{{\beta }^{\prime }}_{jk}}}{{\zeta }^{\prime }}_{ij,k}\hfill \\ \hfill & +{\displaystyle \underset{j=1}{\overset{p}{\sum }}{\displaystyle \underset{q=1}{\overset{d}{\sum }}{{\alpha }^{″}}_{jq}{{\theta }^{″}}_{ij,q}}}+{\displaystyle \underset{j=1}{\overset{p}{\sum }}{\displaystyle \underset{k=1}{\overset{s}{\sum }}{{\beta }^{″}}_{jk}}}{{\zeta }^{″}}_{ij,k},\hfill \\ l_{y_i}={\hat{l}}_{y_i}+{\lambda }_i,\hfill & {\hat{l}}_{y_i}=u{\hat{y}}_i+g,\hfill \\ r_{y_i}={\hat{r}}_{y_i}+{\rho }_i,\hfill & {\hat{r}}_{y_i}=v{\hat{y}}_i+z,\hfill \end{array}$ (8)

3.2. 估计未知参数的方法

对于光滑函数中的光滑参数带宽h的作用是为了调整估计的平滑程度。偏小h使 ${\hat{y}}_i$ 波动过大，导致过拟合，偏大h使 ${\hat{y}}_i$ 过于平滑，无法跟踪模糊回归函数中心的潜在趋势，导致拟合不足。因此，在局部平滑技术中，选择合适的光滑参数值是非常重要的。统计学中选择最优光滑参数值的常用方法有交叉验证、广义交叉验证和Bootstrap方法。本文采用交叉验证方法中的留一法，也就是将整个数据集中的一个观测值作为验证数据集，其余观测值作为训练数据集。验证过程不断重复，直到整个数据集的每个观察结果都被用作一次验证数据集。根据绝对误差距离，光滑参数h的确定如下：

$h_{opt}=\underset{h>0}{\arg \min }\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\left|y_i-{\hat{y}}_{\left(i\right)}\right|}$ ， (9)

其中， ${\hat{y}}_{\left(i\right)}$ 表示去掉第i个样本之后 $y_i$ 的估计值。对于选定的h值，如果估计的某个模糊数的左展形或右展形为负，处理这个问题的一种方法是D’urso (2003) [27] 中建议的，将负展形设置为零。

接下来是对回归模型中未知系数的估计。模糊回归系数的估计本文是通过将实际输出 ${\tilde{y}}_i$ 值与估计输出 ${\widehat{\stackrel{˜}{y}}}_i$ 值之间的绝对误差最小化得到：

${\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{1}{3}}\left\{\left|y_i-{\hat{y}}_i\right|+\left|\left(y_i-\omega l_{y_i}\right)-\left({\hat{y}}_i-\omega {\hat{l}}_{y_i}\right)\right|+\left|\left(y_i+\upsilon r_{y_i}\right)-\left({\hat{y}}_i+\upsilon {\hat{r}}_{y_i}\right)\right|\right\}$ (10)

针对上述优化问题，本文提出了以下算法来寻找带宽和回归系数的最优值：

1) 基于BP神经网络计算 $y_m^{*}$ ；

2) 选择一个核函数，并根据(9)计算最优带宽；

3) 通过将(10)最小化估计模型的系数。

3.3. 模型评价

假设 ${\tilde{y}}_i$ 和 ${\widehat{\stackrel{˜}{y}}}_i$ 分别是实际输出和基于所研究模型的估计输出。由 [29] 定义误差均值(ME)

$\text{ME}=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{{\displaystyle \int \left|{\widehat{\stackrel{˜}{y}}}_i\left(x\right)-{\tilde{y}}_i\left(x\right)\right|\text{d}x}}{{\displaystyle \int {\tilde{y}}_i\left(x\right)\text{d}x}}},$ (11)

其中，积分只在包含模糊数支撑的区间内计算。两个模糊数的差值越小，ME值越接近于零，模型的精度越高。但是，当观测值和预测值不重叠时，无论观测值和估计值之间的距离有多远，这种性能度量的值都是相同的。

描述响应变量的估计值隶属函数与观测值隶属函数之间的差值的拟合指标。

$\text{MD}=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\displaystyle \int \left|{\widehat{\stackrel{˜}{y}}}_i\left(x\right)-{\tilde{y}}_i\left(x\right)\right|\text{d}x}},$ (12)

此外，这里还有一个拟合指标

$\text{G}=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{1}{1+\frac{{\displaystyle \int \left|{\widehat{\stackrel{˜}{y}}}_i\left(x\right)-{\tilde{y}}_i\left(x\right)\right|\text{d}x}}{{\displaystyle \int {\tilde{y}}_i\left(x\right)\text{d}x}}}},$ (13)

其中G反应模糊响应变量与其模糊估计值有多接近。

此外，相似度的均值(MSM)表示如下：

$\text{MSM}=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{{\displaystyle \int \left({\widehat{\stackrel{˜}{y}}}_i\cap {\tilde{y}}_i\right)\left(x\right)\text{d}x}}{{\displaystyle \int \left({\widehat{\stackrel{˜}{y}}}_i\cup {\tilde{y}}_i\right)\left(x\right)\text{d}x}}},$ (14)

其中min和max算子用于两个模糊集的交和并。当MSM较大时，模糊回归模型的预测输出与实际输出更接近。因此，MSM越大，说明对应的模糊回归模型在相似度上越好。

4. 实证分析

在本节中，我们通过一个例子来检验所提模型的可行性和有效性。我们可以令 $d=2$ 。平滑函数是triweight核函数。

$K\left(x\right)=\{\begin{array}{ll}\frac{32}{35}\left(1-{\left|x\right|}^2\right),\hfill & \left|x\right|\le 1,\hfill \\ 0,\hfill & \left|x\right|>1.\hfill \end{array}$

在100个样本上，我们从模型i中模拟了一个模糊输出变量和两个模糊输入变量 $\left({\tilde{y}}_i,{\tilde{x}}_{i1},{\tilde{x}}_{i2}\right)$ ，如下所示：

模型：

$\{\begin{array}{l}{y}_i=1.5\sin x_{i1}+0.2x_{i1}^2+2e^{x_{i2}}+\cos x_{i2}+x_{i2}^2+f\left({\tau }_i\right)+e_i,\hfill \\ l_{y_i}=1.5\sin l_{x_{i1}}+0.2l_{x_{i1}}^2+2e^{l_{x_{i2}}}+\cos l_{x_{i2}}+l_{x_{i2}}^2+{\xi }_i+e_{l_i},\hfill \\ r_{y_i}=1.5\sin r_{x_{i1}}+0.2r_{x_{i1}}^2+2e^{r_{x_{i2}}}+\cos r_{x_{i2}}+r_{x_{i2}}^2+{\nu }_i+e_{r_i},\hfill \end{array}$

其中， $x_{i1}~U\left(6,12\right)$ 和 $x_{i2}~U\left(-2,4\right)$ 是输入观测中心样本； $l_{x_{i1}},l_{x2}~U\left(0.1,1\right)$ 为观测输入左展样本； $r_{x_{i1}},r_{x_{i2}}~U\left(0.1,1\right)$ 为观测输入右展样本。残差为 $e_i~N\left(0,1\right)$ 和 $e_{l_i},e_{r_i}~U\left(0.01,0.1\right)$ ； ${\xi }_i$ 和 ${\nu }_i$ 是在 $U\left(0.01,0.1\right)$ 上观测到的随机样本。 $f\left({\tau }_i\right)=\sin \left(2{\tau }_i\right)\cos \left(5{\tau }_i\right)+\frac{{\tau }_i^2}{1+{\tau }_i}$ ， ${\tau }_i=\frac{i}{100}$ ， $i=1,2,\cdots ,100$ 。

然后，我们将建立的模型拟合1000次，以研究我们提出的模型的性能。我们将我们的自适应模糊半参数回归与D’Urso和Gastaldi [30] ，D’Urso [27] 和Hesamian et al. [23] 给出的模型进行比较。拟合优度的均值见表1。图2描述了输出中心值与输入中心值之间的图形依赖关系。

Table 1. Fitting performance of fuzzy regression model

表1. 模糊回归模型的拟合性能

Figure 2. Comparison of observed and estimated central values of response variables

图2. 响应变量的观测中心值与估计中心值的比较

表1和图2表明，与其他三种模型相比，所提出的模型在模型拟合上得到了更好的结果，并且在输出中心值与输入中心值的依赖关系上产生了很小的偏差。

5. 结论

利用神经网络和样条基函数，研究了一种模糊输入、模糊输出的自适应模糊半参数回归模型。首先定义了自适应模糊回归模型，并结合半参数技术、样条基和BP神经网络进行了研究。然后，通过与一些经典方法的比较，讨论了我们的结果。

本文创新点在于将半参数技术和神经网络融入到自适应模糊回归模型中，相较于其他模型，本文模型的预测精度更高。根据所获得的结果，进一步的工作可以将模糊逻辑回归发展到模糊半参数回归模型中并与迭代算法结合。对于本文所建立的模型，当解释变量变多时，模型结构更为复杂，模型更加冗长，可以考虑简化模型结构。实际问题中获取的数据可能存在异常，预估的模型结果与实际会存在偏差，可以考虑更为稳健的神经网络减少异常值的干扰。

致谢

在此，我要感谢陆老师为改进这篇论文提出宝贵意见。

基金项目

本文由上海市重点学科项目资助，项目编号为No. T0502和沪江基金资助，项目编号为No. B14005。

NOTES

^*通讯作者。