赋相对权比的Tikhonov正则化方法及其在岭估计中的应用研究

Research on Tikhonov Regularization Method with Relative Weight Ratio and Its Application in Ridge Estimation

摘要: Tikhonov正则化准则是解决不适定问题的通用方法，当稳定泛函确定后，确定正则化参数就成为Tikhonov正则化方法应用的核心问题。针对正则化参数通常需要在一个较大正实数范围内搜索而导致效率不高的问题，提出赋相对权比的正则化方法，并推导了新准则下的正则化解的表达式。新方法将正则化参数限定在[0, 1)区间，将事先难以确定上界的搜索问题转换为一个在较小的、具有明确上下界的优化搜索问题。对岭估计岭参数确定的数值试验结果表明，新方法与原Tikhonov正则化准则具有等价性，但新方法具有更高的计算效率。

Abstract: The Tikhonov regularization criterion is a universal method for solving ill posed problems. Once the stable functional is determined, determining the regularization parameters becomes the core problem in the application of the Tikhonov regularization method. To address the problem of low efficiency caused by the need to search for regularization parameters within a large range of posi-tive real numbers, a regularization method with relative weight ratio is proposed, and the expres-sion of regularization solution under the new criterion is derived. The new method limits the regu-larization parameters to the interval of [0, 1), transforming a search problem that is difficult to de-termine an upper bound in advance into an optimization search problem with a smaller and clear upper and lower bound. Numerical experiments on the determination of ridge parameters in ridge estimation show that the new method is equivalent to the original Tikhonov regularization criteri-on, but has higher computational efficiency.

1. 引言

在大地测量和地球物理反演中，病态不适定问题广泛存在 [1] [2] [3] [4] [5] ，岭估计是病态平差模型处理中总最常用的方法 [6] [7] [8] [9] 。岭估计应用中的核心问题是确定岭参数，不同的岭参数会导致解的巨大差异 [10] 。从Tikhonov正则化准则出发，可以导出不适定问题解的统一表达式 [11] ，岭估计作为病态不适定平差方法，也可由Tikhonov正则化方法导出。但鉴于利用Tikhonov正则化方法求解时，一般需要在一个较大正实数空间搜索正则参数，从而降低了参数求解效率。考虑到Tikhonov正则化准则本质上是顾及了残差与待估参数之间的平衡关系，本文提出一种赋相对权比的Tikhonov正则化方法，新方法将正则化参数(岭参数)限制在[0, 1)区间，大大缩小了正则参数的搜索范围，只需设置合适的步长，无需改变搜索上界，一次性即可搜索到最优正则参数。岭估计数值试验算例结果表明，新方法与原Tikhonov正则化方法在一定条件下具有等价性，但新方法具有更高的计算效率。

2. 赋相对权比的正则化方法及其在岭估计中的应用

2.1. 赋相对权比的正则化方法及其原理

设有以下模型

$L=BX+\Delta P$ (1)

上式中，L为观测向量，X为待求参数，B为系数矩阵，P为观测值权阵， $\Delta$ 为误差向量，通常满足 $\Delta ~N\left(0,{\sigma }_0^2{P}^{-1}\right)$ ，其中 ${\sigma }_0^2$ 为单位权方差。通常情况下，利用最小二乘准则可获得式(1)的参数最优估值为：

${\hat{X}}_{\text{LS}}={\left(B^{\text{T}}PB\right)}^{-1}{B}^{\text{T}}PL$ (2)

但是，当平差系统病态时，(2)式抗干扰能力急剧下降，经典最小二乘估值变得很不稳定。Tikhonov正则化方法是针对不适定问题提出来的，对于秩亏和病态模型均十分有效 [11] 。为使式(1)具有唯一和稳定的解，构造准则函数如下：

${\Phi }^{\alpha }\left(X,L\right)={\Vert BX-L\Vert }^2{}_P+\alpha \Omega \left(X\right)$ (3)

能使(3)式取得极小值的参数 $\hat{X}$ 即为Tikhonov正则化解。

式(3)中， $\Omega \left(X\right)$ 称为稳定泛函，它的作用是通过选择待估参数的某种函数将不适定问题转化为适定问题 [12] ； $\alpha$ 称为正则参数或光滑参数，起到平衡准则函数 ${\Phi }^{\alpha }\left(X,L\right)$ 右端两项的作用； ${\Vert •\Vert }_P^2$ 表示加权谱范数。

在实际应用中， $\Omega \left(X\right)$ 可根据具体问题取不同形式，最常取法为

$\Omega \left(X\right)={\Vert GX\Vert }^2=X^{\text{T}}{G}^{\text{T}}GX=X^{\text{T}}{P}_{X}X$ (4)

其中， $P_X=G^{\text{T}}G$ 。在 ${\Phi }^{\alpha }\left(X,L\right)={\Vert BX-L\Vert }^2{}_P+\alpha \Omega \left(X\right)=\min$ 下求得参数估值为

$\hat{X}\left(\alpha \right)={\left(B^{\text{T}}PB+\alpha P_X\right)}^{-1}{B}^{\text{T}}PL$ (5)

上式即为线性病态模型(1)的Tikhonov正则化解。由于在原法矩阵 $N=B^{\text{T}}PB$ 的主对角元上增了一项 $\alpha P_X$ ，从而使法矩阵特征值较小的状况得到有效改善，提高了解的稳定性。

(5)式是在P_X和正则参数均得到确定的情况下才能真正实现消除病态性的目的。本文假定P_X已经确定的情况下，讨论 $\alpha$ 如何选择的问题。通常， $\alpha$ 需要在某种规则下，通过搜索得到，如GCV法 [12] ，岭迹法 [6] ，L-曲线法 [13] [14] ，U曲线法等 [15] 。但无论哪种方法，均需在一个较大正实数范围搜索最佳正则参数，这对于大型数值问题很不利。为此，我们提出一种改进的正则参数确定方法。具体思路：考虑到光滑参数 $\alpha$ 在Tikhonov正则化准则中的主要作用是平衡(3)式右端两个部分，故考虑对式(3)右端两项都赋予正则参数。显然，为保持二者的平衡关系，右端两部分的正则参数之和必为1才合理，这使得正则参数具有了相对权比的意义。本文称这种方法为赋相对权比的Tikhonov正则化方法，其对应准则为：

${\Phi }^{\alpha }\left(X,L\right)={\alpha }_1{\Vert BX-L\Vert }^2{}_P+{\alpha }_2\Omega \left(X\right)=\min$ (6)

利用自由极值求解算法，易得在准则(6)条件下参数估值

$\hat{X}\left(\alpha \right)={\alpha }_1{\left({\alpha }_1{B}^{\text{T}}PB+{\alpha }_2{P}_X\right)}^{-1}{B}^{\text{T}}PL$ (7)

上式中 ${\alpha }_1$ 和 ${\alpha }_2$ 称为相对权比，须满足 ${\alpha }_1+{\alpha }_2=1$ 。(7)式即为参数估值的赋相对权比的Tikhonov正则化解的表达式。当 ${\alpha }_1=1,{\alpha }_2\ne 0$ 时，(7)式与(5)式等价；当 ${\alpha }_1=1,{\alpha }_2=0$ 时，(7)式与(2)式等价。可见，原Tikhonov正则化准则是赋相对权比的Tikhonov正则化准则的特殊形式，在一定条件下二者具有等价性。

2.2. 赋相对权比的Tikhonov正则化准则条件下的岭估计

当平差系统正常时，利用最小二乘估计可以获得参数的最优估计，但是当平差系统病态时，最小二乘估计无法获取参数的准确解，有时参数估值甚至是扭曲的 [16] 。造成病态性的原因是法矩阵至少有一个特征值很小 [6] ，故可以设法改变法矩阵特征值数值状况达到消除病态性的目的。岭估计在法矩阵的主对角线元素上统一加上一个常数k，从而改善了法矩阵的奇异性 [6] [17] 。式(1)参数的岭估计为：

$\hat{X}\left(k\right)={\left(B^{\text{T}}PB+kI\right)}^{-1}{B}^{\text{T}}PL$ (8)

其中， $k>0$ 称为岭参数，在平差系统病态时，存在 $k>0$ 使得 $\text{MSE}\left(\hat{X}\left(k\right)\right)<\text{MSE}\left(X_{\text{LS}}\right)$ ，即系统病态时，

岭估计优于最小二乘估计。

比较式(8)和式(5)可知，岭估计实际上是在 $P_X=I$ 时Tikhonov正则化解，为方便搜索岭参数(正则参数)，可将利用(7)式推求的岭估计参数表达式写为成下形式：

$\hat{X}\left(\alpha \right)=\left(1-\alpha \right){\left(\left(1-\alpha \right)B^{\text{T}}PB+\alpha I\right)}^{-1}{B}^{\text{T}}PL$ (9)

上式中 $\alpha$ 的本质意义同(3)式。

2.3. 利用L-曲线法确定岭参数

L-曲线法是Hansen [13] 于1992年提出的一种针对离散线性不适定问题中正则参数的确定方法，目前，被公认为是一种比较好的正则参数确定方法 [10] 。以岭估计为例，其原理如下：假定已求得参数的岭

估计值为 ${\hat{X}}_{\alpha }$ ，则以 $\log {\Vert {\hat{X}}_{\alpha }\Vert }^2$ 作为纵坐标， $\log {\Vert A{X}_{\alpha }-L\Vert }_P^2$ 作为横坐标，通过选择足够数目的不同的 $\alpha$ ，便相应地得到一系列由 $\left(\log {\Vert A{X}_{\alpha }-L\Vert }_P^2,\log {\Vert X_{\alpha }\Vert }^2\right)$ 组成的点对，将这些点拟合成一条曲线，则该曲线上曲

率最大的点对应的 $\alpha$ 值即为所求的最优正则化参数，因为该曲线形状酷似“L”，故这种方法被称为L-曲线法。

3. 算例及分析

3.1. 算例说明

为验证本文方法的正确性和有效性，取10 × 6的Hilbert矩阵作为系数矩阵B，取参数真值

$X={\left[111111\right]}^{\text{T}}$ ，则观测量真值为 $\tilde{L}=BX$ ，具体数值列于表1。由于Hilbert矩阵是公认的严重病态矩阵，

本例法矩阵条件数高达6.0 × 10¹²，属于非常严重的病态问题。本文在观测量真值中模拟一组大小为

$\Delta ~N\left(0,1.0\times {10}^{-4}\right)$ 的随机误差。以参数估计向量与参数真值之差的范数 $\Vert \Delta \hat{X}\Vert$ 和参数估值的均方误差 $\text{MSE}\left(\hat{X}\right)$ 作为参数估计优劣的衡量指标，采用3种方案进行参数估计，相关结果列于表2。

Table 1. Observed values L ˜ and coefficient matrix B

表1. 观测值 $\tilde{L}$ 及系数阵B

具体3种参数估计方案如下：

方案1：最小二乘估计。

方案2：按(8)式参数表达式并利用L-曲线法确定岭参数的岭估计。

方案3：按(9)式参数表达式并利用L-曲线法确定岭参数的岭估计。

Table 2. Comparison of the results of various schemes

表2. 各种方案结果比较

3.2. 算例结果分析

1) 表2结果显示，方案1结果的均方误差和参数估值差值的范数远远大于方案2和方案3，这说明当平差系统病态时，经典最小二乘估计变得非常不稳定，仅非常小的扰动时即导致其参数解的巨大变化。但是，岭估计结果的均方误差和参范数都很小，说明系统病态时，岭估计很好地消除了病态性对参数估值的影响。

2) 表2中方案2的岭参数等于1.341，方案3的岭参数(相对权比)为0.573，对照式(7)可知，相当于

${\alpha }_2=0.573,{\alpha }_1=1-{\alpha }_2=0.427$ ，此时，设Tikhonov正则化准则中 $\Omega \left(X\right)$ 与 ${\Vert BX-L\Vert }^2$ 之间的相对权比的比

值为C，则方案2和方案3中相应C值分别为：

$C_{方案2}=\frac{1.341}{1}=1.341$ 和 $C_{方案3}=\frac{{\alpha }_2}{{\alpha }_1}=\frac{0.573}{0.427}=1.341$ ，说明由式(3)和式(6)给出的两种Tikhonov正则化

准则实际上式等价的。但是，显然，在事先不知道正则参数搜索上界时，式(3)准则需要不断调整搜索上界以获取最优正则化参数，但式(7)仅需以一定步长在0~1之间搜索，无需变换搜索区间即可一次性获得全局最优的正则化参数。

4. 结论

当平差系统病态时，Tikhonov正则化准则是一种有效的数据处理方法。但是通常，Tikhonov正则化方法需要在一个较大的不确定范围搜索正则化参数，本文提出赋相对权比的正则化准则将正则参数的搜索范围限制在区间[0, 1)，大大缩小了正则参数的选取范围。并以岭估计为例，不仅验证了新方法的正确性，而且也阐明了新方法与原Tikhonov正则化方法在一定条件下具有等价性。

基金项目

1) 贵州省大学生创新创业训练计划项目：病态不适定数据处理方法及其在测量中的应用研究，贵大(省)创字(2022) 085号；

2) 贵州大学省级本科教学内容和课程体系改革项目：《大地测量学》课程思政教学改革与实践(2021020)；

3) 贵州大学测绘工程国家级一流本科专业建设项目。

NOTES

^*通讯作者。