正则稀疏优化模型及算法研究综述

A Survey on Regularized Sparse Optimization Models and Algorithms

摘要: 稀疏优化在工业工程等实际问题中具有十分重要的作用。在过去的几十年里，很多实际问题可以归纳成正则稀疏优化模型并求解出欠定系统的稀疏解，因此其改进和算法设计得到广泛的研究。正则稀疏优化模型不仅可以将原问题降维，而且可以将不适定的问题转换为适定问题。关键问题是如何构造正则项，使得模型具有好的稀疏解的同时还有很好的泛化能力。本文，我们重点关注近30年来正则稀疏优化模型及算法的研究进展，总结归纳了最具代表性的几种正则稀疏优化模型及算法。最后，结合最新研究成果，针对损伤识别、故障诊断、超分辨率重建和电阻抗层析成像等实际问题，构造不同的新正则稀疏优化模型，并探讨其可以研究发展的方向以及更广阔的应用前景。

Abstract: Sparse optimization plays a very important role in practical problems such as industrial engineering. In the past decades, many practical problems can be generalized into regularized sparse optimization models to solve the sparse solutions of underdetermined systems. Therefore, the improvement of such models and the design of algorithms have been widely studied. The regularized sparse optimization model can reduce the dimension of the original problem and transform the ill-posed problem into a well-posed problem. The key point is how to choose and construct the regularization terms so that the model can obtain a good sparse solution with good generalization ability. In this paper, we focus on the research progress of regularized sparse optimization models and algorithms in the past 30 years, and summarize the most representative models and algorithms. In addition, according to the latest research results, different new regularized sparse optimization models are constructed to solve practical problems such as damage identification, fault diagnosis, super-resolution reconstruction and electrical impedance tomography, and the development direction and broader application prospect of these models are discussed.

1. 引言

很多实际问题如信号与图像处理 [1] [2] [3] 、故障检测 [4] 、压缩感知 [5] [6] [7] 、统计学习 [8] 、机器学习 [9] [10] 等很多反问题都是不适定、病态的，比如 $b=Ax+\epsilon$ ，其中 $x\in R^n,A\in R^{m\times n},b\in R^m,m\ll n,\epsilon$ 是噪声。为了克服这一困难，人们利用稀疏表示 [11] 对原问题进行降维，使不适定的问题变得适定，即建立稀疏优化模型对问题进行求解。稀疏优化模型，旨在寻找一个欠定系统的稀疏解，这个稀疏解中只有极少数分量不为零。我们利用稀疏优化模型求解决策变量x，即具有稀疏结构的向量，并将其应用到图像处理中。

本文将对正则稀疏优化模型以及算法研究的发展进行综述，并总结归纳最具代表性的几种模型及算法。我们将正则稀疏优化模型分为两大类，从正则项的选取和构造特点出发，分为单正则稀疏优化模型和混合正则稀疏优化模型两大类。另外，我们结合最新研究成果，从损伤识别、故障诊断、超分辨率重建和电阻抗层析成像等实际问题出发，提出构造不同的正则稀疏优化模型新思路，并探讨新模型和算法可以研究的内容及方向，进一步探索模型和算法更广阔的应用前景。

2. 正则稀疏优化模型及算法综述

2.1. l₀稀疏优化模型与算法概述

原始稀疏优化模型共有三种类型：

第一种：带有线性约束的l₀极小化稀疏优化模型 [12] [13]

$\underset{x\in {\text{R}}^n}{\min }{\Vert Ax-b\Vert }_2^2\text{s}\text{.t}\text{.}{\Vert x\Vert }_0\le M$ ； (1)

第二种：带有非线性约束的l₀极小化稀疏优化模型 [14]

$\underset{x\in {\text{R}}^n}{\min }{\Vert x\Vert }_0\text{s}\text{.t}\text{.}{\Vert Ax-b\Vert }_2\le \epsilon$ ； (2)

第三种：l₀正则稀疏优化模型 [12] [15] [16]

$\underset{x\in {\text{R}}^n}{\min }{\Vert Ax-b\Vert }_2^2+\lambda {\Vert x\Vert }_0$ ； (3)

其中 $A\in R^{m\times n}$ 是给定的行满秩测量矩阵， $x={\left(x_1,\cdots ,x_n\right)}^{\text{T}}\in R^n$ 是决策向量， $b\in R^m$ 为给定观测值向量，表示l₂范数， ${\Vert x\Vert }_0$ 为l₀范数，即向量x中非零元素的个数， $M>0$ 是一个常数， $\epsilon >0$ 是误差参数， $\lambda >0$ 是正则参数。如果 ${\Vert x\Vert }_0$ 越小，则向量x越稀疏。

l₀范数具有离散结构，同时模型(1)、(2)和(3)都是NP-hard [14] [15] ，针对这两大挑战，专家学者提出了两种经典算法：贪婪算法和硬阈值算法。

1993年，Mallat等 [11] 介绍了一种贪婪算法：匹配追踪算法。1995年，Natarajan [14] 提出启发式贪婪算法。2004年，Tropp [17] 给出了一种贪婪算法: 正交匹配追踪算法。但是贪婪算法具有一定的局限性，只有维度较低时，才可以快速有效地求解l₀稀疏优化模型。当处理高维度模型时，该算法效率明显降低. 因此专家学者设计出硬阈值算法来高效地求解高维度下l₀稀疏优化模型 [12] [13] [18] 。2006年，Herrity等 [13] 提出两种硬阈值算法：GENERAL和BLOCK迭代阈值算法。

2.2. l₁正则稀疏优化模型与算法概述

l₀稀疏优化模型本身限制了算法的设计和求解效率，因此学者们相继采取了很多改进的方法。首先，1998年，Chen和Donoho [19] 提出l₁正则稀疏优化模型：

$\underset{x\in {\text{R}}^n}{\min }{\Vert Ax-b\Vert }_2^2+\lambda {\Vert x\Vert }_1$ ， (4)

其中 ${\Vert x\Vert }_1={\displaystyle {\sum }_{i=1}^n\left|x_i\right|}$ 是x的l₁范数。l₁范数正则项能产生稀疏解且对异常值不敏感。同时模型(4)是凸优化模型，当矩阵 $A$ 满足某些特定条件时 [20] ，求解模型(4)与求解模型(3)等价。

求解l₁正则稀疏优化模型的代表性算法是迭代收缩阈值算法，又叫软阈值算法。该算法的衍变过程如下：1995年，Donoho [21] 首先提出一种去噪技巧：收缩，可以恢复被高斯白噪声污染且在正交基下稀疏的信号；1998年，针对非线性小波图像，Chambolle等 [22] 给出了收缩算法的思想；2003年，Figueiredo等 [23] 基于软阈值思想提出一种算法处理图像恢复问题；2004年，Daubechies等 [24] 提出迭代收缩阈值算法；2007年，Daubechies等 [25] 在前者基础上加以改进，给出加速迭代收缩阈值算法。迭代收缩阈值算法的优点在于它能够自动地确定阈值，从而避免了手动调整阈值的繁琐过程。此外，该算法还能够处理复杂的图像，包括具有不同纹理、颜色和亮度的图像。当然，迭代收缩阈值算法也存在一些不足，比如，该算法对图像的分割结果非常敏感，即使是微小的变化也可能导致分割结果的巨大变化；其次，该算法的计算复杂度较高，需要大量的计算资源和时间。

求解模型(4)的经典算法还包括内点算法 [19] 等。1998年，Chen等 [19] 提出基追踪内点法。受到Donoho等的启发，2007年，Kim等 [26] 提出一种基于截断牛顿的内点算法专门求解大规模下的模型(4)。内点法一般结合牛顿法来使用，是求解光滑无约束问题的重要方法，其不足之处在于迭代求解十分费时，不过Kim等人结合的这种截断牛顿方法能够明显降低求解所需要的时间，大大提高了求解大规模问题的效率。

此外2000年，Osborne，Presnell和Turlach [27] [28] 从另一角度出发提出，此方法求解模型(4)。2007年，Figueiredo等 [29] 从梯度投影的角度出发，提出稀疏重构梯度投影方法，数值实验表明该方法具有很广泛的应用空间，并且与其他算法相比计算速度有明显提高。同年，Hale和印卧涛等 [30] 提出不动点连续方法，应用于带有噪声数据的大规模问题时与其他算法相比有很好的效果。2011年，Becker及Candès团队 [31] 结合不动点连续技术、光滑化技术 [32] 与改进的梯度方法，设计出加速Nesterov算法，其中Nesterov算法的核心之一是对迭代序列进行微调均衡，已被证明可以提高标准梯度下降算法的收敛速率。加速Nesterov算法非常适合解决大规模压缩感知重建问题，因为其求解效率高，计算精确，且具有灵活性，适用于许多类型的重建问题，此外，该算法具有鲁棒性，即在广泛的问题上的优异性并不依赖于几个参数的微调。针对具有大动态范围的实际信号问题等该算法也具有明显的优势。2011年，Yang等 [33] 另辟蹊径给出一阶原始-对偶交替方向算法求解模型(4)，算法执行过程中每次迭代都会更新原始变量和对偶变量，数值实验表明该算法有效性的同时还验证了其通用性。

2.3. l_p正则稀疏优化模型与算法概述

理论分析和数值实验结果表明l₁范数并不是l₀范数在一般实践中的最好近似值 [34] [35] 。因此2001年范剑青等 [36] 提出并证明了l_p范数较l₁范数可得到更稀疏的解。基于上述理论证明，2008年，Candès等 [37] 给出l_p正则稀疏优化模型：

$\underset{x\in {\text{R}}^n}{\min }{\Vert Ax-b\Vert }_2^2+\lambda {\Vert x\Vert }_p^p$ ， (5)

其中 ${\Vert x\Vert }_p={\left({{\displaystyle {\sum }_{i=1}^n\left|x_i\right|}}^p\right)}^{1/p}\left(0<p<1\right)$ ，事实上，模型(5)是介于模型(3)和模型(4)之间的，因为当 $p\to 0$ 时有 $\underset{p\to 0}{\lim }{\Vert x\Vert }_p^p=\underset{p\to 0}{\lim }{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left|x_i\right|}^p}={\Vert x\Vert }_0$ ，而当 $p\to 1$ 时有 $\underset{p\to 1}{\lim }{\Vert x\Vert }_p^p=\underset{p\to 1}{\lim }{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left|x_i\right|}^p}={\Vert x\Vert }_1$ 。

模型(5)非凸、非光滑、非Lipschitz连续，且是强NP-Hard [15] ，不过与模型(3)相比，该模型仍有一些好的性质 [15] [38] ，这使得针对该模型所设计出的算法其泛化性和适用性高于模型(3)。

2010年，Xu等 [39] 提出 $l_{1/2}$ 正则稀疏优化模型：

$\underset{x\in {\text{R}}^n}{\min }{\Vert Ax-b\Vert }_2^2+\lambda {\Vert x\Vert }_{1/2}^{1/2}$ ， (6)

并从理论的角度给出模型(6)的代表性意义。2012年，Xu等 [40] 证明了 ${\Vert x\Vert }_{1/2}^{1/2}$ 梯度解的存在性，计算了其解析表达式，建立了l_1/2正则化解的可选特征定理，在此基础上导出了l_1/2正则化解的阈值表示，并给出了最优正则化参数设置规则，进而提出了半阈值算法。数值实验表明该算法是一种有效、高效的求解方法，可以作为一种快速求解l_1/2正则化问题的方法。

对于一般的 $p\left(0<p<1\right)$ ，也已出现了很多有效的求解算法。2005年，Figueiredo等 [41] 提出基于边界优化方法的算法，这种方法允许在不使用丢失或隐藏数据概念的情况下推导EM (Expectation Mmaximization) 类型的算法。可以证明该算法对正交小波变换和冗余小波变换均具有单调性。实验结果表明该算法有很好的表现。2007年，Figueiredo等 [42] 提出一种 Majorization-Minimization算法，其中奇异性问题必须处理无限大的权重，这可能会导致数值和收敛问题，不过理论及数值实验有力地证明了奇异性问题不会损害该算法的有效性。2008年，Candès，Wakin和Boyd [37] 提出迭代加权l₁极小化算法，更易获得真正的最稀疏解。2010年，Chen等 [43] 给出上述算法的全局收敛性分析，并证明其产生的任何序列均收敛到模型(5)的稳定点。进一步，2014年，Chen等将上述算法的相关理论完善 [44] 。2011年，Lai等 [45] 设计出无约束l_p极小化迭代算法，并证明该迭代算法具有收敛性，且当模型(5)满足某些附加假设时，该迭代点能够收敛到模型的稀疏解。因为l_p在零点不可导，因此如何克服这一问题也是研究的一个热点，基于此，2012年，Chen [46] 提出光滑化方法求解模型(5)，给出了光滑函数的性质以及与光滑函数相关的次差分的梯度一致性。此外，Chen讨论了如何在光滑方法的外迭代中更新光滑参数，以保证光滑方法收敛到原始最小化问题的一个平稳点。2013年，Lai等 [47] 光滑化 ${\Vert x\Vert }_p^p$ ，提出迭代加权无约束l_p算法。数值实验表明在向量恢复和矩阵恢复方面，该算法比其他经典算法表现出更加卓越的性能。

2.4. 混合正则稀疏优化模型与算法概述

本节中，我们将概述六类混合正则稀疏优化模型与算法。

2015年，Lou等 [48] 发现l₁范数和l₂范数的差可以更好地逼近l₀范数，因此提出混合l₁-l₂正则稀疏优化模型：

$\underset{x\in {\text{R}}^n}{\min }{\Vert Ax-b\Vert }_2^2+\lambda \left({\Vert x\Vert }_1-{\Vert x\Vert }_2\right)$ ， (7)

模型(7)非凸、非光滑但Lipschitz连续。Lou等 [48] 利用DCA思想，通过线性化不具有可分性的 ${\Vert x\Vert }_2$ ，结合交替方向乘子法 [49] ，提出DCA方法并与非标准集成模拟退火方法相结合，得到近似最优解。其中引入的非高斯随机扰动比标准高斯扰动更有效地改善解的稀疏性。特别地，当矩阵是病态的，该方法与其他算法相比能够取得更好地效果。

2016年，Bai和Shen [50] 想到一种混合模式，提出了混合 $l_1\text{-}{l}_2^2$ 正则稀疏优化模型：

$\underset{x\in {\text{R}}^n}{\min }f\left(x\right)+\lambda {\Vert x\Vert }_1+\left(1-\lambda \right){\Vert x\Vert }_2^2$ ， (8)

其中 $f\left(x\right)$ 可以取 ${\Vert Ax-b\Vert }_2^2$ 。Bai等提出了嵌入Limited-Broyden-Fletcher-Goldfarb-Shanno的交替方向乘子法。数值实验选取加州大学欧文分校机器学习存储库(UCI Repository)中的真实数据，结果表明该算法在二分类问题中可以达到更好的分类效果同时所需CPU时间更少。

2017年，Selesnick提出一类非凸混合正则稀疏优化模型 [51] ：

$\underset{x\in {\text{R}}^n}{\min }{\Vert Ax-b\Vert }_2^2+\lambda \left({\Vert x\Vert }_1-S_B\left(x\right)\right)$ ， (9)

其中 $S_B\left(x\right)=\underset{v\in {\text{R}}^n}{\min }\left\{{\Vert v\Vert }_1+{\Vert B\left(x-v\right)\Vert }_2^2/2\right\}$ 。Selesnick证明当模型(9)满足 $B^{\text{T}}B\le A^{\text{T}}A/\lambda$ ，目标函数是凸函数，

并设计出邻近算法：向前–向后算法求解全局极小解，克服了稀疏正则优化模型只用l₁作为正则项往往会低估真实解的问题。

2019年，李倩 [52] 和白延琴团队提出了新混合 $l_1\text{-}{l}_2^2$ 正则稀疏优化模型：

$\underset{x\in {\text{R}}^n}{\min }{\Vert Ax-b\Vert }_2^2+\lambda \left(2{\Vert \frac{x}{t}\Vert }_1-{\Vert \frac{x}{t}\Vert }_2^2\right)$ ， (10)

其中 $t\ge 1$ 是给定的放缩参数。李倩等提出求解模型的分段二次逼近阈值算法，数值实验表明该模型和算法在信号处理和图像处理有很好的效果。

受到上述模型和算法的启发，可以知道l_p比l₁可以更好地逼近稀疏解，同时混合式正则项可以达到更好的效果，因此Gao等提出两种混合正则稀疏优化模型：

(a) 混合 $l_p\text{-}{l}_2^2$ 正则稀疏优化模型 [53] ：

$\underset{x\in {\text{R}}^n}{\min }{\Vert Ax-b\Vert }_2^2+\lambda \left(\frac{2}{2-p}{\Vert \frac{x}{t}\Vert }_p^p-\frac{p}{2-p}{\Vert \frac{x}{t}\Vert }_2^2\right)$ ， (11)

(b) 新混合 $l_p\text{-}{l}_2$ 正则稀疏优化模型 [54] ：

$\underset{x\in {\text{R}}^n}{\min }{\Vert Ax-b\Vert }_2^2+\lambda \left(\frac{1}{1-p}{\Vert \frac{x}{t}\Vert }_p^p-\frac{p}{1-p}{\Vert \frac{x}{t}\Vert }_2\right)$ ， (12)

并分别针对模型设计出混合 $l_p\text{-}{l}_2^2$ 阈值算法和分部线性逼近不动点阈值算法求解模型并应用到图像恢复和图像去模糊。理论上证明了模型(11)和(12)可以更好地逼近最优解，数值实验表明与其他模型算法相比，这两个算法效果更好，其中分部线性逼近不动点阈值算法最好。

3. 正则稀疏优化模型及算法的应用前景

受到上述正则稀疏优化模型及算法发展过程的启发，结合该领域在实际应用中的最新研究成果，我们从工程的损伤识别 [55] 、齿轮箱复合故障诊断 [56] 、遥感图像超分辨率重建(Super Resolution Reconstruction, SRR) [57] [58] 以及碳纤维复合材料(Carbon Fiber Reinforced Polymer, CFRP)电阻抗层析成像 [59] 等实际问题出发构造新正则稀疏优化模型，并探讨正则稀疏优化模型及算法更广阔的应用前景。

3.1. 损伤识别

工程结构的安全问题一直备受关注，而有效的损伤识别方法可以准确反映结构的损伤情况，从而降低风险，保障安全。吕昊等 [55] 构建了基于结构模态参数的识别因子，引入稀疏约束，进而提出了一种基于非线性收敛因子、自适应权重和模拟退火策略的混合鲸鱼退火算法。数值实验表明，该模型和算法提升了识别精度，平衡了算法的收敛速度和寻优能力，从而增强算法性能，且具有一定的抗噪鲁棒性。其中考虑稀疏约束的识别因子时关键的一步是引入l_p范数稀疏约束，即

$E={\Delta }_1{E}_{\varpi }\left(\eta \right)+{\Delta }_2{E}_{\phi }\left(\eta \right)+\lambda {\Vert \eta \Vert }_p^p$ (13)

式中：E为损伤识别因子， ${\Delta }_1,{\Delta }_2$ 为加权系数， $\eta$ 为损伤因子向量， $\varpi ,\phi$ 由频率的理论值和试验值构成， $E_{\varpi }\left(\eta \right),E_{\phi }\left(\eta \right)$ 分别为结构固有频率和振型， $\lambda$ 为正则化参数。

针对上述识别因子构造，我们可以考虑新的构造公式如下：

$E={\Delta }_1{E}_{\varpi }\left(\eta \right)+{\Delta }_2{E}_{\phi }\left(\eta \right)+\lambda \left(\alpha {\Vert \eta \Vert }_p^p+\beta {\Vert \eta \Vert }_2^2\right)$ (14)

或

$E={\Delta }_1{E}_{\varpi }\left(\eta \right)+{\Delta }_2{E}_{\phi }\left(\eta \right)+\lambda \left(\alpha {\Vert \eta \Vert }_p^p+\beta {\Vert \eta \Vert }_2\right),$ (15)

其中 $\alpha >0$ 和 $\beta \in R$ 为组合参数。可以通过理论推导出最优组合参数后，在此基础上建立新正则稀疏优化模型，再结合鲸鱼退火算法设计出针对损伤识别的高效算法，最后通过数值实验验证即可。

3.2. 齿轮箱复合故障诊断

齿轮箱是工业系统和轨道交通系统中的重要动力传输部件，其运行状况直接关系到工业系统的健康状况和高速列车的服役性能。由于加工工艺复杂，装配精度要求较高，工作环境恶劣，齿轮箱极易受到损伤，这将直接导致旋转机械系统发生故障，从而产生较大的经济损失甚至造成人员伤亡。此外，振动信号中常常包含多种元素并伴随着强烈的背景噪声，给齿轮箱故障诊断带来了很大的困难。宋泽树等 [56] 针对传统稀疏分解方法存在的计算效率低，幅值低估以及估计精度不足等问题，提出了一种基于调Q小波变换作为稀疏表示字典的广义平滑对数正则化稀疏分解方法，再利用前向后向分裂(Forward-Backward Splitting, FBS)稀疏分解算法精确求解稀疏表示模型，并通过数值实验验证了所提出方法在齿轮箱复合故障诊断中的适用性与优越性，且在强噪声背景下可以提高重构信号的精确度。其中，正则稀疏优化模型的目标函数如下：

$\begin{array}{c}F\left(x_1,x_2,v_1,v_2\right)={\Vert y-A_1{x}_1-A_2{x}_2\Vert }_2^2+\frac{{\lambda }_1}{a}\lg \left(1+a{\Vert W_1{x}_1\Vert }_1\right)-\frac{{\lambda }_1}{a}\text{lg}\left(1+a{\Vert W_1{v}_1\Vert }_1\right)\\ +\frac{{\lambda }_2}{a}\lg \left(1+a{\Vert W_2{x}_2\Vert }_1\right)-\frac{{\lambda }_2}{a}\text{lg}\left(1+a{\Vert W_2{v}_2\Vert }_1\right)-\frac{{\lambda }_1}{2}{\Vert A_1\left(x_1-v_1\right)\Vert }_2^2-\frac{{\lambda }_2}{a}{\Vert A_2\left(x_2-v_2\right)\Vert }_2^2\end{array}$ (16)

式中： $x_1,x_2,v_1,v_2\in R^M$ 为稀疏表示向量， $A_1,A_2\in R^{N\times M}$ 为变换域(变换矩阵)， ${\lambda }_1,{\lambda }_2$ 为正则化参数， $a>0$ 为对数罚函数(正则项)的尺度参数， $W_1,W_2$ 为权值矩阵。

因为模型的目标函数(16)较为复杂，暂时不考虑引入混合正则项，我们可以构造新的正则稀疏优化模型的目标函数如下：

$\begin{array}{c}F\left(x_1,x_2,v_1,v_2\right)={\Vert y-A_1{x}_1-A_2{x}_2\Vert }_2^2+\frac{{\lambda }_1}{a}\lg \left(1+a{\Vert W_1{x}_1\Vert }_p^p\right)-\frac{{\lambda }_1}{a}\text{lg}\left(1+a{\Vert W_1{v}_1\Vert }_p^p\right)\\ +\frac{{\lambda }_2}{a}\lg \left(1+a{\Vert W_2{x}_2\Vert }_p^p\right)-\frac{{\lambda }_2}{a}\text{lg}\left(1+a{\Vert W_2{v}_2\Vert }_p^p\right)-\frac{{\lambda }_1}{2}{\Vert A_1\left(x_1-v_1\right)\Vert }_2^2\\ -\frac{{\lambda }_2}{a}{\Vert A_2\left(x_2-v_2\right)\Vert }_2^2,\end{array}$ (17)

再结合求解l_p的方法设计高效的迭代算法，并将其应用到齿轮箱复合故障诊断中验证模型和算法的有效性和适用性。

3.3. 遥感图像超分辨率重建(SRR)

SRR是当前卫星遥感数据空间分辨率提升的重要技术，但目前现有的超分辨率重建方法在处理具有复杂地物特征的图像时效果不是很理想。当遥感图像中含有多种非均匀地物信息时，很难构建通用的模型来解决其病态问题。于是，杨雪等 [57] 提出一种混合稀疏表示模型的新型超分辨率重建方法(MSR-SRR)，数值实验表明，该方法的分类结果总体精度和Kappa系数提升更明显，得到的图像细节信息更突出，且不受地物本身类别的限制，不局限于图像的信息提取和分类方法，在提升GF-4图像分辨率方面有很大潜力，可用于图像去噪和图像恢复等，对减灾防灾、气象预警等具有十分重要的意义。其中正则稀疏优化模型如下：

$\min \frac{\lambda }{2}{\Vert D{H}_i{M}_{i}u-g_i\Vert }_2^2+\varphi \left(\nabla u\right)+\omega {\Vert {\nabla }^{2}u\Vert }_p^p+T_c\left(u\right)+K{\Vert s\Vert }_p^p$ ， (18)

式中： $\varphi (\cdot )$ 表示重叠组稀疏正则化项， ${\Vert \cdot \Vert }_p^p$ 表示非凸l_p正则化范数，变量 $\lambda >0$ 和 $\omega >0$ 是正则化参数，s表示影像空间域点分量， ${\Vert s\Vert }_p^p$ 表示影像空间域自身点分量的正则化范数，图像 $T_c\left(u\right)$ 是特征约束函数，当K的值选取较大时，图像的平滑比重增大。

分析模型(18)中每一项代表的不同意义，可以考虑构造如下两种新正则稀疏优化模型：

$\min \frac{\lambda }{2}{\Vert D{H}_i{M}_{i}u-g_i\Vert }_2^2+\varphi \left(\nabla u\right)+\omega \left(\alpha {\Vert {\nabla }^{2}u\Vert }_p^p+\beta {\Vert {\nabla }^{2}u\Vert }_2^2\right)+T_c\left(u\right)+K{\Vert s\Vert }_p^p$ ， (19)

或

$\min \frac{\lambda }{2}{\Vert D{H}_i{M}_{i}u-g_i\Vert }_2^2+\varphi \left(\nabla u\right)+\omega \left(\alpha {\Vert {\nabla }^{2}u\Vert }_p^p+\beta {\Vert {\nabla }^{2}u\Vert }_2\right)+T_c\left(u\right)+K{\Vert s\Vert }_p^p$ ， (20)

其中 $\alpha >0$ 和 $\beta \in R$ 为组合参数。可以理论推出或者用数值调参的方式找到最优的混合系数组合，再结合迭代加权l₁交替方向乘子法设计高效算法求解新模型，最后通过数值实验验证新模型和算法的有效性和适用性以及鲁棒性。

3.4. CFRP电阻抗层析成像建

碳纤维复合材料(CFRP)作为一种新型复合材料，具有高比强度、高比模量及稳定性好等优点，已被广泛应用于航空航天领域。为确保材料使用的安全性，CFRP的有效检测尤为重要，其中电阻抗层析成像(Electrical Impedance Tomography, EIT)以其无创性、可视化、无辐射、操作简单、成本低等优点被广泛研究应用。但是电阻抗层析成像逆问题求解具有严重的病态性，因此马敏等 [59] 提出了一种基于改进低秩稀疏正则化的电阻抗层析成像算法。数值实验表明，该算法能够增强解的稀疏性，改善EIT逆问题的病态性，对于冲击损伤、分层损伤和裂纹损伤均具有良好的反演能力，成像质量均优于传统的三大算法，且成像效果稳定，具有良好抗干扰性，在CFRP损伤检测方面有良好的应用前景。其中EIT重建过程描述如下：

$\min \delta \sigma =\arg \min \left\{\frac{1}{2}{\Vert J\delta \sigma -\delta U\Vert }_2^2+{\lambda }_1{\Vert d_1\Vert }_p^p+{\lambda }_2{\Vert d_2\Vert }_{*}\right\}$

$\text{s}\text{.t}\text{.}{d}_1=\delta \sigma ,d_2=X$ ， (21)

式中： $\delta \sigma \in {\text{R}}^{n\times 1}$ (n为重建图像中的像素数)为电导率张量模值变化量的分布矩阵，J为Jacobian矩阵， $\delta U\in {\text{R}}^{m\times 1}$ (m为独立电压测量值个数) 为材料损伤前后电压测量差值， ${\lambda }_1,{\lambda }_2$ 为正则化参数， ${\Vert \cdot \Vert }_{*}$ 为核范数， ${\Vert A\Vert }_{*}={\displaystyle \underset{i=1}{\overset{\min (m,n)}{\sum }}{\sigma }_i}$ ， ${\sigma }_i$ 为矩阵A的奇异值，X为 $\delta \sigma$ 的先验值矩阵。

模型(20)的特别之处在于它是混合稀疏向量和稀疏矩阵的优化模型，基于此，我们可以构造如下两种新正则稀疏优化模型：

$\min \delta \sigma =\arg \min \left\{\frac{1}{2}{\Vert J\delta \sigma -\delta U\Vert }_2^2+{\lambda }_1\left(\alpha {\Vert d_1\Vert }_p^p+\beta {\Vert d_1\Vert }_2^2\right)+{\lambda }_2{\Vert d_2\Vert }_{*}\right\}$

$\text{s}\text{.t}\text{.}{d}_1=\delta \sigma ,d_2=X$ ， (22)

或

$\min \delta \sigma =\arg \min \left\{\frac{1}{2}{\Vert J\delta \sigma -\delta U\Vert }_2^2+{\lambda }_1\left(\alpha {\Vert d_1\Vert }_p^p+\beta {\Vert d_1\Vert }_2\right)+{\lambda }_2{\Vert d_2\Vert }_{*}\right\}$

$\text{s}\text{.t}\text{.}{d}_1=\delta \sigma ,d_2=X$ ， (23)

其中 $\alpha >0$ 和 $\beta \in R$ 为混合参数。类似地，可推导或者通过数值调参找到最好的混合系数组合。针对新模型，可考虑结合分裂布雷格曼方法、梯度下降法、奇异值阈值迭代方法等算法思想设计高效的算法，再通过数值实验验证新模型和算法在CFRP电阻抗层析成像建上的有效性、适用性和鲁棒性。

3.5. 低秩矩阵正则稀疏优化模型、算法及应用拓展

故障检测(Fault Detection, FD) [4] 在微电子制造、电力系统和农业生产等现代工业过程中至关重要。FD方法可以分为基于模型的方法和数据驱动的方法。针对故障检测，修贤超和刘万泉等构建了如下低秩矩阵稀疏优化模型 [4] ：

$\underset{\text{A,B,C,D}}{\min }-\frac{1}{N}\text{Tr}\left({\text{C}}^{\text{T}}\text{D}\right)+\frac{\beta }{2}{\Vert \text{XA}-\text{C}\Vert }_F^2+\frac{\beta }{2}{\Vert \text{YB}-\text{D}\Vert }_F^2$ ， (24)

$\text{s}\text{.t}\text{.}{\Vert \text{A}\Vert }_{2,0}\le s_1,{\Vert \text{B}\Vert }_{2,0}\le s_2,$

${\text{C}}^{\text{T}}\text{C}={\text{I,D}}^{\text{T}}\text{D}=\text{I,}$

其中A，B，C和D是矩阵变量，约束中给出了对矩阵A和矩阵B的稀疏要求。修贤超等将模型方法和数据驱动方法相结合，设计出高效、快速的方法求解实际问题，其中图1为参考文献 [4] 中的故障检测流程图。回顾我们对正则稀疏优化模型及算法的综述，主要研数值究的变量是稀疏向量，因此可以将 $l_p$ 和 $l_2$ 混合的思想引入上述模型，构建以稀疏矩阵为研究变量的正则稀疏优化模型，再分析模型的性质，最后设计对应的算法求解。进一步，还可以考虑建立数据驱动下的正则稀疏矩阵优化模型等。

事实上，有很多实际问题，如高光谱图像恢复 [60] 、三维合成孔径雷达成像(Synthetic Aperture Radar, SAR) [61] 等都可以用低秩矩阵正则稀疏优化模型描述，此外，求解偏微分方程的非线性稀疏深度神经网络 [62] 也可以用低秩矩阵正则稀疏优化模型描述，同时 $l_p$ 和 $l_2$ 混合的思想还可以应用到这些模型中，针对不同的模型，可以采用不同的混合方法构造正则项，再结合多种算法思想设计出高效的算法，最后通过数值实验验证模型和算法的有效性、适用性以及鲁棒性。

Figure 1. Flowchart of fault detection

图1. 故障检测流程图

4. 总结

本文回顾了过去30年间，正则稀疏优化模型及算法研究的发展过程。正则稀疏优化正则模型中最为关键的就是正则项的选取和构建，从正则项只有一项的l₀正则到l₁正则到l_p正则，再到混合正则项的提出。好的正则项，可以使得正则稀疏优化模型具有好的稀疏解，好的泛化能力，并且可以基于此设计好的算法提高求解效率。最后，结合实际应用中的最新研究成果，我们从工程的损伤识别、齿轮箱复合故障诊断、遥感图像超分辨率重建以及 CFRP电阻抗层析成像这几个实际问题出发，提出构造新正则稀疏优化模型的新思路，并探讨了进步模型处理和算法设计思路。此外，进一步提出将 $l_p$ 和 $l_2$ 混合的思想拓展到低秩矩阵正则稀疏优化模型。综上，还有很多很有趣且有意义的方向有待学者们一一探索。

参考文献