压缩感知中的分布鲁棒优化模型及其求解方法

Distributed Robust Optimization Model and Its Solution Method in Compressed Sensing

摘要: 压缩感知(CS)理论作为当前先采样后压缩方法的替代方法引起了很多的关注，相关学者已经提出很多CS恢复算法如CoSaMP等，而带噪声的压缩感知模型可以表示为l₁-范数问题，由于不易判断矩阵的有限等距性(RIP)以及观测矩阵的不确定性，考虑将该l₁-范数问题建模为分布鲁棒优化问题，再借助KL-散度、函数变换以及内部最大化期望函数等方法得到分布鲁棒优化问题的等价形式。

Abstract: Compressed sensing (CS) theory has attracted a lot of attention as an alternative to the current sampling-then-compression method. Relevant scholars have proposed many CS recovery algorithms such as CoSaMP, etc., and the noisy compressed sensing model can be expressed as an l₁-norm problem. Since it is difficult to judge the finite isometric property (RIP) of the matrix and the uncertainty of the observation matrix, consider modeling the l₁-norm problem as a distributed robust optimization problem, and then use KL-divergence, function transformation and internal maximization methods such as the expectation function obtain equivalent forms of distributed robust optimization problems.

1. 引言

压缩感知，也被称为压缩采样或者稀疏采样，其主要思想是利用信号中存在的冗余性，同时进行采样和压缩。压缩感知理论从比Nyquist采样理论所建议的要少得多的采集测量中证明，当信号在某些域中表现出稀疏性时，它可以以很高的概率重建。在此领域研究的相关学者、已经提出了许多压缩感知恢复算法，例如：Tropp [1] 等提出的正交匹配追踪算法，主要应用于语音处理、图像压缩、信号处理等领域，具有简单易实现、在稀疏信号重构中表现良好的特点，但对于非稀疏信号可能性能有所下降 [2] ；Wright [3] 等提出的基追踪算法，主要应用于信号处理、图像压缩、医学成像等领域，可以处理非稀疏信号，通过求解凸优化问题，能够得到全局最优解，但计算复杂 [4] ；Candès [5] 等提出的压缩采样匹配追踪算法，主要应用于通信系统、成像、生物医学工程等领域，在高度稀疏信号的情况下表现良好，相对于正交匹配追踪算法有更好的收敛性，但对于非稀疏信号仍存在一些问题 [6] ；Goldstein [7] 等提出的迭代硬阈值算法，主要应用于图像重构、信号处理、通信系统等领域，但收敛速度相对较快，算法简单，但受噪声干扰较大 [8] 。

在压缩感知理论中，通常通过与信号相互独立的随机投影对信号进行采样，并通过最小化l₀-范数或者l₁-范数优化问题重建，建立该优化问题的前提是信号在某些变换域中是稀疏的 [8] [9] 。一般地，使用 $m\times n$ 观测矩阵 $\varphi \in R^{m\times n}$ 的m个行向量来投影稀疏系数为s的向量 $x\in R^n$ ，得到观测向量 $y\in R^m$ 。压缩感知的一般模型可以写成：

$y=\varphi x,$ (1.1)

其中，当稀疏系数为s时可令

$x=\psi s,$

也就是说，当信号稀疏时，压缩感知模型可转化为如下形式：

$y=\varphi x=\varphi \psi s.$ (1.2)

考虑带噪声的稀疏系数为s的压缩感知问题，可建模为最小化l₀-范数问题：

$\begin{array}{ll}\min \hfill & {\Vert \psi s\Vert }_0\hfill \\ s.t.\hfill & y=\varphi \psi s.\hfill \end{array}$ (1.3)

问题(1.3)是不连续的，是一个NP-hard问题。

Donoho [10] 等证明了在一定条件下l₀-范数问题与下述l₁-范数问题是等价的，

$\begin{array}{ll}min\hfill & {\Vert \psi s\Vert }_1\hfill \\ s.t.\hfill & y=\varphi \psi s.\hfill \end{array}$ (1.4)

在实际测量过程中，噪声容易干扰观测信号，造成重建信号的过程中出现偏差，假设观测到的带噪声的测量向量为y，噪声为e。那么观测向量可以表示为 $y=\varphi x+e$ ，由于希望噪声e非常小，而且噪声是客观存在无法忽视的，所以假设e小于或等于一个正数 $\epsilon$ ，则问题(1.4)可转化为如下带噪声的压缩感知信号重建模型 [10] ：

$\begin{array}{ll}min\hfill & {\Vert \psi s\Vert }_1\hfill \\ s.t.\hfill & {\Vert \varphi \psi s-y\Vert }_2\le \epsilon .\hfill \end{array}$

一般地，带噪声的压缩感知模型为如下形式：

$\begin{array}{ll}min\hfill & {\Vert x\Vert }_1\hfill \\ s.t.\hfill & {\Vert \varphi x-y\Vert }_2\le \epsilon .\hfill \end{array}$ (1.5)

其中， $\epsilon >0$ 代表噪声， $\varphi$ 代表 $m\times n$ 的观测矩阵， $x\in R^n$ 表示原始信号， $y\in R^m$ 代表观测值。

关于l₁-范数问题的求解，近年来有很多学者对其进行研究做出了很多贡献：

1) 聂操男 [11] 首先将l₁-范数问题转化为概率约束优化模型，再通过构造特征函数 $1_{\left[0,+\infty \right)}\left(z\right)$ 的一个光滑近似函数

$\phi \left(z,t\right)=\{\begin{array}{ll}\frac{\pi }{2}z-\frac{t}{2}+\frac{\pi t}{4}\hfill & z>0\hfill \\ \frac{\pi }{2}z-\frac{t}{2}\cos \frac{\pi }{t}z+\frac{\pi t}{4}\hfill & -\frac{t}{2}<z<0\hfill \\ 0\hfill & z\le -\frac{t}{2}\hfill \end{array}$

然后建立压缩感知中的概率约束优化问题的的光滑D.C.近似问题( P δ )

$\begin{array}{ll}\underset{x\in X}{\min }\hfill & {\Vert x\Vert }_1\hfill \\ s.t.\hfill & p\left(x,\epsilon ,\delta \right)\le \alpha ,\hfill \end{array}$ (1.6)

并对(1.6)进行了收敛性分析，最后分析并求解压缩感知中的概率约束优化问题的光滑D.C.近似问题。

2) 陈苗给 [12] 出求解含有l₁-范数问题的光滑FR共轭梯度法。先将l₁-范数问题等价转化为无约束优化问题，

$\underset{z\in R^{2\pi }}{\min }f\left(z\right)=\frac{1}{2}{\Vert \left(H+I\right)z+c-\left|\left(H-I\right)z+c\right|\Vert }^2$ (1.7)

其中 $H\in R^{n\times n}$ ， $c\in R^n$

然后对此无约束优化问题进行光滑化处理，利用绝对值函数的光滑逼近函数：

${\varphi }_i\left(z,\mu \right)=\sqrt{{\left(\left(H-I\right)z+c\right)}_i^2+{\mu }^2},$ (1.8)

其中， $\mu \in R_{+}$ ， $i=1,2,\cdots ,2n$ 。

且(1.8)满足

$\underset{\mu \to 0}{\lim }{\varphi }_i\left(z,\mu \right)=\left|{\left(\left(H-I\right)z+c\right)}_i\right|,$

其中， $i=1,2,\cdots ,2n$ 。

基于(1.8)，得到(1.7)的目标函数的光滑函数

$\tilde{f}\left(z,\mu \right)=\frac{1}{2}{\displaystyle \underset{t=1}{\overset{2n}{\sum }}{\tilde{f}}^2}\left(z,\mu \right),$

其中

$\tilde{f}\left(z,\mu \right)={\left(\left(H+I\right)z+c\right)}_i-{\varphi }_i\left(z,\mu \right)$ , $i=1,2,\cdots ,2n$ .

这样就将含有l₁-范数问题转化为光滑无约束优化问题，并且在一般条件下给出了FR共轭梯度法的全局收敛结果。

3) 屈彪等 [13] 将l₁-范数问题转化为一个分裂可行问题

求 $x^{\ast }\in C$ ，使得 $A{x}^{\ast }\in Q$ ， (1.9)

其中 $C=\left\{x\in R^n|{\Vert x\Vert }_1-s\le 0\right\}$ ， $Q=\left\{y\in R^m|y=b\right\}$ 。

同时也可以将l₁-范数问题转化为一个凸可行问题

求 $x^{\ast }\in \left({\displaystyle \underset{j=1}{\overset{m}{\cap }}{Q}_j}\right)\cap C$ (1.10)

其中， $Q_i=\left\{x\in R^n|\langle a^j,b\rangle =b_j\right\},j=1,2,\cdots ,m$ ， $a^j$ 是观测矩阵第j列， $b_j$ 是观测向量b的第j个分量。

在式(1.9)和(1.10)基础上，设计了几种松弛投影算法与经典投影算法简化了投影计算量和步长计算步骤。

2. 压缩感知中的分布鲁棒约束优化模型

对于带噪声的压缩感知模型，由于不易判断矩阵的有限等距性(RIP)以及观测矩阵的不确定性，因此可将l₁-范数问题建模为分布鲁棒优化问题：

$\begin{array}{ll}\min \hfill & {\Vert x\Vert }_1\hfill \\ s.t.\hfill & {\mathrm{Pr}}_{~P}\left\{{\Vert \varphi \left(\xi \right)x-y\Vert }_2\le \epsilon \right\}\ge 1-\beta ,\hfill \\ \hfill & \forall P\in \mathbb{P}.\hfill \end{array}$ (2.1)

其中， $x\in X\subseteq R^n$ 是n维的决策向量， $\xi$ 是支撑集 $\Xi \in R^k$ 上的具有概率分布P的随机向量，Pr为概率， $y\in R^m$ ， $\beta \in \left(0,1\right)$ 是预先给定的置信水平。 $\mathbb{P}$ 表示任意分布， $\epsilon >0$ ， $\varphi \in R^{m\times n}$ 。

考虑特征函数

$1_{\left(0,+\infty \right)}\left(z\right)=\{\begin{array}{ll}1,\hfill & z\in \left(0,+\infty \right),\hfill \\ 0,\hfill & z\notin \left(0,+\infty \right).\hfill \end{array}$

由概率约束条件 ${\mathrm{Pr}}_{~P}\left\{{\Vert \varphi \left(\xi \right)x-y\Vert }_2\le \epsilon \right\}\ge 1-\beta$ 得

$\begin{array}{c}1-{\mathrm{Pr}}_{~P}\left\{{\Vert \varphi \left(\xi \right)x-y\Vert }_2\le 0\right\}=\underset{P\in \mathbb{P}}{{\mathrm{Pr}}_{~P}}\left\{{\Vert \varphi \left(\xi \right)x-y\Vert }_2-\epsilon \right\}\ge 0\\ =E_P\left[1_{\left(0,+\infty \right)}\left({\Vert \varphi \left(\xi \right)x-y\Vert }_2-\epsilon \right)\right]\le \beta .\end{array}$

从而问题(2.1)可表示成：

$\begin{array}{ll}\min \hfill & {\Vert x\Vert }_1\hfill \\ s.t.\hfill & \underset{P\in \mathbb{P}}{\max }{E}_P\left[1_{\left(0,+\infty \right)}\left({\Vert \varphi \left(\xi \right)x-y\Vert }_2-\epsilon \right)\right]\le \beta \hfill \end{array}$ (2.2)

3. 内部最大化问题的求解

假设这里已经获得一个额定分布P₀，通过考虑P₀与未知分布P之间的距离来构造模糊集

$\mathbb{P}=\left\{P\in D:\text{D}\left(P\left|\right|P_0\right)\le \eta \right\},$ (3.1)

其中，D表示所有概率分布的集合，常数 $\eta$ 是模糊度指数，它控制模糊度集P的大小， $\text{D}\left(P\left|\right|P_0\right)$ 表示分布P到额定分布P₀的距离散度。

假设P相对于P₀是绝对连续的(记为 $P\ll P_0$ )，也就是说对于每个可测集合A，若 $P\left(A\right)=0$ 也就意味着 $P_0\left(A\right)=0$ 。设分布P和P₀在支撑集 $\Xi \in R^k$ 上有概率密度函数 $p\left(\xi \right)$ 和 $p_0\left(\xi \right)$ ，定义

$L\left(\xi \right)=\frac{p\left(\xi \right)}{p_0\left(\xi \right)},$

则 $L\left(\xi \right)$ 称为似然比， $L\left(\xi \right)>0$ ，且 $E_P\left[L\left(\xi \right)\right]=1$ ，显然，对于测量分布P与额定分布P₀扰动或偏差问题，似然比是一个很好的工具 [14] 。

考虑KL-距离散度函数：

${\varphi }_{KL}\left(t\right)=t\log t,t\ge 0,$

则从P到P₀的KL-距离散度为

$D\left(P\left|\right|P_0\right)={\displaystyle {\int }_{\Xi }p\left(z\right)\log \frac{p\left(z\right)}{p_0\left(z\right)}dz},$

显然， $D\left(P\left|\right|P_0\right)\ge 0$ ，当且仅当在P₀上有 $p\left(z\right)=p_0\left(z\right)$ 几乎一定成立时，等式成立。

定义一个不确定集为：

$\mathbb{L}=\left\{L\left(\xi \right)\in \mathbb{L}\left(P_0\right):E_{P_0}\left[L\left(\xi \right)\right]=1,L\left(\xi \right)\ge 0a.s.\right\},$

使用测度变换方法，得

$D\left(P\left|\right|P_0\right)={\displaystyle {\int }_{\Xi }\frac{p\left(z\right)}{p_0\left(z\right)}\log \frac{p\left(z\right)}{p_0\left(z\right)}p\left(z\right)dz}=E_{P_0}\left[L\left(\xi \right)\log L\left(\xi \right)\right].$

因此，可以将约束函数转换为期望形式，其中期望是关于额定分布P₀的。

考虑问题(2.2)的约束函数

$\underset{P\in \mathbb{L}}{\max }{E}_P\left[1_{\left(0,+\infty \right)}\left({\Vert \varphi \left(\xi \right)x-y\Vert }_2-\epsilon \right)\right],$

令 $H\left(x,\xi \right)=1_{\left(0,+\infty \right)}\left({\Vert \varphi \left(\xi \right)x-y\Vert }_2-\epsilon \right)$ ，有

$E_P\left[H\left(x,\xi \right)\right]={\displaystyle {\int }_{\Xi }H\left(x\right)p\left(\xi \right)d\xi }={\displaystyle {\int }_{\Xi }H\left(x,\xi \right)\frac{p\left(\xi \right)}{p_0\left(\xi \right)}p\left(\xi \right)d\xi }=E_{P_0}\left[H\left(x,\xi \right)L\left(\xi \right)\right].$

问题(2.2)中的内部最大化问题可以重新表述为

(3.2)

易证，问题(3.2)是一个凸优化问题。

事实上，和 $\forall L_1\left(\xi \right)$ ， $L_2\left(\xi \right)\in \mathbb{L}$ ，可以得到

此外，令 $h\left(y\right)=y\log y$ ，由于 $h\left(y\right)$ 是在 $R^{+}$ 上关于y的凸函数，对于每个 $\xi$ ，有

$L_{\lambda }\left(\xi \right)\log L\left(\xi \right)\le L_1\left(\xi \right)\log L_1\left(\xi \right)+\left(1-\lambda \right)L_2\left(\xi \right)\log L_2\left(\xi \right),$

由此可得

$\begin{array}{c}{E}_{P_0}\left[L_{\lambda }\left(\xi \right)\log L_{\lambda }\left(\xi \right)\right]=E_{P_0}\left[L_1\left(\xi \right)+\left(1-\lambda \right)L_2\left(\xi \right)\right]\\ \le \lambda E_{P_0}\left[L_1\left(\xi \right)\log L_1\left(\xi \right)\right]+\left(1-\lambda \right)E_{P_0}\left[L_2\left(\xi \right)\log L_2\left(\xi \right)\right]\end{array}$

也就是说， $E_{P_0}\left[L\left(\xi \right)\log L\left(\xi \right)\right]$ 是凸的。

类似地，令 $g\left(y\right)=H\left(x,\xi \right)y$ ，由于 $g\left(y\right)$ 是在 $R^{+}$ 上关于y的凸函数，

那么

$H\left(x,\xi \right)L_{\lambda }\left(\xi \right)\le \lambda H\left(x,\xi \right)L_1\left(\xi \right)+\left(1-\lambda \right)H\left(x,\xi \right)L_2\left(\xi \right),$

由此可见

$\begin{array}{c}{E}_{P_0}\left[H\left(x,\xi \right)L_{\lambda }\left(\xi \right)\right]=E_{P_0}\left[\lambda H\left(x,\xi \right)L_1\left(\xi \right)+\left(1-\lambda \right)H\left(x,\xi \right)L_2\left(\xi \right)\right]\\ \le \lambda E_{P_0}\left[H\left(x,\xi \right)L_1\left(\xi \right)\right]+\left(1-\lambda \right)E_{P_0}\left[H\left(x,\xi \right)L_2\left(\xi \right)\right]\end{array}$

故 $E_{P_0}\left[H\left(x,\xi \right)L\left(\xi \right)\right]$ 关于 $L\left(\xi \right)$ 也是凸的，因此问题(2.4)也是个凸优化问题。

对于每个 $x\in X$ ，记 $M_H\left(t\right)=E_{P_0}\left[{\text{e}}^{tH\left(x,\xi \right)}\right]$ 表示 $H\left(x,\xi \right)$ 关于分布P₀的矩母生成函数，令

$S=\left\{s\in R:s>0,M_H\left(s\right)<+\infty \right\}.$

假设1 [15] 对于每个 $x\in X$ ，S是一个非空集。

令

${\mathcal{l}}_0\left(\alpha ,L\left(\xi \right)\right)=E_{P_0}\left[H\left(x,\xi \right)L\left(\xi \right)\right]-\alpha \left[E_{P_0}L\left(\xi \right)\log L\left(\xi \right)-\eta \right],$

问题(3.2)等价于

$\underset{L\left(\xi \right)\in \mathbb{L}}{maximize}\underset{\alpha \ge 0}{minimize}{\mathcal{l}}_0\left(\alpha ,L\left(\xi \right)\right).$ (3.3)

交换极大极小算子的顺序，得到(3.3)的Lagrangian对偶为

$\underset{\alpha \ge 0}{minimize}\underset{L\left(\xi \right)\in \mathbb{L}}{maximize}{\mathcal{l}}_0\left(\alpha ,L\left(\xi \right)\right).$ (3.4)

假设问题(3.2)满足slater条件 [16] ，即存在 $L\left(\xi \right)$ ，使得

$E_{P_0}\left[L\left(\xi \right)\log L\left(\xi \right)\right]<\eta ,$

又由于(3.2)是凸问题，所以问题(3.3)和问题(3.4)的强对偶性成立，因此要求解问题(3.2)，只需求解问题(3.4)即可。忽略 $\alpha \eta$ ，问题(3.4)可以表示为

$\begin{array}{ll}\underset{L(\xi )\in \mathbb{L}}{\max }\hfill & E_{P_0}\left[H\left(x,\xi \right)L\left(\xi \right)-\alpha L\left(\xi \right)\log L\left(\xi \right)\right]\hfill \\ s.t.\hfill & E_{P_0}\left[L\left(\xi \right)\right]=1.\hfill \end{array}$ (3.5)

问题(3.5)是一个凸优化问题，设 $\upsilon \left(\alpha \right)$ 是问题(3.5)的最优值函数。

考虑两种情况：1) $\alpha =0$ ；2) $\alpha \ne 0$ 并且 $\frac{1}{\alpha }\in S$ ；

1) 设 $H_u\left(x\right)$ 是测度P₀上 $H\left(x,\xi \right)$ 的本质上确界，即

$H_u\left(x\right)=\inf \left\{t\in \text{R}:{\mathrm{Pr}}_{~P_0}\left\{H\left(x,\xi \right)>t\right\}=0\right\},$

然后构造一个分布序列 $P_j\ll P_0$ 集中趋于 $H_u\left(x\right)$ ，进而构造 $L_j\left(\xi \right)\in {\mathbb{L}}^0$ ，使得当 $j\to +\infty$ 时， $E_{P_0}\left[H\left(x,\xi \right)L_j\left(\xi \right)\right]$ 趋于 $H_u\left(x\right)$ 。因此， $\upsilon \left(\alpha \right)=H_u\left(x\right)$ 。

2) 定义函数

$F\left(L\left(\xi \right)\right):=E_{P_0}\left[H\left(x,\xi \right)L\left(\xi \right)-\alpha L\left(\xi \right)\log L\left(\xi \right)\right],$

$G\left(L\left(\xi \right)\right):=E_{P_0}\left[L\left(\xi \right)\right]-1,$

其中， $F\left(L\left(\xi \right)\right)$ 关于 $L\left(\xi \right)$ 是凸的， $G\left(L\left(\xi \right)\right)$ 关于 $L\left(\xi \right)$ 是线性的。因此可以计算函数的导数。对于在 $L\left(\xi \right)$ 任意可行方向 $V\left(\xi \right)$ ，

$\begin{array}{c}DF\left(L\left(\xi \right)\right)V\left(\xi \right)=\frac{F\left(L\left(\xi \right)\right)+tV\left(\xi \right)-F\left(L\left(\xi \right)\right)}{t}\\ =\underset{t\to 0}{\lim }\frac{E_{P_0}\left[H\left(x,\xi \right)\left(L\left(\xi \right)+tV\left(\xi \right)\right)-\alpha \left(L\left(\xi \right)+tV\left(\xi \right)\log L\left(\xi \right)\right)\right]}{t}\\ -\frac{E_{P_0}\left[H\left(x,\xi \right)L\left(\xi \right)-\alpha L\left(\xi \right)\log L\left(\xi \right)\right]}{t}\\ =\underset{t\to 0}{\lim }{E}_{P_0}\left[H\left(x,\xi \right)V\left(\xi \right)\right]\\ -\alpha \underset{t\to 0}{\lim }{E}_{P_0}\left[\frac{E_{P_0}\left[\left(L\left(\xi \right)+tV\left(\xi \right)\right)\log \left(L\left(\xi \right)+tV\left(\xi \right)\right)-L\left(\xi \right)\log L\left(\xi \right)\right]}{t}\right]\end{array}$

对于任意可行的y和 $V\left(\xi \right)$ ，函数 $k\left(t\right)=\frac{y+tV\left(\xi \right)\log \left(y+tV\left(\xi \right)\right)-y\log y}{t}$ 是关于t单调的，因此，通过单调收敛定理 [16] ，可以得到

$\begin{array}{c}DF\left(L\left(\xi \right)\right)V\left(\xi \right)=E_{P_0}\left[H\left(x,\xi \right)V\left(\xi \right)\right]-E_{P_0}\left[\underset{t\to 0}{\lim }\frac{L\left(\xi \right)+tV\left(\xi \right)-\log \left(L\left(\xi \right)+tV\left(\xi \right)\right)-L\left(\xi \right)\log L\left(\xi \right)}{t}\right]\\ =E_{P_0}\left[H\left(x,\xi \right)V\left(\xi \right)\right]-\alpha E_{P_0}\left[\left(\log L\left(\xi \right)+1\right)V\left(\xi \right)\right]\\ =E_{P_0}\left[\left(H\left(x,\xi \right)-\alpha \left(\log L\left(\xi \right)+1\right)\right)V\left(\xi \right)\right]\end{array}$

类似地，可以得到

$DF\left(L\left(\xi \right)\right)V\left(\xi \right)=E_{P_0}\left[V\left(\xi \right)\right],$

问题(3.5)的拉格朗日函数如下:

$\begin{array}{c}\mathcal{l}\left(L\left(\xi \right),\lambda \right)=E_{P_0}\left[H\left(x,\xi \right)L\left(\xi \right)\right]-\alpha L\left(\xi \right)\log L\left(\xi \right)+\lambda E_{P_0}\left[L\left(\xi \right)-1\right]\\ =E_{P_0}\left[H\left(x,\xi \right)L\left(\xi \right)-\alpha L\left(\xi \right)\log L\left(\xi \right)+\lambda L\left(\xi \right)\right]-\lambda \end{array}$

命题3.1 [16] 如果存在 $\left(L^{*}\left(\xi \right),{\lambda }^{*}\right)$ ，使得 $L^{*}\left(\xi \right)\in {\mathbb{L}}^0$ ， $G\left(L^{*}\left(\xi \right)\right)=0$ 并且

$L^{*}\left(\xi \right)\in \underset{L\left(\xi \right)\in {\mathbb{L}}^0}{\arg \max }\mathcal{l}\left(L\left(\xi \right),{\lambda }^{*}\right)$ (3.6)

因此这个问题简化为解决问题(3.6)，则 $L^{*}\left(\xi \right)$ 是问题(3.5)的最优解。问题(3.6)是一个本质上没有约束的凸优化问题。因此，它的最优解应该是某种意义上的驻点，即它应该强制 $\mathcal{l}\left(L\left(\xi \right),\lambda \right)$ 的导数在某种意义上为零。由导数的表达式和导数算子的线性，得到

$D\mathcal{l}\left(L\left(\xi \right),\lambda \right)V=E_{P_0}\left[\left(H\left(x,\xi \right)-\alpha \left(\log L\left(\xi \right)+1\right)+\lambda \right)V\right]$

命题3.2 [15] 假设 $L\left(\xi \right)=L^{*}\left(\xi ,\lambda \right)$ 满足 $H\left(x,\xi \right)-\alpha \left(\log L\left(\xi \right)+1\right)+\lambda =0$ ，也就是 $D\mathcal{l}\left(L\left(\xi \right),\lambda \right)=0$ (即 $D\mathcal{l}\left(L\left(\xi \right),\lambda \right)$ 是零线性算子)那么 $\mathcal{l}\left(L^{\ast }\left(\xi ,\lambda \right),\lambda \right)<+\infty$ ，并且

$L^{*}\left(\xi ,\lambda \right)\in \underset{L\left(\xi \right)\in {\mathbb{L}}^0}{\arg \max }\mathcal{l}\left(L\left(\xi \right),\lambda \right),$

证明：由 $H\left(x,\xi \right)-\alpha \left(\log L\left(\xi \right)+1\right)+\lambda =0$ 可得， ${\text{e}}^{\frac{H\left(x,\xi \right)+\lambda }{\alpha }-1}=L\left(\xi \right)$ ，将其带入

$G\left(L^{*}\left(\xi \right)\right)=E_{P_0}\left[L\left(\xi \right)\right]-1=0,$

得到

$E_{P_0}\left[{\text{e}}^{\frac{H\left(x,\xi \right)+\lambda }{\alpha }-1}\right]-1=0,$

该期望函数可变形为

$e^{E_{P_0}{[}^{\frac{H\left(x,\xi \right)+\lambda }{\alpha }-1}]}=1,$

即

$E_{P_0}\left[H\left(x,\xi \right)\right]=\alpha -\lambda$

得到

$\lambda =\alpha -E_{P_0}\left[H\left(x,\xi \right)\right]$ ,

再将 $H\left(x,\xi \right)-\alpha \left(\log L\left(\xi \right)+1\right)+\lambda =0$ 变形

$L\left(\xi \right)={\text{e}}^{\frac{\lambda -\alpha }{\alpha }}\cdot {\text{e}}^{\frac{H\left(x,\xi \right)}{\alpha }},$

又由 $L\left(\xi \right)=L^{*}\left(\xi ,\lambda \right)$ ，也就是最优解的形式为

$L^{*}\left(\xi ,\lambda \right)=L\left(\xi \right)={\text{e}}^{\frac{\lambda -\alpha }{\alpha }}\cdot {\text{e}}^{\frac{H\left(x,\xi \right)}{\alpha }}.$

命题3.2表明优化问题(3.5)的最优目标值是有限的，还得出最优解的形式为

$L^{*}\left(\xi ,\lambda \right)={\text{e}}^{\frac{\lambda -\alpha }{\alpha }}\cdot {\text{e}}^{\frac{H\left(x,\xi \right)}{\alpha }},$

设 ${\lambda }^{*}=-\alpha \log E_{P_0}\left[{\text{e}}^{\frac{H\left(x,\xi \right)}{\alpha }}\right]+\alpha$ ，可以得到 $G\left(L^{*}\left(\xi \right),{\lambda }^{*}\right)=0$ 。

$L^{*}\left(\xi \right)=L^{*}\left(\xi ,{\lambda }^{*}\right)=\frac{{\text{e}}^{\frac{H\left(x,\xi \right)}{\alpha }}}{E_{P_0}\left[{\text{e}}^{\frac{H\left(x,\xi \right)}{\alpha }}\right]}$

由上述给出的 $L^{*}\left(\xi \right)$ 与 ${\lambda }^{*}$ ，满足Bonnans等人提出的命题3.3的条件 [16] ，这表明 $L^{*}\left(\xi \right)$ 可以求解问题(3.5)。将 $L^{*}\left(\xi \right)$ 代入问题(3.5)，得到问题(3.5)的最优值函数：

$\upsilon \left(\alpha \right)=\alpha \log E_{P_0}\left[{\text{e}}^{\frac{H\left(x,\xi \right)}{\alpha }}\right]+\alpha \eta$ (3.7)

当假设1成立时，对于 $\forall x\in X$ ，总存在 $\alpha >0$ ，使得问题(3.7)有限，这说明问题(3.5)的最优值函数是有限的。进一步结合两种情况，得到以下定理

定理1 若假设1成立且不确定集为 $\mathbb{L}$ ，则问题(3.2)等价于

$\underset{\alpha \ge 0}{\min }f\left(\alpha \right)=\alpha \log E_{P_0}\left[{\text{e}}^{\frac{1_{\left(0,+\infty \right)}\left({\Vert \varphi \left(\xi \right)x-y\Vert }_2-\epsilon \right)}{\alpha }}\right]+\alpha \eta$ (3.8)

综上问题(2.1)可以等价转化为

$\begin{array}{ll}\underset{x\in X}{\min }\hfill & {\Vert x\Vert }_1\hfill \\ s.t.\hfill & \underset{\alpha \ge 0}{\inf }f\left(\alpha \right)\le \beta \hfill \end{array}$ (3.9)

其中， $f\left(\alpha \right)$ 由式(3.8)定义。

4. 总结及展望

这篇文章的主要内容是将一个l₁-范数问题建模为分布鲁棒优化问题，并通过使用KL-散度、函数变换以及内部最大化期望函数等方法，得到了分布鲁棒优化问题的等价形式。

文章可能首先介绍了压缩感知模型的背景，包括l₁-范数问题模型，但其由于不易判断矩阵的有限等距性(RIP)以及观测矩阵的不确定性，需要将其建模为分布鲁棒优化问题等。接着，文章阐述建模的过程，包括如何利用KL-散度和函数变换来对l₁-范数问题进行转换，并通过内部最大化期望函数等方法得到等价形式。

应用分布鲁棒优化问题模型方法对于解决l₁-范数问题，可以进一步转化为凸优化问题，进而应用凸优化问题解决方法，未来可以探索例如转化为CVaR模型，并考虑使用内点法或梯度下降法等算法解决。相信以后在这个领域会有更深入的理解和探索。

在问题适用性方面，该方法建模为分布鲁棒优化问题的适用性可能受到特定问题结构和数据分布的限制；在计算复杂性角度方面，因为在实际应用中，由于使用了KL-散度、函数变换等方法，可能导致算法的计算复杂性较高；在参数敏感性方面且方法中可能存在一些参数，对于这些参数的选择可能对最终结果产生较大影响。

今后研究方向和改进方向的改进，可以研究如何优化算法，降低计算复杂性，使方法更适用于大规模数据和实时应用；可以探索方法中参数的自适应性，减少对目标的参数调整需求，提高方法的易用性；可以加强对方法理论基础的研究，确保方法在不同场景下的有效性，并探索更一般化的问题建模方法。