微分方程方法求解约束优化问题

Differential Equation Method for Solving Constrained Optimization Problems

摘要: 本文探讨了微分方程方法在求解约束优化问题的应用，讨论解的收敛性和收敛速度。首先，通过对原始约束优化所对应的Karush-Kuhn-Tucker条件进行转换后，利用光滑互补函数，将问题转化成求解光滑方程组S(ε,x,μ,λ)=0，进一步转化成无约束优化问题。我们利用了微分方程系统来求解最终的无约束优化问题，并在一定的约束条件下，得到了该微分方程系统的解稳定性及收敛速度，从而得到了所求约束优化问题的收敛性和解的收敛速度。最后，给出数值实验说明所提出的微分方程方法求解约束优化问题的有效性。

Abstract: This article explores the application of differential equation methods in solving constrained optimization problems, and discusses the convergence and speed of solutions. Firstly, by transforming the Karush Kuhn Tucker condition corresponding to the original constrained optimization, and using a smooth complementarity function, the problem is transformed into solving a smooth equation systemS(ε,x,μ,λ)=0, which is further transformed into an unconstrained optimization problem. We utilized a differential equation system to solve the final unconstrained optimization problem, and under certain constraint conditions, obtained the solution stability and convergence rate of the differential equation system, thus obtaining the convergence and convergence rate of the constrained optimization problem. Finally, numerical experiments are provided to demonstrate the effectiveness of the proposed differential equation method for solving constrained optimization problems.

1. 引言

约束优化问题是一类常见和重要的数学问题，它在工程、经济学和管理等领域中得到广泛的应用。在实际应用中，约束优化问题常常涉及到多个变量和多个约束条件，因此其求解难度较大。近年来，微分方程方法在求解约束优化问题中得到了广泛的应用。

本文将考虑以下约束优化问题：

$\min f\left(x\right)$ (1)

其中 $x\in C$ ，约束集合C表示为 $C=\left\{x\in R^n|h\left(x\right)=0,-g\left(x\right)\ge 0\right\}$ ， $h:R^n\to R^l$ 和 $g:R^n\to R^m$ 都是连续可微的， $R^n$ 表示为n维实列向量空间。

约束优化问题的Karush-Kuhn-Tucker (KKT)条件为：

$\begin{array}{l}L\left(x,\mu ,\lambda \right)=\nabla f\left(x\right)+Jh{\left(x\right)}^{\text{T}}\mu +Jg{\left(x\right)}^{\text{T}}\lambda =0\\ h\left(x\right)=0\\ -g\left(x\right)\perp \lambda \end{array}$ (2)

其中， $L\left(x,\mu ,\lambda \right)$ 是约束优化问题的Lagrange函数， $\mu \in R^l$ 和 $\lambda \in R^m$ 是拉格朗日乘子。

本文将运用微分方程方法求解约束优化问题。用微分方程求解约束优化问题在最近几年引起人们的重视，最早工作是Arrow与Hurwicz [1] ，Fiacco与McCormick用微分方程来研究最优性条件中的约束规范问题，微分方程系统求解原问题的思想是构造微分方程系统，满足其平衡点是原问题的最优解并且是渐近稳定的，通过求解该微分方程系统得到原问题的最优解。Antipin [2] 研究了具有耦合约束的变分不等式问题，引入了对称函数，并提出了全局收敛的微分方程方法。

近些年来，运用微分方程方法求解约束优化问题受到许多学者的关注。Gao，Liao和Oi [3] 根据投影算子理论提出可求解带有线性和非线性约束的变分不等式的微分方程模型。Sun等 [4] 将神经网络方法应用于求解二阶锥约束变分不等式问题，提出了两种神经网络模型。Attouch [5] [6] 又提出了用二阶微分方程系统来解决凸优化问题。Evtushenko与Zhadan [7] [8] [9] 对这一类方法进行系统的研究。

Evtushenko与Zhadan工作的特色是迭代点具有较好的稳定性，一旦迭代点属于可行域，其后继的迭代点都不会再落在可行域外面。我们一直认为Evtushenko等人的工作没有得到充分的重视，且我们认为用微分方程方法求约束优化问题的工作还远不够深入，以往的做法都是把问题先转化为光滑的无约束优化问题，再对无约束优化用负梯度构造微分方程方法。本文将运用微分方程方法来解决约束优化问题，即构造一个微分方程系统，研究这个微分方程系统轨迹的存在性和收敛性。

2. 预备知识

我们运用互补函数将约束优化问题作以转化，将约束优化问题的Karush-Kuhn-Tucker (KKT)条件转化为光滑方程组问题 [10] 。对于 $\phi :R^m\times R^m\to R^m$ ，满足 $\phi \left(a,b\right)=0$ 当且仅当 $a\perp b$ ，我们有光滑互补函数

${\phi }_{NR}^{\epsilon }\left(x,y\right)=x-\varphi \left(\epsilon ,x-y\right)$ (3)

其中 $\left(\epsilon ,x-y\right)\in R_{+}\times R^m$ 。对于 $\forall \epsilon ,x-y\in R_{+}\times R^m$ ，有

$\varphi \left(\epsilon ,x-y\right)=\frac{1}{2}\left(x-y+\sqrt{{\epsilon }^{2}e+{\left(x-y\right)}^2}\right)$ ，

其中e为 $R^m$ 的单位向量。

所以，约束优化问题的KKT条件(2)转化为

$S\left(\epsilon ,x,\mu ,\lambda \right)=\left(\begin{array}{c}\epsilon \\ L\left(x,\mu ,\lambda \right)\\ h\left(x\right)\\ {\phi }_{NR}^{\epsilon }\left(-g_{m_i}(x),{\lambda }_{m_i}\right)\end{array}\right)=0$ (4)

其中， $g_{m_i},{\lambda }_{m_i}\in R^{m_i}$ ， ${\displaystyle \underset{i=1}{\overset{p}{\sum }}{m}_i=m}$ 。

下面，我们引入价值函数 $\Psi \left(\epsilon ,x,\mu ,\lambda \right)$ ，即

$\begin{array}{c}\Psi \left(\epsilon ,x,\mu ,\lambda \right)=\frac{1}{2}{S}^{\text{T}}\left(\epsilon ,x,\mu ,\lambda \right)S\left(\epsilon ,x,\mu ,\lambda \right)\\ =\frac{1}{2}{\Vert S\left(\epsilon ,x,\mu ,\lambda \right)\Vert }^2\end{array}$

从而，将约束优化问题转化成无约束优化问题：

$\min \Psi \left(\epsilon ,x,\mu ,\lambda \right)=\min \frac{1}{2}{\Vert S\left(\epsilon ,x,\mu ,\lambda \right)\Vert }^2$

3. 二阶微分方程系统

我们用具有阻尼惯性系数 $\gamma \left(t\right)$ 和时间缩放参数 $\beta \left(t\right)$ 的二阶微分方程系统(DIN-AVD) [11]

$\ddot{z}\left(t\right)+\frac{\alpha }{t}\stackrel{\dot{}}{z}\left(t\right)+\beta {\nabla }^2\Phi \left(z\left(t\right)\right)\stackrel{\dot{}}{z}\left(t\right)+\nabla \Phi \left(z\left(t\right)\right)=0$ (5)

来求解最终转化成的优化问题：

$\min \frac{1}{2}{\Vert S\left(z\right)\Vert }^2$

其中， $\gamma \left(t\right)$ 和 $\beta \left(t\right)$ 是 $\left[t_0,+\infty \right)$ 上非负连续函数且 $S\left(z\right)=S\left(\epsilon ,x,\mu ,\lambda \right)$ ，即

$\min \frac{1}{2}{\Vert S\left(z\right)\Vert }^2=\min \frac{1}{2}{\Vert S\left(\epsilon ,x,\mu ,\lambda \right)\Vert }^2$

再令 $\Psi \left(\epsilon ,x,\mu ,\lambda \right)=\frac{1}{2}{\Vert S\left(\epsilon ,x,\mu ,\lambda \right)\Vert }^2$ ，得

$\min \frac{1}{2}{\Vert S\left(z\right)\Vert }^2=\min \Psi \left(\epsilon ,x,\mu ,\lambda \right)$

从而，建立与无约束优化问题所对应的二阶微分方程系统

$\left(\begin{array}{c}\ddot{\epsilon }\left(t\right)\\ \ddot{x}\left(t\right)\\ \ddot{\mu }\left(t\right)\\ \ddot{\lambda }\left(t\right)\end{array}\right)+\frac{\alpha }{t}\left(\begin{array}{c}\stackrel{\dot{}}{\epsilon }\left(t\right)\\ \stackrel{\dot{}}{x}\left(t\right)\\ \stackrel{\dot{}}{\mu }\left(t\right)\\ \stackrel{\dot{}}{\lambda }\left(t\right)\end{array}\right)+\beta {\nabla }^2\Psi \left(\begin{array}{c}\epsilon \left(t\right)\\ x\left(t\right)\\ \mu \left(t\right)\\ \lambda \left(t\right)\end{array}\right)\left(\begin{array}{c}\stackrel{\dot{}}{\epsilon }\left(t\right)\\ \stackrel{\dot{}}{x}\left(t\right)\\ \stackrel{\dot{}}{\mu }\left(t\right)\\ \stackrel{\dot{}}{\lambda }\left(t\right)\end{array}\right)+\left(\begin{array}{c}{\nabla }_{\epsilon }{S}^{\text{T}}\left(z\right)S\left(z\right)\\ {\nabla }_x{S}^{\text{T}}\left(z\right)S\left(z\right)\\ {\nabla }_{\mu }{S}^{\text{T}}\left(z\right)S\left(z\right)\\ {\nabla }_{\lambda }{S}^{\text{T}}\left(z\right)S\left(z\right)\end{array}\right)=0$ (6)

下面，我们分析(DIN-AVD)沿轨迹值的快速收敛。假设 $\alpha \ge 3$ 且 $z^{{}_{*}}\in \arg \min \Psi$ 。设z是(DIN-AVD)的一个解，它的柯西数对 $\left(z\left(t_0\right),\stackrel{\dot{}}{z}\left(t_0\right)\right)=\left(z_0,{\stackrel{\dot{}}{z}}_0\right)\in {\rm H}\times {\rm H}$ 。对于 $\lambda \in \left[2,\alpha -1\right]$ 我们定义函数 ${{\rm E}}_{\lambda }\left(t\right):\left[t_0,+\infty \right)\to R$ 即

$\begin{array}{l}{{\rm E}}_{\lambda }\left(t\right)=t\left(t-\beta \left(\lambda +2-\alpha \right)\right)\left(\Psi \left(z\left(t\right)\right)-\min \Psi \right)+\frac{1}{2}{\Vert \lambda \left(z\left(t\right)-z^{*}\right)+t{\stackrel{\dot{}}{u}}_{\beta }\left(t\right)\Vert }^2\\ +\lambda \left(\alpha -\lambda -1\right)\frac{1}{2}{\Vert z\left(t\right)-z^{*}\Vert }^2\end{array}$ (7)

其中， ${\stackrel{\dot{}}{u}}_{\beta }\left(t\right)={\stackrel{\dot{}}{u}}_{\theta =\beta }\left(t\right)=\stackrel{\dot{}}{z}\left(t\right)+\theta \nabla \Psi \left(z\left(t\right)\right)=\stackrel{\dot{}}{z}\left(t\right)+\beta \nabla \Psi \left(z\left(t\right)\right)$ 。

为了计算 $\frac{\text{d}}{\text{d}t}{{\rm E}}_{\lambda }\left(t\right)$ ，我们首先对 ${{\rm E}}_{\lambda }\left(t\right)$ 的每一项依次求导。

$\begin{array}{l}\frac{\text{d}}{\text{d}t}\left[t\left(t-\beta \left(\lambda +2-\alpha \right)\right)\left(\Psi \left(z\left(t\right)\right)-\min \Psi \right)\right]\\ =\left(2t-\beta \left(\lambda +2-\alpha \right)\right)\left(\Psi \left(z\left(t\right)\right)-\min \Psi \right)+t\left(t-\beta \left(\lambda +2-\alpha \right)\right)\langle \stackrel{\dot{}}{z}\left(t\right),\nabla \Psi \left(z\left(t\right)\right)\rangle \end{array}$

$\begin{array}{l}\frac{\text{d}}{\text{d}t}\frac{1}{2}{\Vert \lambda \left(z\left(t\right)-z^{*}\right)+t{\stackrel{\dot{}}{u}}_{\beta }\left(t\right)\Vert }^2\\ =\langle \lambda \left(z\left(t\right)-z^{*}\right)+t{\stackrel{\dot{}}{u}}_{\beta }\left(t\right),\lambda \stackrel{\dot{}}{z}\left(t\right)+{\stackrel{\dot{}}{u}}_{\beta }\left(t\right)+t{\ddot{u}}_{\beta }\left(t\right)\rangle \\ =\langle \lambda \left(z\left(t\right)-z^{*}\right)+t{\stackrel{\dot{}}{u}}_{\beta }\left(t\right),\left(\lambda +1-\alpha \right)\stackrel{\dot{}}{z}\left(t\right)-\left(t-\beta \right)\nabla \Psi \left(z\left(t\right)\right)\rangle \\ =\lambda \left(\lambda +1-\alpha \right)\langle z\left(t\right)-z^{*},\stackrel{\dot{}}{z}\left(t\right)\rangle -t\left(\alpha -\lambda -1\right){\Vert \stackrel{\dot{}}{z}\left(t\right)\Vert }^2-\beta t\left(t-\beta \right){\Vert \nabla \Psi \left(z\left(t\right)\right)\Vert }^2\\ -\lambda \left(t-\beta \right)\langle z\left(t\right)-z^{*},\nabla \Psi \left(z\left(t\right)\right)\rangle -t\left(t-\beta \left(\lambda +2-\alpha \right)\right)\langle \stackrel{\dot{}}{z}\left(t\right),\nabla \Psi \left(z\left(t\right)\right)\rangle \end{array}$

$\frac{\text{d}}{\text{d}t}\lambda \left(\alpha -\lambda -1\right)\frac{1}{2}{\Vert z\left(t\right)-z^{*}\Vert }^2=\lambda \left(\alpha -\lambda -1\right)\langle z\left(t\right)-z^{*},\stackrel{\dot{}}{z}\left(t\right)\rangle$

因此，

$\begin{array}{l}\frac{\text{d}}{\text{d}t}{{\rm E}}_{\lambda }\left(t\right)=\left(2t-\beta \left(\lambda +2-\alpha \right)\right)\left(\Psi \left(z\left(t\right)\right)-\min \Psi \right)-\lambda \left(t-\beta \right)\langle z\left(t\right)-z^{*},\nabla \Psi \left(z\left(t\right)\right)\rangle \\ -t\left(\alpha -\lambda -1\right){\Vert \stackrel{\dot{}}{z}\left(t\right)\Vert }^2-\beta t\left(t-\beta \right){\Vert \nabla \Psi \left(z\left(t\right)\right)\Vert }^2\end{array}$

由于 $\langle z\left(t\right)-z^{*},\nabla \Psi \left(z\left(t\right)\right)\rangle \ge \Psi \left(z\left(t\right)\right)-\Psi \left(z^{*}\right)$ ，当 $t\ge \max \left\{t_0,\beta \right\}$ ，我们得到

$\begin{array}{l}\frac{\text{d}}{\text{d}t}{{\rm E}}_{\lambda }\left(t\right)\le -\left(\left(\lambda -2\right)t-\beta \left(\alpha -2\right)\right)\left(\Psi \left(z\left(t\right)\right)-\min \Psi \right)-t\left(\alpha -\lambda -1\right){\Vert \stackrel{\dot{}}{z}\left(t\right)\Vert }^2\\ -\beta t\left(t-\beta \right){\Vert \nabla \Psi \left(z\left(t\right)\right)\Vert }^2\end{array}$ (8)

函数 ${{\rm E}}_{\lambda }$ 是非负的。对于式(8)不等号右侧各项：首先，如果 $\lambda >2$ ，当 $t\ge t_1=\max \left\{t_0,\beta ,\frac{\beta \left(\alpha -2\right)}{\lambda -2}\right\}$ 时， $\left(\lambda -2\right)t-\beta \left(\alpha -2\right)\ge 0$ ；其次，由 $\alpha -\lambda -1\ge 0$ 得 $\lambda \le \alpha -1$ 。因此 $2<\lambda \le \alpha -1$ 即 $\alpha >3$ 。极限情况 $\lambda =2$ (结果为 $\alpha =3$ )同时包含在下面的定理1中。最后， $t\ge \beta$ 时 $\beta t\left(t-\beta \right)\ge 0$ 。综上所述，若 $\lambda \in \left(2,\alpha -1\right]$ ，我们立即推导出 ${{\rm E}}_{\lambda }$ 在 $\left[t_1,+\infty \right)$ 上是非递增的且 $\underset{t\to +\infty }{\lim }{{\rm E}}_{\lambda }\left(t\right)$ 存在。

定理1 令 $\alpha \ge 3$ 且 $\arg \min \Psi \ne \varphi$ ，设 $z:\left[t_0,+\infty \right)\to {\rm H}$ 是(DIN-AVD)的解，若 $\lambda \in \left[2,\alpha -1\right]$ ，则函数

$t\mapsto {\left(\frac{t}{t-\beta }\right)}^{\alpha -2}{{\rm E}}_{\lambda }(\; t\; )$

是非递增的且 $\underset{t\to +\infty }{\lim }{{\rm E}}_{\lambda }\left(t\right)$ 存在。

证明：由于我们比较在意z的渐近性，假设 $t>\max \left\{t_0,\beta \right\}$ ，从式(8)推断得到

$\frac{\text{d}}{\text{d}t}{{\rm E}}_{\lambda }\left(t\right)\le \beta \left(\alpha -2\right)\left(\Psi \left(z\left(t\right)\right)-\min \Psi \right)$ (9)

我们在式(9)的不等号两边同时乘以 $t\left(t-\beta \right)$ 并利用 $\lambda +2-\alpha \le 1$ ，我们得到

$\begin{array}{c}t\left(t-\beta \right)\frac{\text{d}}{\text{d}t}{{\rm E}}_{\lambda }\left(t\right)\le \beta \left(\alpha -2\right)t\left(t-\beta \right)\left(\Psi \left(z\left(t\right)\right)-\min \Psi \right)\\ \le \beta \left(\alpha -2\right)t\left(t-\beta \left(\lambda +2-\alpha \right)\right)\left(\Psi \left(z\left(t\right)\right)-\min \Psi \right)\\ \le \beta \left(\alpha -2\right){{\rm E}}_{\lambda }\left(t\right)\end{array}$ (10)

接下来，式(10)的不等号两边再同时乘以 $t^{\alpha -3}{\left(t-\beta \right)}^{1-\alpha }$ ，得到

${\left(\frac{t}{t-\beta }\right)}^{\alpha -2}\frac{\text{d}}{\text{d}t}{{\rm E}}_{\lambda }\left(t\right)\le \beta \left(\alpha -2\right)\frac{t^{\alpha -3}}{{\left(t-\beta \right)}^{\alpha -1}}{{\rm E}}_{\lambda }(\; t\; )$

进而，我们推出

$\frac{\text{d}}{\text{d}t}\left[{\left(\frac{t}{t-\beta }\right)}^{\alpha -2}{{\rm E}}_{\lambda }\left(t\right)\right]\le 0$

因此，函数 ${\left(\frac{t}{t-\beta }\right)}^{\alpha -2}{{\rm E}}_{\lambda }\left(t\right)$ 是非递增的。由于函数非负，所以当 $t\to +\infty$ 时，极限存在。显然， ${{\rm E}}_{\lambda }$ 也是如此。

定理2 令 $\alpha >3$ 且 $\arg \min \Psi \ne \varphi$ ，设 $z:\left[t_0,+\infty \right)\to {\rm H}$ 是(DIN-AVD)的解，则z有界。同时，设 $\lambda \in \left[2,\alpha -1\right]$ ， $t_1=\max \left\{t_0,\beta \right\}$ ，对于所有的 $t\ge s>t_1$ ，我们有

$\Psi \left(z\left(t\right)\right)-\min \Psi \le \frac{1}{t^2}{\left(\frac{s}{s-\beta }\right)}^{\alpha -2}{{\rm E}}_{\lambda }\left(s\right)={\rm O}\left(t^{-2}\right)$

证明：取 $\lambda \in \left[2,\alpha -1\right]$ ，根据 ${{\rm E}}_{\lambda }$ 的定义(7)。我们有

$\frac{1}{2}{\Vert \lambda \left(z\left(t\right)-z^{*}\right)+t\left(\stackrel{\dot{}}{z}\left(t\right)+\beta \nabla \Psi \left(z\left(t\right)\right)\right)\Vert }^2\le {{\rm E}}_{\lambda }\left(t\right)$ (11)

根据定理1，存在结果 $\underset{t\to +\infty }{\lim }{{\rm E}}_{\lambda }\left(t\right)$ ，我们可以取M为 ${{\rm E}}_{\lambda }$ 的上界。将式(11)不等号左侧的平方展开，我们得到

$\begin{array}{l}{\lambda }^2\frac{1}{2}{\Vert z\left(t\right)-z^{*}\Vert }^2+\lambda t\langle z\left(t\right)-z^{*},\stackrel{\dot{}}{z}\left(t\right)\rangle \\ +\lambda t\langle z\left(t\right)-z^{*},\beta \nabla \Psi \left(z\left(t\right)\right)\rangle +t^2\frac{1}{2}{\Vert \stackrel{\dot{}}{z}\left(t\right)+\beta \nabla \Psi \left(z\left(t\right)\right)\Vert }^2\le M\end{array}$ (12)

我们忽略(12)不等号左侧后两个非负项，可以推导出

$\lambda \frac{1}{2}{\Vert z\left(t\right)-z^{*}\Vert }^2+t\langle z\left(t\right)-z^{*},\stackrel{\dot{}}{z}\left(t\right)\rangle \le \frac{M}{\lambda }$ (13)

再令 $h\left(t\right)=\frac{1}{2}{\Vert z\left(t\right)-z^{*}\Vert }^2$ ，式(13)不等号两边同时乘以 $t^{\lambda -1}$ 得到

$\lambda t^{\lambda -1}h\left(t\right)+t^{\lambda }\stackrel{\dot{}}{h}\left(t\right)=\frac{\text{d}}{\text{d}t}\left(t^{\lambda }h\left(t\right)\right)\le \frac{M}{\lambda }{t}^{\lambda -1}$ (14)

式(14)不等号两边从 $t_1$ 到 $t>t_1$ 同时进行积分，得到

$t^{\lambda }h\left(t\right)-t_1^{\lambda }h\left(t_1\right)\le \frac{M}{{\lambda }^2}\left(t^{\lambda }-t_1^{\lambda }\right)$

因此

$h\left(t\right)\le h\left(t_1\right)+\frac{M}{{\lambda }^2}$

由此，我们得出h是有界的，x也是有界的。对于收敛速度，根据 ${{\rm E}}_{\lambda }$ 的定义(7)，我们有

$\Psi \left(z\left(t\right)\right)-\min \Psi \le \frac{{{\rm E}}_{\lambda }\left(t\right)}{t\left(t-\beta \left(\lambda +2-\alpha \right)\right)}\le \frac{{{\rm E}}_{\lambda }\left(t\right)}{t\left(t-\beta \right)}$

再次利用定理1，函数 ${\left(\frac{t}{t-\beta }\right)}^{\alpha -2}{{\rm E}}_{\lambda }\left(t\right)$ 是非递增的。因此，当 $t\ge s>t_1$ 时，我们推导出

$\begin{array}{c}\Psi \left(z\left(t\right)\right)-\min \Psi \le \frac{1}{t\left(t-\beta \right)}{\left(\frac{t-\beta }{t}\right)}^{\alpha -2}{\left(\frac{s}{s-\beta }\right)}^{\alpha -2}{{\rm E}}_{\lambda }\left(s\right)\\ \le \frac{1}{t^2}{\left(\frac{t-\beta }{t}\right)}^{\alpha -3}{\left(\frac{s}{s-\beta }\right)}^{\alpha -2}{{\rm E}}_{\lambda }\left(s\right)\\ \le \frac{1}{t^2}{\left(\frac{s}{s-\beta }\right)}^{\alpha -2}{{\rm E}}_{\lambda }(\; s\; )\end{array}$

4. 数值实验

我们在本节进行数值实验，我们通过两个算例来证明微分方程系统求解约束优化问题的有效性，程序由 MATLAB编写并在普通PC机上运行。算法中相关参数取为 $\alpha =25$ ， $\beta =1$ 。

例1 考虑最优化问题

$\begin{array}{l}\min f\left(x\right)=10-x_1^2-x_2^2\\ \text{s}\text{.t}\text{.}{x}_1+x_2=0,\\ -x_1^2+x_2\ge 0\end{array}$

该问题具有唯一的最优解 $x^{*}={\left(0,0\right)}^{\text{T}}$ ，微分方程系统解的收敛轨迹见图1。结果显示微分方程系统解的轨迹总是收敛到原优化问题的最优解。

例2 考虑目标函数

$\begin{array}{l}\min f\left(x\right)=-\ln \left(1+x_1\right)-2\ln \left(1+x_2\right)\\ \text{s}\text{.t}.x_1+x_2\le 2,\\ x_1,x_2\ge 0.\end{array}$

该问题的最优解 $x^{*}={\left(0.33,1.67\right)}^{\text{T}}$ ，该问题在微分方程系统求解下解的收敛轨迹见图2，且微分方程系统解的轨迹总是收敛到原优化问题的最优解。

Figure 1. The convergence trajectory of the solution $x\left(t\right)$ for differential equation systems of case 1

图1. 例1微分方程系统解 $x\left(t\right)$ 的收敛轨迹

Figure 2. The convergence trajectory of the solution $x\left(t\right)$ for differential equation systems of case 2

图2. 例2微分方程系统解 $x\left(t\right)$ 的收敛轨迹

5. 结论

本文利用光滑互补函数(NR函数)和价值函数，将约束优化问题的KKT条件转化为无约束优化问题，构造了一个二阶微分方程系统来求解转化后的无约束优化问题，从而求解了优化问题。本文基于微分方程系统的稳定性理论，通过对参数 $\alpha$ 和 $\beta$ 的调整，证明了二阶微分方程系统的解的收敛性，通过数值算例验证了该微分方程系统的平衡点能够收敛到原问题的最优解。