二阶锥约束变分不等式的阻尼惯性梯度系统的方法研究

Research on the Method of Damped Inertial Gradient System for Second-Order Cone Constrained Variational Inequalities

摘要: 本文聚焦二阶锥约束变分不等式问题，旨在探寻有效的求解方法与分析其相关性质。首先，通过分析KKT条件并借助光滑化的二阶锥互补函数，将二阶锥约束变分不等式问题转化为无约束优化问题。随后，受Attouch等工作启发，构造阻尼惯性梯度系统来求解该无约束优化问题。在此基础上，对阻尼惯性梯度系统进行稳定性分析，在给定的阻尼系数、时间尺度系数条件及特定增长条件下，证明了系统解的轨迹收敛速度和有界性。研究成果为二阶锥约束变分不等式问题的求解提供了新的思路和理论依据。

Abstract: This paper focuses on the second-order cone constrained variational inequalities problem, aiming to explore effective solution methods and analyze its relevant properties. Firstly, by analyzing the KKT conditions and using the smoothed second-order cone complementarity function, the second-order cone constrained variational inequality problem is transformed into an unconstrained optimization problem. Subsequently, inspired by the work of Attouch et al., a damped inertial gradient system is constructed to solve this unconstrained optimization problem. On this basis, the stability analysis of the damped inertial gradient system is conducted. Under the given conditions of damping coefficients, time scale coefficients, and specific growth conditions, the convergence rate and boundedness of the trajectories of the system’s solutions are proved. The research results provide new ideas and theoretical basis for solving the second-order cone constrained variational inequality problem.

1. 引言

变分不等式理论是当今非线性分析的重要组成部分，它在力学、微分方程、控制论、数理经济、对策理论、优化理论、非线性规划等理论和应用学科都有广泛的应用。其中，二阶锥约束变分不等式是变分不等式问题的一个重要分支，在统计学、经济学、机器学习、信息处理等科学和工程领域有着重要的应用，受到众多学者的关注[1]-[4]。本文要解决的二阶锥约束变分不等式问题：求解$x^{\ast }\in C$ 满足

$\langle F\left(x^{\ast }\right),y-x^{\ast }\rangle \ge 0,\forall y\in C,$ (1.1)

其中，约束集合C表示为

$C=\left\{x\in {\Re }^n|-g\left(x\right)\in \mathcal{K}\right\},$ (1.2)

$\langle \cdot ,\cdot \rangle$ 表示为欧式空间的内积。$h:{\Re }^n\to {\Re }^l$ 和$g:{\Re }^n\to {\Re }^m$ 都是连续可微的，且

$\mathcal{K}={\mathcal{K}}^{m_1}\times {\mathcal{K}}^{m_2}\times \cdots \times {\mathcal{K}}^{m_p},$ (1.3)

$l\ge 0$ ，$m_1,m_2,\cdots ,m_p\ge 1$ ，$m_1+m_2+\cdots +m_p=m$ ，每个${\mathcal{K}}^{m_i}\left(i=1,\cdots ,p\right)$ 是$m_i$ 维的二阶锥。所谓二阶锥是指：若${\mathcal{K}}^n\subset {\Re }^n\left(n\ge 1\right)$ 满足

${\mathcal{K}}^n=\left\{\left(x_1,x_2\right)|x_1\in \Re ,x_2\in {\Re }^{n-1}且x_1\ge \Vert x_2\Vert \right\}$ ，

则称${\mathcal{K}}^n$ 为$n$ 维的二阶锥，又称冰激凌锥。$\Vert \cdot \Vert$ 表示为$l_2$ 范数。当$n=1$ 时，${\mathcal{K}}^n$ 退化为非负实数集${\Re }_{+}$ 。

对二阶锥约束变分不等式通常运用二阶锥约束变分不等式的KKT条件建立神经网络方法进行求解[5]-[8]。特别第，Nazemi和Sabeghi [1] [2]与Sun等[3]运用Lyapunov函数方法证明了神经网络方法是稳定的。2017年以来，Attouch等[6]-[9]构造了一个阻尼惯性梯度系统来解决Hilbert空间上的无约束优化问题$\min \Phi \left(x\right)$ 。贾丹娜[10]运用微分方程方法研究了具有等式约束的二阶锥约束变分不等式问题。

本文将在Attouch等[6]-[9]的基础上，需要对二阶锥约束变分不等式问题进行优化问题$\min \Phi \left(x\right)$ 的转化，然后建立阻尼惯性梯度系统，将运用该系统研究得到转化后的优化问题的$\Phi \left(x\left(t\right)\right)-\min \Phi$ 的值的收敛率。从而得到原始的二阶锥约束变分不等式问题(1.1)的KKT解的收敛性。

2. 二阶锥约束变分不等式问题的无约束优化问题的转化

二阶锥约束变分不等式问题(1.1)等价于下面的广义方程

$-F\left(x\right)\in N_C\left(x\right)$ ,

$N_C\left(x\right)$ 为约束$C$ 的法锥，可以表示为

$N_C\left(x\right)=\left\{Jg{\left(x\right)}^{\text{T}}\lambda |\lambda \in {\Re }^m,\langle \lambda ,g\left(x\right)\rangle =0\right\}.$

对于二阶锥约束变分不等式问题(1.1)，可以通过分析其KKT条件来解决

$\{\begin{array}{l}L\left(x,\mu ,\lambda \right)=0,\hfill \\ 0\preccurlyeq \lambda \perp g\left(x\right)\preccurlyeq 0,\hfill \end{array}$

其中

$L\left(x,\mu ,\lambda \right)=F\left(x\right)+Jg{\left(x\right)}^{\text{T}}\lambda ,$

$L\left(x,\mu ,\lambda \right)$ 为变分不等式的拉格朗日函数。对于$g\left(x\right)\perp \lambda$ ，其等价于

$-g_i\left(x\right)\perp {\lambda }_i,-g_i\left(x\right)\in {\mathcal{K}}^{m_i},{\lambda }_i\in {\mathcal{K}}^{m_i},i=1,\cdots ,p.$

对此，可以运用光滑化的NR二阶锥互补函数[10]，将$g\left(x\right)\perp \lambda$ 表示为

${\phi }_{NR}^{\epsilon }\left(-g_i\left(x\right),{\lambda }_i\right)=0,$

的形式。

对于$z=\left(\epsilon ,x,\lambda \right)\in {\Re }^{1+n+m}$ ，定义如下函数

$S\left(z\right)=S\left(\epsilon ,x,\mu ,\lambda \right)=\left(\begin{array}{c}\epsilon \\ L\left(x,\lambda \right)\\ {\phi }_{NR}^{\epsilon }\left(-g\left(x\right),\lambda \right)\end{array}\right),$ (2.1)

(2.1)中${\phi }_{NR}^{\epsilon }\left(-g\left(x\right),\lambda \right)$ 具体可表示为

${\phi }_{NR}^{\epsilon }\left(-g\left(x\right),\lambda \right)=\left(\begin{array}{l}{\phi }_{NR}^{\epsilon }\left(-g_{m_1}\left(x\right),{\lambda }_{m_1}\right)\\ {\phi }_{NR}^{\epsilon }\left(-g_{m_2}\left(x\right),{\lambda }_{m_2}\right)\\ ⋮\\ {\phi }_{NR}^{\epsilon }\left(-g_{m_p}\left(x\right),{\lambda }_{m_p}\right)\end{array}\right),$

其中$-g_{m_i}\left(x\right)\in {\mathcal{K}}^{m_i}$ ，${\lambda }_{m_i}\in {\mathcal{K}}^{m_i}$ 。

从而，求解二阶锥约束变分不等式问题(1.1)的KKT点等价于求解光滑方程组

$S\left(z\right)=\left(\begin{array}{c}\epsilon \\ L\left(x,\lambda \right)\\ {\phi }_{NR}^{\epsilon }\left(-g\left(x\right),\lambda \right)\end{array}\right)=0,$

对于$z=\left(\epsilon ,x,\lambda \right)\in {\Re }^{1+n+m}$ ，引入效益函数$\Phi \left(z\right)=\frac{1}{2}{\Vert S\left(z\right)\Vert }^2$ ，解决该光滑方程组问题等价于求解下面的无约束优化问题

$\min \Phi \left(z\right)=\min \frac{1}{2}{\Vert S\left(z\right)\Vert }^2.$ (2.2)

3. 二阶锥约束的变分不等式的阻尼惯性梯度系统的稳定性分析

本章将建立具有阻尼惯性参数和时间尺度参数的阻尼惯性梯度系统来求解无约束凸优化问题(2.2)，从而实现对二阶锥约束的变分不等式问题(1.1)的KKT点的求解。

3.1. 阻尼惯性梯度系统的建立

受到Attouch等[6]及贾丹娜[10]工作的启发，对无约束优化问题(2.2)构造如下的阻尼惯性梯度系统

$\left(\begin{array}{l}\ddot{\epsilon }\left(t\right)\\ \ddot{x}\left(t\right)\\ \ddot{\lambda }\left(t\right)\end{array}\right)+\gamma \left(t\right)\left(\begin{array}{l}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)+\beta \left(t\right)\left(\begin{array}{c}{\nabla }_{\epsilon }S{\left(z\right)}^{\text{T}}S\left(z\right)\\ {\nabla }_{x}S{\left(z\right)}^{\text{T}}S\left(z\right)\\ {\nabla }_{\lambda }S{\left(z\right)}^{\text{T}}S\left(z\right)\end{array}\right)=0,$ (3.1)

其中，$\gamma \left(t\right)$ 表示为阻尼系数，$\beta \left(t\right)$ 为时间尺度系数，且$\gamma ,\beta$ 在$\left[t_0,+\infty \right)$ 上是非负连续函数。$\left(\begin{array}{c}{\nabla }_{\epsilon }S{\left(z\right)}^{\text{T}}S\left(z\right)\\ {\nabla }_{x}S{\left(z\right)}^{\text{T}}S\left(z\right)\\ {\nabla }_{\lambda }S{\left(z\right)}^{\text{T}}S\left(z\right)\end{array}\right)$ 是无约束优化问题(2.2)中$\Phi \left(z\right)$ 有关$z=\left(\epsilon ,x,\lambda \right)$ 计算所得到的梯度$\nabla \Phi \left(z\right)$ 。假设该系统的解是一定存在的，显然系统对应的平衡点$z^{*}=\left({\epsilon }^{*},x^{*},{\lambda }^{*}\right)$ 是无约束优化问题(2.2)的解。

3.2. 阻尼惯性梯度系统的稳定性分析

在初始情形$\Phi \left(\epsilon ,x,\mu ,\lambda \right)=0$ 下，对阻尼惯性梯度系统(3.1)直接积分，可以得到

$p\left(t\right)={\text{e}}^{{\displaystyle {\int }_{t_0}^t\gamma \left(u\right)\text{d}u}}$ .

假设其满足以下$H_0$ 条件

${\displaystyle {\int }_{t_0}^{+\infty }\frac{\text{d}u}{p\left(u\right)}<}+\infty .$

在满足上述$H_0$ 条件下，定义函数$\Gamma :\left[t_0,+\infty \right)$

$\Gamma \left(t\right)=p\left(t\right){\displaystyle {\int }_t^{+\infty }\frac{\text{d}u}{p\left(u\right)}},$ (3.2)

通过对式(3.2)进行求导，可以得到

$\dot{\Gamma }\left(t\right)=\gamma \left(t\right)\Gamma \left(t\right)-1.$ (3.3)

最后，定义全局能量函数$W\left(t\right)$

$W\left(t\right)=\frac{1}{2}{\Vert \left(\begin{array}{l}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)\Vert }^2+\beta \left(t\right)\left(\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-\min \Phi \right).$ (3.4)

以及锚函数$h\left(t\right)$

$h\left(t\right)=\frac{1}{2}{\Vert \left(\begin{array}{l}\epsilon \left(t\right)\\ x\left(t\right)\\ \lambda \left(t\right)\end{array}\right)-\left(\begin{array}{l}{\epsilon }^{*}\\ x^{*}\\ {\lambda }^{*}\end{array}\right)\Vert }^2,$ (3.5)

其中$\left(\begin{array}{l}{\epsilon }^{*}\\ x^{*}\\ {\lambda }^{*}\end{array}\right)\in \arg \min \Phi \ne \varnothing$ 。

对于全局能量函数$W\left(t\right)$ 和锚函数$h\left(t\right)$ ，都是作为用于稳定性分析的能量函数$\xi :\left[t_0,+\infty \right)$ 的基本组成部分，且$\xi \left(t\right)$ 是一个非负函数如下

$\xi \left(t\right)=\Gamma {\left(t\right)}^{2}W\left(t\right)+h\left(t\right)+\Gamma \left(t\right)\dot{h}\left(t\right),$ (3.6)

具体表达形式为

$\begin{array}{l}\xi \left(t\right)=\Gamma {\left(t\right)}^2\beta \left(t\right)\left(\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-\min \Phi \right)\\ +\frac{1}{2}{\Vert \left(\begin{array}{l}\epsilon \left(t\right)\\ x\left(t\right)\\ \lambda \left(t\right)\end{array}\right)-\left(\begin{array}{l}{\epsilon }^{*}\\ x^{*}\\ {\lambda }^{*}\end{array}\right)+\Gamma \left(t\right)\left(\begin{array}{l}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)\Vert }^2.\end{array}$ (3.7)

下面给出阻尼惯性梯度系统的稳定性定理。

定理3.1：时间尺度系数$\beta :\left[t_0,+\infty \right)$ 是一个连续非负函数，阻尼系数$\gamma :\left[t_0,+\infty \right)$ 是一个满足假设条件$H_0$ 的连续函数。阻尼系数$\gamma \left(t\right)$ 和时间尺度系数$\beta \left(t\right)$ 满足$H_{\gamma ,\beta }$ 增长条件

$\Gamma \left(t\right)\dot{\beta }\left(t\right)\le \beta \left(t\right)\left(3-2\gamma \left(t\right)\Gamma \left(t\right)\right).$

则当$t\to +\infty$ 时，阻尼惯性梯度系统(3.1)的解的轨迹$z=\left(\epsilon ,x,\lambda \right)$ $\in \Re \times {\Re }^n$ $\times {\Re }^m$ 在$\left[t_0,+\infty \right)$ 上对应的函数值的收敛速度满足

$\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-\min \Phi ={\rm O}\left(\frac{1}{\beta \left(t\right)\Gamma {\left(t\right)}^2}\right),$

而且解的轨迹$z=\left(\epsilon ,x,\lambda \right)$ 在$\left[t_0,+\infty \right)$ 上是有界的。

证明：为方便计算，记$m=\min \Phi$ 。首先，对能量函数$\xi \left(t\right)$ 求导，根据$\xi \left(t\right)$ 的定义(3.6)，需要对能量函数$\xi \left(t\right)$ 中的全局能量函数$W\left(t\right)$ 和锚函数$h\left(t\right)$ 求导。

全局能量函数$W\left(t\right)$ 的导数计算过程如下

$\begin{array}{c}\dot{W}\left(t\right)=\langle \left(\begin{array}{l}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right),\left(\begin{array}{l}\ddot{\epsilon }\left(t\right)\\ \ddot{x}\left(t\right)\\ \ddot{\lambda }\left(t\right)\end{array}\right)\rangle +\beta \left(t\right)\langle \left(\begin{array}{l}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right),\left(\begin{array}{c}{\nabla }_{\epsilon }S{\left(z\right)}^{\text{T}}S\left(z\right)\\ {\nabla }_{x}S{\left(z\right)}^{\text{T}}S\left(z\right)\\ {\nabla }_{\lambda }S{\left(z\right)}^{\text{T}}S\left(z\right)\end{array}\right)\rangle \\ +\dot{\beta }\left(t\right)\left(\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-m\right)\\ =\langle \left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right),\left(\begin{array}{c}\ddot{\epsilon }\left(t\right)\\ \ddot{x}\left(t\right)\\ \ddot{\lambda }\left(t\right)\end{array}\right)+\beta \left(t\right)\left(\begin{array}{c}{\nabla }_{\epsilon }S{\left(z\right)}^{T}S\left(z\right)\\ {\nabla }_{x}S{\left(z\right)}^{T}S\left(z\right)\\ {\nabla }_{\lambda }S{\left(z\right)}^{T}S\left(z\right)\end{array}\right)\rangle +\dot{\beta }\left(t\right)\left(\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-m\right)\\ =\langle \left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right),-\gamma \left(t\right)\left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)\rangle +\dot{\beta }\left(t\right)\left(\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-m\right),\end{array}$

简化可得

$\dot{W}\left(t\right)=-\gamma \left(t\right){\Vert \left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)\Vert }^2+\dot{\beta }\left(t\right)\left(\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-m\right).$

锚函数$h\left(t\right)$ 求一阶导数可得

$\dot{h}\left(t\right)=\langle \left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right),\left(\begin{array}{c}\epsilon \left(t\right)-{\epsilon }^{*}\\ x\left(t\right)-x^{*}\\ \lambda \left(t\right)-{\lambda }^{*}\end{array}\right)\rangle ,$

继续求二阶导数可得

$\ddot{h}\left(t\right)={\Vert \left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)\Vert }^2+\langle \left(\begin{array}{c}\ddot{\epsilon }\left(t\right)\\ \ddot{x}\left(t\right)\\ \ddot{\lambda }\left(t\right)\end{array}\right),\left(\begin{array}{c}\epsilon \left(t\right)-{\epsilon }^{*}\\ x\left(t\right)-x^{*}\\ \lambda \left(t\right)-{\lambda }^{*}\end{array}\right)\rangle .$

综合以上结果及(3.3)计算能量函数导数$\xi \left(t\right)$ 如下

$\begin{array}{c}\ddot{\xi }\left(t\right)=2\Gamma \left(t\right)\dot{\Gamma }\left(t\right)W\left(t\right)+\Gamma {\left(t\right)}^2\dot{W}\left(t\right)+\dot{h}\left(t\right)+\dot{\Gamma }\left(t\right)\dot{h}\left(t\right)+\Gamma \left(t\right)\ddot{h}\left(t\right)\\ =2\Gamma \left(t\right)\dot{\Gamma }\left(t\right)W\left(t\right)+\Gamma {\left(t\right)}^2\dot{W}\left(t\right)+\gamma \left(t\right)\Gamma \left(t\right)\dot{h}\left(t\right)+\Gamma \left(t\right)\ddot{h}\left(t\right)\\ =2\Gamma \left(t\right)\dot{\Gamma }\left(t\right)W\left(t\right)+\Gamma {\left(t\right)}^2\dot{W}\left(t\right)+\Gamma \left(t\right)\left(\gamma \left(t\right)\dot{h}\left(t\right)+\ddot{h}\left(t\right)\right)\\ =-\Gamma \left(t\right){\Vert \dot{z}\left(t\right)\Vert }^2+2\Gamma \left(t\right)\dot{\Gamma }\left(t\right)\beta \left(t\right)\left(\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-m\right)\\ +\Gamma {\left(t\right)}^2\dot{\beta }\left(t\right)\left(\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-m\right)+\Gamma \left(t\right)\left(\gamma \left(t\right)\dot{h}\left(t\right)+\ddot{h}\left(t\right)\right),\end{array}$

在上式中${\Vert \dot{z}\left(t\right)\Vert }^2={\Vert \left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)\Vert }^2$ 。根据阻尼惯性梯度系统(3.1)及$\Phi \left(z\right)$ 的凸性，继续计算

$\begin{array}{l}\gamma \left(t\right)\dot{h}\left(t\right)+\ddot{h}\left(t\right)\\ =\langle \gamma \left(t\right)\left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right),\left(\begin{array}{c}\epsilon \left(t\right)-{\epsilon }^{*}\\ x\left(t\right)-x^{*}\\ \lambda \left(t\right)-{\lambda }^{*}\end{array}\right)\rangle +\langle \left(\begin{array}{c}\ddot{\epsilon }\left(t\right)\\ \ddot{x}\left(t\right)\\ \ddot{\lambda }\left(t\right)\end{array}\right),\left(\begin{array}{c}\epsilon \left(t\right)-{\epsilon }^{*}\\ x\left(t\right)-x^{*}\\ \lambda \left(t\right)-{\lambda }^{*}\end{array}\right)\rangle +{\Vert \left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)\Vert }^2\\ =\langle \gamma \left(t\right)\left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)+\left(\begin{array}{c}\ddot{\epsilon }\left(t\right)\\ \ddot{x}\left(t\right)\\ \ddot{\lambda }\left(t\right)\end{array}\right),\left(\begin{array}{c}\epsilon \left(t\right)-{\epsilon }^{*}\\ x\left(t\right)-x^{*}\\ \lambda \left(t\right)-{\lambda }^{*}\end{array}\right)\rangle +{\Vert \left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)\Vert }^2\\ =-\beta \left(t\right)\langle \left(\begin{array}{c}{\nabla }_{\epsilon }S{\left(z\right)}^{T}S\left(z\right)\\ {\nabla }_{x}S{\left(z\right)}^{T}S\left(z\right)\\ {\nabla }_{\lambda }S{\left(z\right)}^{T}S\left(z\right)\end{array}\right),\left(\begin{array}{c}\epsilon \left(t\right)-{\epsilon }^{*}\\ x\left(t\right)-x^{*}\\ \lambda \left(t\right)-{\lambda }^{*}\end{array}\right)\rangle +{\Vert \left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)\Vert }^2\\ \le -\beta \left(t\right)\left(\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-m\right)+{\Vert \left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)\Vert }^2\end{array}$

则能量函数$\xi \left(t\right)$ 的导数可进一步计算如下

$\begin{array}{c}\dot{\xi }\left(t\right)=-\Gamma \left(t\right){\Vert \dot{z}\left(t\right)\Vert }^2+2\Gamma \left(t\right)\dot{\Gamma }\left(t\right)\beta \left(t\right)\left(\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-m\right)\\ +\Gamma {\left(t\right)}^2\dot{\beta }\left(t\right)\left(\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-m\right)+\Gamma \left(t\right)\left(\gamma \left(t\right)\dot{h}\left(t\right)+\ddot{h}\left(t\right)\right)\\ \le \left(\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-m\right)\Gamma \left(t\right)\left(2\dot{\Gamma }\left(t\right)\beta \left(t\right)+\Gamma \left(t\right)\dot{\beta }\left(t\right)-\beta \left(t\right)\right).\end{array}$

由式(3.3)，上式继续化简

$\stackrel{.}{\xi }\left(t\right)\le \left(\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-m\right)\Gamma \left(t\right)\left(\Gamma \left(t\right)\dot{\beta }\left(t\right)+\beta \left(t\right)\left(2\gamma \left(t\right)\Gamma \left(t\right)-3\right)\right).$

根据条件$H_{\gamma ,\beta }$ 得$\dot{\xi }\left(t\right)\le 0$ ，因此能量函数$\xi \left(t\right)$ 在$\left[t_0,+\infty \right)$ 上是递减的，从而当$t\in \left[t_0,+\infty \right)$ 时有$\xi \left(t\right)\le \xi \left(t_0\right)$ 成立。

根据能量函数$\xi \left(t\right)$ 的定义(3.6)和(3.7)可以得到，对于任意的$t\ge t_0$ 都有下式成立

$\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-\min \Phi \le \frac{\xi \left(t_0\right)}{\beta \left(t\right)\Gamma {\left(t\right)}^2}$

等价于

$\Phi \left(\epsilon \left(t\right),x\left(t\right),\lambda \left(t\right)\right)-\min \Phi =\text{O}\left(\frac{1}{\beta \left(t\right)\Gamma {\left(t\right)}^2}\right).$

下面讨论阻尼惯性梯度系统(3.1)的解的轨迹的有界性，已知函数$\xi \left(t\right)$ 在$\left[t_0,+\infty \right)$ 上是递减的，对于任意$t\in \left[t_0,+\infty \right)$ 时，有以下不等式成立

${\Vert \left(\begin{array}{c}\epsilon \left(t\right)\\ x\left(t\right)\\ \lambda \left(t\right)\end{array}\right)-\left(\begin{array}{c}{\epsilon }^{*}\\ x^{*}\\ {\lambda }^{*}\end{array}\right)+\Gamma \left(t\right)\left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)\Vert }^2\le 2\xi \left(t\right)\le 2\xi \left(t_0\right).$

在展开上述不等式后可以得到

${\Vert \left(\begin{array}{c}\epsilon \left(t\right)\\ x\left(t\right)\\ \lambda \left(t\right)\end{array}\right)-\left(\begin{array}{c}{\epsilon }^{*}\\ x^{*}\\ {\lambda }^{*}\end{array}\right)\Vert }^2+2\Gamma \left(t\right)\langle \left(\begin{array}{c}\epsilon \left(t\right)\\ x\left(t\right)\\ \lambda \left(t\right)\end{array}\right)-\left(\begin{array}{c}{\epsilon }^{*}\\ x^{*}\\ {\kappa }^{*}\end{array}\right),\left(\begin{array}{c}\dot{\epsilon }\left(t\right)\\ \dot{x}\left(t\right)\\ \dot{\lambda }\left(t\right)\end{array}\right)\rangle \le 2\xi \left(t_0\right).$ (3.8)

假设$q\left(t\right)={\displaystyle {\int }_t^{+\infty }\frac{\text{d}s}{p\left(s\right)}}$ ，当满足假设条件$H_0$ 时，则函数$q\left(t\right)$ 在$t\ge t_0$ 时是有界的，而且满足

$\dot{q}\left(t\right)=-\frac{1}{p\left(t\right)},q\left(t\right)=\frac{\Gamma \left(t\right)}{p\left(t\right)}.$ (3.9)

将(3.8)式除以$p\left(t\right)$ ，并令$C=\xi \left(t_0\right)$ ，结合(3.9)式可以得到

$\frac{1}{p\left(t\right)}h\left(t\right)+q\left(t\right)\dot{h}\left(t\right)\le \frac{C}{p\left(t\right)},\forall t\in \left[t_0,+\infty \right).$

进一步整理得

$q\left(t\right)\dot{h}\left(t\right)-\dot{q}\left(t\right)\left(h\left(t\right)-C\right)\le 0,\forall t\in \left[t_0,+\infty \right),$

其中，$h\left(t\right)$ 为锚函数。

对上式除以$q{\left(t\right)}^2$ 得到

$\frac{1}{q{\left(t\right)}^2}\left[q\left(t\right)\dot{h}\left(t\right)-\dot{q}\left(t\right)\left(h\left(t\right)-C\right)\right]=\frac{\text{d}}{\text{d}t}\left(\frac{h\left(t\right)-C}{q\left(t\right)}\right)\le 0,\forall t\in \left[t_0,+\infty \right).$

对上述不等式$\frac{\text{d}}{\text{d}t}\left(\frac{h\left(t\right)-C}{q\left(t\right)}\right)\le 0$ 积分，则得$h\left(t\right)\le C_1\left(1+q\left(t\right)\right)$ 及$C_1>0$ 。根据锚函数$h\left(t\right)$ 的定义(3.5)，因此阻尼惯性梯度系统(3.1)的解的轨迹是有界的，定理3.1得证。

4. 与一介微分方程方法的对比分析

在本节中，将与Sun等[5]中的基于光滑二阶锥互补NR函数建立的神经网络模型进行理论条件比较(表1)，进一步阐述阻尼惯性梯度系统与一阶微分方程方法的异同点。神经网络模型为一阶微分方程系统如下

$\{\begin{array}{l}\frac{\text{d}z\left(t\right)}{\text{d}t}=-\rho \nabla \Phi \left(z\left(t\right)\right),\hfill \\ z\left(t_0\right)=z_0.\hfill \end{array}$ (4.1)

其中，$\rho >0$ 为神经网络模型中的一个缩放因子。$\Phi \left(z\right)$ 表示为二阶锥约束优化问题(1.1)基于光滑二阶锥互补NR函数${\phi }_{NR}^{\epsilon }$ 建立的KKT条件的光滑效益函数，与本文相同。对于系统稳定性的研究中，Sun等[5]要求$\nabla S\left(z\right)$ 为非奇异的，则一阶微分方程系统(4.1)的平衡点为指数稳定的。

Table 1. Comparison of theoretical conditions

表1. 理论条件对比

理论条件	一阶微分方程系统(4.1)	阻尼惯性梯度系统(3.1)
解集$\arg \min \Phi$ 非空	√	√
$\nabla S\left(z\right)$ 的非奇异性	√
$JF\left(x^{*}\right)$ 为半正定的	√
$\arg \min \Phi$ 是紧的	√
$\gamma \left(t\right)$ ，$\beta \left(t\right)$ 满足假设条件$H_{\gamma ,\beta }$		√

在本节，将用二阶微分方程系统(3.1)来求解二阶锥约束变分不等式问题，通过数值算例，对比阻尼惯性梯度系统(3.1)和一阶微分方程系统(4.1)解决相同的二阶锥约束变分不等式问题的区别。

例4.1 考虑下面的二阶锥约束问题

$\langle F\left(x^{*}\right),y-x^{*}\rangle \ge 0,\forall y\in C$

其中

$C=\left\{x\in {\Re }^3|-g\left(x\right)\in {\mathcal{K}}^2\right\}$

$F\left(x\right)$ 和$g\left(x\right)$ 如下定义

$F\left(x\right)=\left(\begin{array}{c}2x_1+2x_2+0.004x_1^3-8\\ 2x_2+x_3+0.007x_2^3-6\\ 2x_1+x_3+0.005x_3^3-4\end{array}\right)$

和

$g\left(x\right)=\left(\begin{array}{c}-x_1+x_2+x_3^2\\ -2+x_1^2-x_2\end{array}\right).$

该问题的唯一最优解为$x^{*}={\left(1.0835,0.8262,0.5072\right)}^{\text{T}}$ 。

表2给出了求解例4.1中的一阶微分方程系统(4.1)和阻尼惯性梯度系统(3.1)的到达平衡点所需的CPU时间(s)和数值计算对比结果。

Table 2. Comparison of numerical results for example 4.1

表2. 例4.1的数值结果对比

	例4.1的一阶微分方程系统(4.1)	例4.1的阻尼惯性梯度系统(3.1)
CPU时间(s)	0.076345	1.003143
数值结果	$\left(\begin{array}{l}1.0835\\ 0.8262\\ 0.5072\end{array}\right)$	$\left(\begin{array}{l}1.0835,\\ 0.8262,\\ 0.5072\end{array}\right)$

5. 小结

本研究围绕二阶锥约束变分不等式的问题展开，通过一系列转化和分析，取得了多方面成果。研究将二阶锥约束变分不等式问题转化为广义方程，借助KKT条件与光滑化的NR二阶锥互补函数，将其等价转化为无约束优化问题，搭建起从复杂约束问题到无约束优化求解的桥梁，为后续求解提供了便利。基于无约束优化问题，构造阻尼惯性梯度系统。在特定的阻尼系数、时间尺度系数条件及增长条件下，证明该系统解的轨迹收敛速度满足一定关系，且轨迹有界。这不仅揭示了系统在求解过程中的动态特性，也为算法设计提供了理论支撑，确保求解过程的有效性和可靠性。将阻尼惯性梯度系统方法与已有的神经网络的一阶微分方程方法在理论条件与数值计算两个方面做了对比。在理论条件方面，阻尼惯性梯度系统所需条件更弱，但是在数值算例的比较过程中，计算速度要稍差一些，但是相差不是特别大。

基金项目

沈阳航空航天大学2025年大学生创新创业项目，编号D202410271723581175。