1. 引言
逆优化问题的研究涵盖多个学科领域,例如医学成像[1]、地球物理研究[2]、光学工程[3]、声学建模[4]以及机器学习[5]。在优化领域内,逆优化已逐渐成为一个重要的子领域,近年来受到越来越多学者的关注[6]。传统的数学优化将目标函数和约束函数作为输入以产生决策,这通常被称为“正向”优化模型。与之相反,逆优化接受一个决策作为输入,并试图重建目标函数或约束参数。更准确地说,其目标是确定正向模型的参数值,使得所给出的决策成为精确或近似最优解。这一参数推断任务本身就是一个优化问题,被称为逆优化模型。
逆优化的早期系统性工作可追溯至Burton和Toint [7],他们研究了最短路径问题的逆形式。他们的研究成果推动了后续关于网络逆问题的研究[8]-[13]。随后,根据正向模型目标函数和约束函数的形式,发展出了逆线性优化、逆二次优化、逆二阶锥优化、逆半定优化、逆半定二次优化、逆锥优化等多种专门的连续逆优化模型[14]-[23]。
区别于上述逆优化问题,Ahmed和Guan [24]提出了一类独特的逆优化问题——逆最优值问题。与早期以解作为输入的逆优化模型不同,逆最优值问题使用最优目标值估计
以及参数估计
作为输入。该模型表述为:
其中
是某一向量范数,
,
,
,
是参数估计集合。上述问题的结构表明逆最优值问题是一种特殊的双层优化问题。在特定条件下,它可以重构为单层优化问题。此外,其他逆最优值问题的变体也得到了研究。例如,Mostafaee [25]与Cerny和Hladik [26]分析了一种仅提供最优值估计
的版本:
其中
表示正向问题的最优值与最优值估计
之间的凸距离度量。除上述研究之外,其他文献利用精确罚函数技术讨论正向问题为带有非负决策变量约束的线性规划[27] [28]和二阶锥规划[29]的逆最优值问题的求解。逆最优值问题也被应用于建模组合问题,如最小生成树和最短路径问题[30]-[34]。
度规优化问题作为一类新型优化问题模型,最近引起了广泛的关注与讨论。最早涉及此类问题的研究是Frenud [35]讨论带有线性约束的度规优化问题,该问题可以用来建模一系列重要的应用,包括锥优化以及在机器学习和信号处理等领域中出现的相关问题。通过扩展约束的形式,进而得到了相应的非线性度规优化的弱对偶定理和强对偶定理并应用于线性规划问题和p范数优化问题的讨论。Van den Berg [36]描述了一个基于度规函数的稀疏优化框架。Teuber、Steidl和Chan [37]考虑模型与观测之间的误差通过Kullback-Leibler散度进行度量的度规优化问题。Jaggi [38]整理了生成常见度规函数的原子集,它们被广泛地应用于机器学习相关问题的研究。Friedlander等人[39]研究了一般度规优化的对偶理论和变分性质。
基于上述度规优化的发展,在本文中我们考虑下述形式的逆最优值问题
(1)
其中
是正常连续度规函数,
,
,
。
可以看作成本向量,
是目标成本向量集。为了便于叙述,称上述问题(1)为逆度规最优值问题。
本文针对上述逆度规最优值问题,分析了该问题的可解性条件。通过将度规优化的对偶理论应用于对应的正向问题,证明了该问题在一般情况下是NP难的。在一定的假设条件下,讨论了如何将上述逆度规优化问题重述为两类带有双线性约束的优化模型,为后续算法设计提供了理论基础。
2. 预备知识
本节介绍度规函数的定义及其相关性质[40]及度规对偶的重要结果[35] [39],这些结论将用于后文的证明。
2.1. 度规函数
定义2.1 [40] 凸函数
称为度规函数,如果它满足非负性和正齐次性,并且在原点处的函数值为零。
范数和伪范数是度规函数的具体实例,而度规函数也极大地推广了范数的概念。所有度规函数都可以被某个凸集
的Minkowski函数
所表示,即
特别地,总可以选择
使得上述结论成立。
定义2.2 [40] 度规函数
的极函数
定义为
如果
是范数,那么
是对应的对偶范数。
引理2.1 [40] 如果
为度规函数,则
的极
为闭度规函数且
。事实上,如果
,其中
为非空凸集,则
,其中集合
表示集合
的极。
由引理2.1可知,集合
是包含原点的闭凸集。
引理2.2 [40] 设
为
中含有原点的闭凸集,
的度规函数
为闭的,则对任意
有
2.2. 度规对偶
下面给出度规对偶的重要结果,相关结论出自文献[35] [39]。
Frenud在[35]中讨论下述带有线性约束的度规优化问题
(2)
其中
是正常连续度规函数,
,
。问题(2)可以等价表示为
(3)
其中
。此外,
是闭度规函数当且仅当
是闭度规函数,且有
。利用[1]中定义的度规对偶对应关系,得到问题(3)的度规对偶问题
当
时,
;当
时,
。因此上述问题可简化为:
(4)
且有
。除了上述度规对偶的结论,在[39]中讨论一般度规优化问题
其中
是闭凸集,
是度规函数。上述问题的度规对偶定义如下:
其中集合
表示
的反极。
基于文献[35]的分析,下述定理给出了度规优化问题(P)和(D)的弱对偶和强对偶结论。
命题2.1 [35] 假设
,则
,其中
和
分别表示原问题(P)和度规对偶问题(D)的最优值。进一步,假设度规函数
是闭的,且有
和
,则
且原问题(P)和度规对偶问题(D)的最优值都可达。
3. 可解性
本章讨论逆度规最优值问题的可解性。为了便于叙述,定义下述符号
和下述假设条件
(A1) 对于任意
满足
其中
,
,
且有
(A2) 成本向量集合
是非空、紧且凸的;
(A3) 问题(1)的可行域
是紧集。
注3.1 由上述假设(A1)和命题2.1可知,对于任意
,度规优化问题(2)和度规对偶问题(4)的强对偶性成立且两个问题的最优值都是大于0的有限值,即
从而有
。因此可以得到
基于注3.1和上面的假设条件,可以得到下面的性质。
命题3.1 (i)函数
关于成本向量
的可行集
上是连续的。
(ii) 集合
和
都是闭凸集。
证明 (ii)的结果可由注3.1得到。下面只对(i)进行证明。
先证明下半连续性,即给定
和任意序列
,有
对每个k,由S的紧性和f的连续性,可以得到
存在,且存在
,使
。由于假设(A3)成立,则序列
至少存在一个收敛子列,记为
。根据
,可知
,进而由f的连续性得到
由于
是可行点,则有
基于上述分析,对于任意子列
,均有
。因此有
接下来证明上半连续性。设
是使得
的最优解。对任意
,有
而由于
且
,可得
。对上述不等式两侧同时取上极限,则
综上所述,
的下极限与上极限均收敛于
,从而函数
在
上连续。
基于命题3.1可知函数
在成本向量集合
上连续。进一步,利用假设(A2)可以得到下述定理:
定理3.1 逆度规最优值问题(1)至少存在一个最优解且对应的最优值是有限的。
证明 由
的定义可知,逆度规最优值问题(1)可以重述为
(5)
由魏尔斯特斯拉定理可知,上述问题至少存在一个最优解。进一步,由注3.1可知该最优解对应的最优值是有限的。
4. 复杂性
本章讨论逆度规最优值问题的复杂性,证明过程依赖于建立逆最优值问题(5)与下述二元整数可行性问题之间的等价性。
二元整数可行性问题:给定整数矩阵
和整数向量
,是否存在一个向量
,使得
?
通过观察上述定义和问题(5)的形式,二元整数可行性问题和逆度规最优值问题的实例分别由矩阵向量对
及函数
、集合
和标量
指定。为了方便叙述,将这样的实例分别表示为
和
。
引理4.1 给定实例
,可以构造逆度规最优值问题(1)的实例
,使得
的答案为“是”当且仅当
的最优目标值为0。
证明 给定实例
,其中
,
。可以按下述步骤构造对应的逆度规最优值问题(1)的实例
:
和紧多面体集合
其中
这里
表示全1向量。
取
,
,
,,
,则
其中
这里
表示
阶单位矩阵,
表示
阶零矩阵,
表示全0向量。
假设
答案为“是”,即存在
,使得
。定义成本向量,其中
,
。显然
。令
是下述问题的最优值
由函数
的定义,则
。由于
,有
则
,
。因此
最优值为0。
假设
的最优值为0,即存在
,使得
。令,
,其中
且
。注意
可以写为下述形式
(6)
其中
是下述问题的最优值
因为
,则对于所有
有
。进一步,由(6)可知
因此对于所有
,有
,所以
。由于
,取
,则二元整数可行性问题的实例
答案为“是”。
定理4.1 逆度规最优值问题(1)是NP-难的。
证明 引理4.1证明了我们可以通过构造并求解等价的逆度规最优值问题(1)的实例来回答任何二元整数可行性问题。由于二元整数可行性问题是NP-难的,因此逆度规最优值问题(1)也是NP-难的。
5. 模型转化
本章将度规对偶的结果应用于逆度规最优值问题。通过问题的结构特征,将其转化为两类带有双线性约束的优化模型。
在假设(A1)、(A2)和(A3)成立的条件下,由注3.1中
的对偶表达,逆度规最优值问题(1)可以等价转化为下述形式
(7)
根据引理2.1,对于闭度规函数
,其中
是包含原点的凸集。其极函数
,显然
是包含原点的闭凸集。进一步,由引理2.2可得
,因此约束条件
等价于
。最后,对问题(7)进行参数化处理,即令
,
,可以得到下述问题
(8)
由集合
的定义和注3.1中集合
的等价刻画,逆度规最优值问题(1)也可以重述为
(9)
显然,问题(8)和问题(9)都是带有双线性约束的优化模型。
双线性约束是非凸优化问题中常见的难点之一,它破坏了问题的凸性,不能直接使用凸优化算法。因此,问题(8)和问题(9)的计算难度主要来自这些双线性约束,且常伴随多个局部极值点、可行域不规则、对初值敏感等数值挑战。鉴于上述结构特性,可以考虑下述潜在的算法框架来求解或近似求解上述问题:
若可为变量
等推导出合理的上下界,可采用McCormick包络对双线性项进行凸松弛,将原问题转化为凸松弛问题。结合空间分支定界框架,通过对变量区间进行细分并逐步收紧松弛,设计相应的全局优化算法求解。相关思路可参考关于混合整数线性规划与双线性规划的研究[41] [42]。
若集合
性质良好时,不难发现:固定
,上述问题关于
为线性规划或锥规划;固定
,上述问题关于
为凸可行性问题。鉴于上述分析,可采用交替极小化策略[43]。该方法每步迭代仅需求解两个凸子问题,计算效率高,且易于嵌入现有凸优化求解器(如MOSEK、CVX)。
综上,由于双线性约束带来的固有非凸性,问题(8)和(9)在求解上具有一定难度。但可结合全局优化方法(例如McCormick松弛 + 分支定界)与高效启发式策略(如交替极小化)构建可行的求解框架,为后续数值实验与算法设计提供理论基础。
极集
的计算
本小节讨论计算极集
的可行性,这一步骤的难易程度直接决定了上述统一框架的实用价值。由于
的定义,它与问题(2)中函数
的选择有关。下面讨论两种极集
具有显式表达形式的情况:
是单位
范数球,集合
的极
是单位
范数球,其中
。
此时,集合
。
NOTES
*通讯作者。