1. 引言
图像分割是一种将图像划分为若干具有特定已知特征的小区域的技术,从而便于后续的有意义分析和处理。这种技术广泛应用于多个领域,如医疗影像、物体识别、交通控制系统等,且在实际应用中发挥着重要作用。由于图像处理的多样性和应用场景的不同,针对同一对象或区域的分割方法存在显著差异。图像分割可分为全局分割和选择性分割两种形式。全局分割是将图像中所有前景对象从背景中分离出来的任务,而选择性分割是将图像中所有前景对象从背景中分离出来的任务[1] [2]。
近年来,变分模型在全局图像分割中得到了广泛应用[3] [4]。这些模型主要分为两类:基于边缘的模型,即通过利用图像中的边缘信息来捕捉物体的边界,例如Snake模型[5]和Geodesic Active Contour (GAC)模型[6];基于区域的模型,即通过利用区域信息来引导初始轮廓的演化,如Mumford-Shah (MS)模型[7]和Chan-Vese (CV)模型[8]。
Mumford和Shah [7]提出了一个能量最小化问题,该问题通过寻找最优分段光滑逼近真实解。通常图像中可能会包含噪声和模糊,因此在进行图像分割时,先恢复干净的图像再进行分割是合理的。Cai、Chan和Zeng提出了一种基于Mumford-Shah模型的两阶段分割方法[9]。第一阶段从原始图像中估计光滑解
,第二阶段通过应用阈值分割实现最终分割。此后,两阶段框架被广泛应用于图像标记和分割任务中。
随着深度学习在图像识别、分类和物体检测中的成功,卷积神经网络(CNN)也被应用于逐像素的图像标记和分割任务。尽管CNN在语义分割中显示了强大的优势,但仍然存在一些挑战,尤其是在区分对象边界的像素时,CNN在相似接受域内的像素区分效果较差。因此,传统的图像分割技术也被进一步结合到深度网络中,以实现更准确的分割结果[10]-[13]。
然而,基于总变差的标记和分割方法在处理图像时存在局限性,一些图像不仅包含平滑区域和跳跃区域,还常常包含倾斜区域。总变差最小化方法在处理这些图像时,容易在平滑区域引入所谓的“阶梯效应”,导致分割结果出现不连续性。Yang,Zhong和Duan等人针对此问题提出了一个加权有界Hessian变分(YZD)模型用于图像标记和分割[14]。
选择性分割的目的是用最少和简单的用户输入来识别局部和特定的对象。通常,用户需要一组标记点来指示目标对象。Gout等人在GAC模型中引入了一个距离函数[15],以鼓励活动轮廓离标记点不太远。后来,Badshah和Chen [1]提出了Badshah-Chen (BC)选择性分割模型,在CV模型中加入了新的活动轮廓距离约束。虽然BC模型分割图像具有较好的强度均匀性,但其分割结果对用户输入很敏感。然后,Rada和Chen [16]考虑标记点生成的多边形的面积约束,进行选择性分割。为了增加标记位置的鲁棒性,Roberts,Chen和Irion [2]最近用边加权测地线距离代替了SC模型[17]中的欧几里得距离。同时,提出了一种凸松弛算法来数值求解Robert-Chen-Irion (RCI)模型。大多数基于区域的模型依赖于强度均匀性的假设,不能很好地分割非均匀图像。为了研究非均匀性图像的分割问题,Min,Lian和Jin [18]根据Retinex理论,输入的非均匀图像可以解耦为光照偏置和反射部分,提出了一种新的非均匀图像选择性分割变分(MLJ)模型。
边缘加权测地线模型需要更少的用户输入,并且其分割结果对噪声和模糊具有鲁棒性。值得注意的是,在上述模型中,没有考虑平滑区域存在的“阶梯效应”,以及导致分割结果出现不连续性问题[14]。在本文中,我们的第一个贡献是结合了基于测地距离的选择性分割模型和Hessian变分模型用于图像的选择性分割,另一个重要贡献是我们在模型中应用了自动估计一阶和二阶正则器权函数的方法,同时提出了一种基于交替方向乘子算法(ADMM) [19] [20]的高效算法进行求解。
2. 相关工作
2.1. 加权有界Hessian变分模型
有界Hessian正则化器是由Chambolle和Lions在2010年通过两个凸正则化器的非卷积首次提出的。Le和Vese [21]通过对
进行分解并最小化,将卷积引入到分段平滑分割问题中:
(1)
其中,
,
,
表示w在像域上的Hessian算子,即:
(2)
v是捕获边缘和不连续点的分段常数分量,w是捕获全局非均匀性的光滑分量。图像函数
与
和
的最小卷积仍然给出一个函数u,使得
。为了得到更正则的解,Papafitsoros和Schönlieb [22]考虑了一阶和二阶联合变分方法进行图像恢复。全变分正则器的简单凸高阶扩展,通过减小阶梯效应,可以提供较为真实的恢复结果,具有良好的延续性。因此,Yang [14]等人提出了一种加权有界Hessian变分模型(YZD)用于图像标记和分割:
(3)
其中,
,
。
函数
是边缘指示函数,作为平滑正则化项的权值,
在均匀区域较大,用于平滑一些不必要的细节和纹理,较小的交叉边缘用于锐化图像边缘。函数
是作为一阶正则化器权值的边缘检测器函数的变化,在边缘区域较大,以增强一阶正则化项以保留主边。通过这种方式,
和
的值理想地符合分割任务的正则化项的要求。
与现有的高阶正则化分割模型如欧拉弹性[23]和平均曲率[24]等非凸、非光滑和非线性不同,该模型具有强制、下半连续和凸性,并具有解存在性的理论保证。分别使用边缘检测器函数和边缘检测器函数的总变分作为光滑正则化器和分段常数正则化器的权函数,该模型在各种图像标记/分割问题上优于最先进的变分模型,可以平滑均匀区域中的不重要细节,并保留边缘、尖角等特征结构。
2.2. 基于测地距离的选择性分割模型
近年来,基于距离的选择性变分分割取得了很大的进展。设M为具有有限个标记点的用户输入集。
是由M的点构成的多边区域,对于每个像素
,表示多边形P的欧氏距离
和归一化欧氏距离
,用
(4)
其中,
。
2015年Spencer等人[17]将归一化欧几里得距离作为一个独立的拟合项引入能量泛函中,并使用水平集方法和凸松弛技术,开发了以下无约束凸模型进行选择性分割:
(5)
其中,
是一个惩罚约束项,保证u的范围在
之间,
是平滑的Heasivide函数。
为了提高对标记点位置和拟合参数
选择的鲁棒性,Roberts等[2]用测地线距离
代替式(4)中的欧式距离
,提出了选择性分割模型(RCI)如下:
(6)
模型中,归一化测地距离为:
(7)
对于
,
是以下PDE的解:
(8)
根据输入图像涉及的内容构造特征函数f。一般情况下,当输入图像中含有噪声且目标物体边缘模糊时,
(9)
其中
、
和
为正参数,U为以下各向异性扩散方程通过高斯赛德尔第k步迭代的数值解[25]:
(10)
但在欧几里得距离和测地距离中并没有考虑到图像不仅包含平坦区域和跳跃区域,还包含一些倾斜区域,阶梯效应会导致分割结果不连续。在本文中利用高阶规律克服这个不足。
基于Retinex理论的方法在对强度不均匀的图像分割时,能够较好地保持物体的轮廓,MLJ模型[18]如下:
(11)
3. 本文模型和算法
本部分展示本文提出的模型,并给出算法。
3.1. 本文模型
为了解决选择性分割中一些图片因为阶梯效应导致的分割结果不连续的问题,本文结合YZD模型,在选择性分割模型(RCI)中加入高阶项与自适应权重,提出一种基于加权有界Hessian变分的选择性分割模型:
(12)
3.2. 本文算法
本节通过结合ADMM算法[19] [20]和变量分裂技术[26]-[28],设计了一种快速的算法,用于数值求解变分问题。
通过引入辅助变量
,将问题(11)转化为如下约束化问题:
(13)
利用拉格朗日乘子法,上述问题的增广拉格朗日函数为:
(14)
其中,
是拉格朗日算子,
是惩罚参数,
是集合
的示性函数。
给定k步迭代时的结果
,更新求解过程如下:
子问题1:给定
,更新
可得
(15)
(16)
子问题2:给定
,更新
对应的关于
的欧拉–拉格朗日方程为:
利用快速傅里叶变换求解上述方程得:
(17)
其中,I是单位算子,F和
分别表示常用的快速傅里叶变换的正、逆运算。
子问题3:给定
,更新
对应的关于
的欧拉–拉格朗日方程为:
可得:
考虑到约束
,对
进行进一步投影,最终得到结果为:
(18)
子问题4:最后提供过梯度上升更新拉格朗日乘子
(19)
综上,本文对于变分模型(12)的算法如下:
步骤1:输入图像z,给定参数
和
,设置惩罚参数,本文设
。
步骤2:迭代更新k步
步骤3:设置迭代终止步骤:
。
4. 实验结果及分析
本节通过数值实验,验证了本文所提出模型与算法的有效性。选择RCI模型[2],MLJ模型[18]和YZD模型[14]与本文模型对医学图片和自然图片的分割结果进行对比试验来展示其优越性。
使用Dice相似系数(DSC) [29]和Hausdorff距离(HD) [30]作为不同算法分割准确性的定量评估指标。它们分别评估分割结果与真实标注之间的重叠程度和边界匹配程度,更大的DSC说明分割结果与真实标注的重叠程度更高,更小的HD表示边界越接近,分割的几何精度越高。
4.1. 参数设置和相关说明
在算法中,我们观察到所提出的算法对于拉格朗日乘子法的惩罚参数的敏感性较低,因此直接设置
,迭代终止条件
,本文模型主要调整设置参数
、
,这两个参数用来平衡数据保真项与距离正则化项。具体参数如表1所示。
Table 1. Image parameters in the experimental section
表1. 实验部分图片参数
图片编号 |
|
|
1 |
20 |
100 |
2 |
70 |
70 |
3 |
18 |
83 |
4 |
100 |
100 |
5 |
80 |
70 |
主要算法在MATLAB中实现,所有实验均在配置为Intel(R)Core(TM)i5-10210U处理器和8GBRAM的计算机上运行,并使用MATLAB2020a进行处理。
4.2. 标记点鲁棒性实验
本小节检验模型对标记点的鲁棒性,图1测试了模型输入不同标记集的简单合成图像的性能。图(a)代表输入图像,图(b)对应地面真值,图(c)到(f)描绘了四个不同的标记点,四种标记分割结果的HD值都是0或极接近0,这说明提出的方法对轮廓初始化具有较好地鲁棒性。
Figure 1. Segmentation results with different maker set
图1. 不同标记点分割结果
4.3. 医学图像分割
本节主要评估了不同分割模型在肺部、血细胞和手指骨骼等医学图像上的分割性能。图2展示了本次实验所使用的医学图像数据,包括对应的地面真实值(ground truth)以及选择性分割任务中输入的标记点分布。从上到下图片编号依次为1到4。
Figure 2. Medical image used in the experiment
图2. 实验所用的医学图像数据
图3展示了不同模型在医学图像分割任务中的具体表现。实验结果充分证明了本文提出方法在医学图像分割任务中的有效性和优越性。
RCI模型能够对感兴趣的区域进行初步分割,但其分割精度存在不足。具体而言,在图片1和图片2中,分割结果的边界过于模糊,未能准确捕捉到感兴趣物体的细节边缘。此外,对于边界模糊的目标(如图片3和图片4),由于测地距离在边界模糊区域内不会显著增加,分割结果容易包含多余的无关对象或导致分割不完整的情况。
Figure 3. Medical image segmentation results
图3. 医学图像分割结果
MLJ模型在处理图像强度不均匀性方面表现优异,其分割结果的边缘相对清晰。然而,该模型对强度相似的区域较为敏感,易于生成包含无意义分散结构的分割结果(如图片1)。此外,在模糊区域的边缘捕捉能力上,该模型表现不如YZD模型和本文提出的方法。例如,图片3中分割对象右下角的凸起部分边缘未能准确识别;在图片4中,分割结果则表现为过于细碎,骨骼的整体形状有所缺失。
YZD模型在捕捉分割对象的边缘信息方面表现突出,其分割结果具有较为平滑的边界。然而,该模型的全局分割特性限制了用户对特定感兴趣对象的选择能力。
相比之下,本文提出的模型在综合性能上优于上述方法。实验结果表明,该模型不仅能够精确捕捉分割对象的边缘信息,生成准确的轮廓,同时还具备边界平滑和分割对象完整性的优点。此外,该模型还允许用户灵活选择感兴趣的分割对象,克服了YZD模型的局限性。
表2中列出的分割结果对应的HD和DSC值进一步验证了上述结论。具体而言,本文提出的方法在所有测试中均取得了最低的Hausdorff距离(HD)和最高的Dice相似系数(DSC),这表明该模型在边界精确性和区域重叠度方面均优于其他对比模型,特别是在分割对象边缘部分的处理上。
4.4. 自然图像分割
在自然图像分割中,“阶梯效应”和分割不连续是常见的问题,它们对分割质量有显著影响,阶梯效应是指在分割过程中,连续变化的区域被分割成一系列不连续的、呈阶梯状的平坦区域。分割不连续是指在分割结果中,目标的边界或区域出现中断、破碎或不完整,导致原本应该连续的区域变得不连贯。图4展示了各模型在自然图像(图片5)分割任务中的性能表现,以气球及其底部附属物的分割为例对比不同模型的性能,RCI模型在该任务中未能成功完成气球及其附属物的完整分割,表明其在捕捉复杂目标区域时能力不足。MLJ模型能够分割出目标的主要部分,包括气球和附属物。然而,分割结果中目标的边界和区域存在中断或破碎现象,导致原本应连续的区域呈现不连贯的分割效果YZD模型作为一种全局分割方法,其分割结果未能正确识别目标对象的轮廓,相比之下,本文提出的模型在该任务中表现出显著优势。分割结果不仅成功地捕捉到了目标的整体结构及其附属物的细节,还表现出区域的连续性和完整性。模型有效避免了分割不连贯或边界不准确的问题,体现了对复杂自然图像目标的精准分割能力。综上所述,实验结果充分说明本文提出模型在自然图像分割任务中的优越性,特别是在目标边界的完整性和区域连贯性方面,显著优于对比模型。
Figure 4. Natural image segmentation results
图4. 自然图像分割结果
4.5. 数值结果以及收敛性分析
4.5.1. 数值结果
由表2可见,本文提出的方法在选择性分割任务中取得了最低的Hausdorff距离(HD)和最高的Dice相似系数(DSC),表明其在分割精度和边界捕捉方面优于其他模型。同时,该方法所需的迭代次数明显少于对比模型,表明其求解效率更高。这些结果进一步验证了本文方法在选择性分割任务中的优越性和高效性。
Table 2. DSC and HD values of the segmentation results
表2. 分割结果的DSC值和HD值
图像编号 |
评价标准 |
RCI |
MLJ |
YZD |
Ours |
1 |
DSC |
0.9230 |
0.8551 |
0.9402 |
0.9595 |
HD |
1.9919 |
3.7408 |
1.9883 |
1.4255 |
Iter |
2783 |
24 |
14 |
9 |
2 |
DSC |
0.8005 |
0.9315 |
0.9627 |
0.9424 |
HD |
3.8524 |
1.4493 |
0.7955 |
1.1224 |
Iter |
3810 |
79 |
10 |
6 |
3 |
DSC |
0.9392 |
0.9399 |
0.8761 |
0.9824 |
HD |
2.1794 |
1.3860 |
1.9842 |
0.2763 |
Iter |
3730 |
47 |
37 |
15 |
4 |
DSC |
0.8383 |
0.9281 |
0.9766 |
0.9283 |
HD |
1.4841 |
1.3609 |
0.3236 |
1.8115 |
Iter |
2961 |
56 |
22 |
9 |
5 |
DSC |
0.9091 |
0.9402 |
0.6433 |
0.9635 |
HD |
2.4122 |
0.9526 |
3.8524 |
0.6962 |
Iter |
850 |
8 |
59 |
8 |
4.5.2. 收敛性分析
本文提出的模型,即模型(11)的求解是一个凸问题,存在使能量泛函最小的数值解,数值能量由式(19)计算:
(20)
在实验中,我们通过监测相对残差来检验我们的算法是否收敛到一个鞍点,定义为
(21)
为了检验迭代过程的收敛性,我们还检验
迭代的相对误差:
(22)
图5的第一列至第三列依次展示了本节选取的5张图像在迭代过程中的相对误差、数值能量以及拉格朗日乘子相对误差的变化情况,反映了算法的收敛特性。实验结果表明,迭代过程中
相对误差与拉格朗日乘子相对误差均逐渐衰减,数值能量稳定趋于收敛,最终在数值上验证了算法迭代至某一鞍点的正确性和基于ADMM方法的优化算法在本任务中的有效性和稳定性。
Figure 5. Numerical convergence analysis
图5. 数值收敛性分析
5. 结语
本文针对选择性图像分割中常见的“阶梯效应”以及边界捕捉不准确等问题,提出了一种结合基于测地距离的选择性分割模型与Hessian变分模型的新方法。在模型中,本文通过自动估计一阶和二阶正则化权函数,实现了对平滑区域、倾斜区域及跳跃区域的精确分割,同时设计了一种基于交替方向乘子法(ADMM)的高效算法用于数值求解,提高了分割效率。为验证本文方法的有效性,选取了RCI模型、MLJ模型和YZD模型与本文模型进行对比实验。
这三种模型分别具有各自的特点:RCI模型主要利用区域一致性进行分割,适合处理区域差异显著的图像,但在复杂边界处理上表现不足。MLJ模型通过多层联合表示增强了对图像强度不均匀性的适应性,但对强度相似区域的分割易出现碎片化。YZD模型依赖全局特性,能生成平滑的边界分割结果,但对用户的兴趣区域选择支持有限。
实验结果表明,本文提出的方法在医学图像和自然图像分割任务中均表现出更高的精确度和鲁棒性,尤其在复杂边界和噪声较大的图像中具备显著优势。此外,本文模型有效避免了“阶梯效应”和分割不连续性问题,并在边界平滑性、分割对象的完整性以及目标区域连贯性方面优于对比模型。
基于实验数据,本文方法在Hausdorff距离(HD)和Dice相似系数(DSC)指标上均取得了优异的表现,验证了模型在分割精度和效率上的改进。主要结论包括以下内容。
本文提出的模型在医学图像和自然图像分割任务中表现优越,特别是在边界平滑和目标区域完整性方面;与现有对比模型相比,本文方法在处理强度不均匀图像时展现了较强的鲁棒性;本文设计的基于ADMM的数值求解算法提高了迭代收敛性和计算效率,验证了模型在实际应用中的潜力。