U-Net网络在肝脏肿瘤CT图像分割应用综述
Comprehensive Review on the Application of U-Net Architecture for Hepatic Neoplasm Segmentation in Computed Tomography Imaging
DOI: 10.12677/acm.2025.1551519, PDF, HTML, XML,    科研立项经费支持
作者: 陆 韬, 张允劼, 吴雨晗, 王雪景, 蔡忠昊, 樊 邵, 徐晓燕*:皖南医学院医学影像学院医学影像学实验实训中心,安徽 芜湖
关键词: 深度学习U-Net医学图像处理肝脏肿瘤分割Deep Learning U-Net Medical Imaging Processing Hepatic Neoplasm Segmentation
摘要: 肝脏肿瘤(Hepatic Neoplasm)作为全球公共卫生领域的重大威胁,其发病率与致死率持续攀升的态势亟需精准诊疗技术的突破。在多种计算机断层扫描(computed tomography, CT)图像进行肝脏及肝脏肿瘤分割的深度学习(Deep Learning, DL)方案对比中,U-Net及其变种表现较优秀。为此,本文对近年来U-Net在肝脏及肝脏肿瘤CT图像分割中的应用以及具体优化方法进行了归纳,对比分析不同模型间的优劣并提出可能的发展方向,以期为进一步研究提供参考。
Abstract: Hepatic neoplasm pose a significant global public health threat, with their persistently rising incidence and mortality rates necessitating breakthroughs in precise diagnostic and therapeutic technologies. Among deep learning (DL) solutions for liver and hepatic neoplasm segmentation in computed tomography (CT) images, U-Net and its variants demonstrate relatively superior performance. To this end, this paper provides a summary of the applications of U-Net in the segmentation of liver and hepatic neoplasm CT images in recent years, as well as specific optimization methods. It compares and analyzes the strengths and weaknesses of different models and proposes potential directions for future development, with the aim of providing a reference for further research.
文章引用:陆韬, 张允劼, 吴雨晗, 王雪景, 蔡忠昊, 樊邵, 徐晓燕. U-Net网络在肝脏肿瘤CT图像分割应用综述[J]. 临床医学进展, 2025, 15(5): 1495-1505. https://doi.org/10.12677/acm.2025.1551519

1. 引言

肝脏作为人体的重要消化和代谢器官,其功能完整性直接关系全身生理机能及生活质量。然而,原发性肝肿瘤作为全球第五大高发恶性肿瘤,不仅给患者带来极大的生命威胁,更因其与病毒性肝炎、肝硬化等慢性肝病的密切关联性,在全球范围内形成持续增长的疾病负担。因此及时精确识别肝肿瘤,区分肿瘤和周围组织对早筛体系建设和部分患者和潜在患者个体化治疗具有重要意义。

近年来,基于深度学习的自动分割算法引起了很多学者的关注,其中卷积神经网络(CNN) [1],循环神经网络(RNN) [2]以及专注于分割图像的U-Net模型被提出并广泛研究应用。通过对大量标注的开源样本进行学习,U-Net能够自动识别高层次特征,从而达到精准识别、分割的效果。Ronneberger等[3]率先提出U-Net并将其应用于生物医学图像分割领域,近几年来国内外很多研究者将U-Net作为主干网络应用到很多自动肝脏分割任务中。本文将详细探讨U-Net在肝脏及肝脏肿瘤分割方面的发展以及未来的发展前景。

2. 单网络肝脏肿瘤分割方法

单网络肝脏肿瘤分割是指在单一U-Net网络模型的基础上进行分割,这是一种相对简单和常用的改进方式[4]。部分研究者通过优化原有结构和引入新模块等方式进行网络结构创新,增强图像分割能力。

2.1. 基于传统U-Net的改进方案

Net模型的下采样部分通过减小特征图的空间尺寸来提取高级特征,而上采样则通过增加特征图的空间尺寸来恢复图像的细节信息,最终生成与输入图像相同尺寸的分割图。跳跃连接将收缩路径中的特征图与扩展路径中相应层的特征图进行拼接,从而重构特征图。例如Wehrend J [5]等利用二维U-Net,通过梯度边缘检测定义边界,二元交叉熵和随机梯度下降算法的线性组合独立训练5次,进行100,000次迭代,获得准确度较高的模型。

目前,改进U-Net结构的主要方法包括优化上采样和下采样部分、重新设计跳跃连接及利用扩展卷积扩大感受野,或在U-Net的前端或后端加入部分模块。这些方法显著提高了U-Net对肝脏及肝脏肿瘤特征图语义特征的学习能力,从而提升了分割精度。例如,Wang J等[6]设计的SAR-U-Net,在U-Net编码器中引入SE块自适应提取每次卷积后的图像特征,抑制不相关区域,突出显示特定分割任务的特征。同时利用ASPP替换过渡层和输出层,通过不同的接收场获取多尺度图像信息。Liu等[7]加入激励(SE)块同时结合了Res2Net块和边缘注意(EA)块,将该网络命名为mfeeU-Net,在LiTS2017数据集上对肝脏分割的ASC、Dice系数和灵敏度分别为95.32%、91.67%和95.53%,表现优秀。

为充分结合特征通道的相关性和特征映射的空间位置,增加U-Net的空间信息利用,Wu等[8]对U-Net编码器、解码器、跳过连接和上下文转换结构进行了全新的设计,提出MSA-UNet。这种思路提高了编码器的特征提取能力和解码器恢复空间位置信息的效率。Chen Y等[9]引入冠状CT切片辅助横切片分割,在分割结果中加入更多三维空间信息,同时在DRAUNet中引入了一种新的深度剩余块(DR block)和双效应注意模块(DAM),提高了网络的分割性能。

Ayalew YA等[10]减少了每个卷积块上的过滤器数量,并在收缩路径的每个卷积块之后添加了新的批处理归一化和dropout层,为U-Net的优化提供一种思路。而Özcan等[11]在U-Net基础上添加Inception模块,发明出AIM-Unet混合模型,对肝脏及肝脏肿瘤的区分度较好,同时该模型对医学图像有一定的参考价值,所建立的模型可以很容易地应用于不同的器官和其他医学领域。

2.2. 基于注意力机制的改进方案

肝脏与周边组织结构密度相似,而多层密集的特征叠加使得模型在肝脏和肝脏肿瘤识别和分割任务的视觉注意和影像专业知识意识方面存在差异,注意力机制可以让网络更好地聚焦于待分割的肝脏及肝脏肿瘤处。常见的机制有全局平均池化、3d补丁注意力机制、空间通道混合注意力、边缘注意(EA)块等,旨在增强待分割区域的特征信息,从而提高分割精度。

为了避免U-Net多次采样造成的空间信息的丢失,Jiang L等[12]选择设计一个全局平均池化块,进一步增强感受野,提高网络对小的或断开的肝脏区域的分割精度。Wang F等[13]的注意引导上下文不对称融合网络(AGCA-Net),根据注意引导上下文块(AGCB)将特征映射分割成多个小块,计算特征之间的局部相关性,然后使用全局非局部融合模块(GNFM)获得像素之间的全局信息。Wang Z等[14]使用混合扩张注意卷积(HDAC)层取代U-Net底部的卷积层,以融合来自不同大小的接受域的信息。而Liu H等[15]设计了一个全局关注模块(GAM)来对相互依赖的通道和位置维度进行建模,捕捉全局特征。同时设计特征聚合模块(FAM),并提出了局部关注模块(LAM)来捕获空间特征,并抑制无关信息,在LiTS2017数据集和3Dircadb数据集上表现优异。

为了利用注意机制的融合以学习突出重要的特征,抑制无关的特征,Hettihewa K等[16]发明的多注意网络(MA-Net),让卷积块注意模块分为通道注意模块和空间注意模块,分别作用于编解码器和编解码器中,以便深度提取与结合低级特征与高级特征。该架构在MICCAI 2017肝脏肿瘤分割数据集和3DIRCADb数据集上进行训练测试,在轻量级网络中表现较优秀。Saumiya S等[17]引入通道特征分割图网络(CSCFSG-Net),通过分别捕获空间和通道特征来提高肝脏和肝脏特征的表达能力,并从空间和通道特征中提取全局上下文肝脏和肝脏信息。Jiang L等[12]引入MBA模块,利用MAB收敛丰富的多尺度特征信息,同时捕捉特征的通道间和空间间关系。Wang Z等[14]选择增加即插即用的通道注意(CA)块和混合扩展注意卷积(HDAC)层,在解码操作之前,将信道注意块插入到提取的编码路径特征映射中。该模块的优势是轻量级,对计算效率和算力消耗影响较小,我们可以将其应用于骨干网的多个层,以优化该层编码操作的信道效果。

3d补丁注意力机制的应用提高了网络对层与层之间关系的理解能力,例如Ester O等[18]提出了一种补丁邻近注意机制,从补丁嵌入记忆库中查询邻近组织上下文,并将上下文嵌入到瓶颈隐藏特征映射中。而后Gupta AC等[19]在优化新的U-Net网络时发现,基于3d补丁的注意力U-Net对比nnU-Net的3d全分辨率训练模型在278例标注案例中表现相仿,模型可运用于临床使用。

除此之外,还有Wang J等[20] SAR-U-Net模型中用到的挤压–激励模块,增强肝脏肿瘤的特征表示。Liu J等[7]引入边缘注意(EA)块来跳过编码器和解码器之间的连接,以便优化肝脏边缘模糊问题以及区分附近灰度接近肝脏的器官。Saumiya S等[17]编码器采用残馀变形卷积层(DCL)和变形池(DP)作为注意机制,自适应提取肝脏和肝脏的形状和位置特征,解码器部分使用亚像素卷积(SPC)来防止分割结果具有棋盘伪影效果。这些方案都取得了不错的分割效果。

2.3. 基于空洞卷积的改进方案

空洞卷积核心目的是扩大感受野,具体来说,Ayalew YA等[10]减少了每个卷积块上的过滤器数量并在收缩路径的每个卷积块之后添加了新的批处理归一化和dropout层,优化网络结构。Lv P等[20]用残差模块代替原有的U-Net卷积模块,加快模型的收敛速度。Chen Y等[21]采用密集连接结构和展开卷积,实现特征重用,避免信息丢失,一定程度上解决了过分割和欠分割问题。Li L等[22]等设计了一个以ResNeXt50为主导,以扩张卷积为补充的骨干网,在不增加参数的情况下增加网络深度,扩展感知场,提高特征提取效率。Guo X等[23]通过加入扩展卷积来增加卷积核的接受野,同时使用注意机制和残差连接组成的注意残差模块取代原有卷积模块,作为编码器和解码器的主要组成部分。这种设计使网络能够捕捉全部的上下文信息,实现高精度的分割。

空间金字塔池化(AMMP) [24]可以提取局部特征和全局特征,融合多重感受野,从而扩大了主干特征的接收范围,分离重要的上下文信息,提高模型的检测精度。因此Wang J等[6]的SAR-U-Net网络结构利用ASPP替换过渡层和输出层,通过不同的接收场获取多尺度图像信息,提高网络性能。Song Z等[25]在网络的编码器和解码器之间引入金字塔卷积块,提高网络的定位能力。而Gao Q等[26]使用改进的嵌套U-Net作为我们的主干,将原有的空间金字塔池(ASPP)修改为自适应池结构,以更好地与嵌套U-Net兼容。自适应ASPP可以更好地从不同的层次提取特征,并涵盖了随着嵌套网络深度的增加而增加的特征提取范围。该模型在精确分割具有复杂边缘的不同肿瘤大小方面具有优势,并且能够在小而多样的数据集上进行推广。

2.4. 基于残差连接的改进方案

为了缓解梯度消失问题,Wang J等[6]将传统的卷积块替换为残差结构,从而促使网络在深度大幅增加的情况下提升分割精度,并在LiTS17和SLiver07两个公共数据集上测试了该方法的有效性。Lee Z等[27]用同样的方法,提出复合原始特征残差模块,实现了更高水平的图像特征提取能力,防止梯度消失或爆炸,避免明显的过分割和欠分割,为外科医生设计手术方案提供了可靠的依据。Jiang L等[12]的RMAU-Net模型通过引入Res-SE-Block残差模块,并通过显式建模特征通道之间的相互依赖关系和特征重新校准来提高表征质量。Hettihewa K等[16]和Sun L等[28]通过用改进的残差模块替换传统的编码器和解码器中的卷积模块,增强了网络的特征提取能力和梯度稳定性。

残差注意力机制通过融合残差连接与注意力机制,在保留原始特征完整性的同时自适应聚焦关键信息,有效提升模型性能、增强泛化能力。Wang Z等[14]提出了一种残差混合扩展注意卷积(HDAC)层,提高定位准确性。Chen Y等[21]将深度残差注意力加入自研网络模型(DRAUNet)中,同时使用双平面联合肝脏分割方法,在分割结果中加入更多三维空间信息,提高了网络的分割性能。Guo X等[23]使用由注意机制和残差连接组成的注意残差模块取代了原有的卷积模块,作为编码器和解码器的主要组成部分。Saumiya S等[17]为了提高肝脏和肝脏的分割精度,编码器加入残馀变形卷积层(DCL)作为注意机制,自适应提取肝脏和肝脏的形状和位置特征。

除此之外,Lv Pm等[20]等用残差模块代替原有的U-Net卷积模块,加快模型的收敛速度,Sheela KS等[29]等利用ResNet的深度残差学习来解决深度神经网络中的训练问题,加快训练速度,提高模型泛化能力。

2.5. 基于跳跃连接的改进方案

跳跃连接又称跨层连接,是一种在深度神经网络中引入的短路径机制,其核心思想是通过恒等映射或线性变换,将浅层特征直接传递至深层网络。Chen Y等[21]以混合注意结构,取代跳跃连接组件,过滤和整合低分辨率信息。Gao Q等[26]设计的网络模型结合了卷积块内扩展的密集短跳跃连接,进一步提高了梯度流和特征保持能力。

跳跃连接可以特征传递缓解梯度消失和爆炸问题,促进特征尤其是浅层特征复用。基于这一思想,Li Q等[30]提出了一种新的具有交叉关注的密集连接U-Net模型(CC-DenseUNet)来分割计算机断层扫描(CT)图像中的肝脏肿瘤。CC-DenseUNet中的密集互连保证了在提取肝脏肿瘤切片内特征时,编码器层之间的最大信息流。为了有效地捕获含有肝脏肿瘤的CT图像中必要且有意义的非局部上下文信息,该网络使用了交叉关注。经过LiTS数据集和3DIRCADb数据集上评估实验,表明该方法可以完成肝脏肿瘤分割任务,但分割精度相较于其他同时期模型略低。

2.6. 基于Transform的改进方案

Li L等[22]充分发挥Transform全局感受野的特性,在下采样中引入了Transformer,增加了网络对图像的整体感知和全局理解,提高了肝脏肿瘤分割的准确性。为了学习和提取不同肿瘤大小、位置和形态的复杂肿瘤特征,以便更准确地分割,Li R等[31]提出了一个包含动态分层变压器(DHTrans)结构的动态分层变压器网络,命名为DHT-Net。DHTrans首先通过动态自适应卷积自动感知肿瘤位置,采用不同感受野大小的分层运算学习各种肿瘤的特征,增强肿瘤特征的语义表示能力。为了充分捕捉肿瘤区域的不规则形态特征,DHTrans以互补的方式聚合全局和局部纹理信息。在公共数据集(LiTS和3DIRCADb)对DHT-Net进行训练测试,该方法优于同期最先进的2D、3D和2.5D混合模型肝脏和肿瘤分割性能。

2.7. 基于V-Net的改进方案

V-Net [32]是基于U-Net改进的一种专门处理三维图像的网络结构,其结构特点是相较于普通U-Net优点有三,一是引入3D卷积和残差连接(Residual Block),可以加速收敛并缓解梯度消失问题;二是提出基于Dice系数的目标函数,有效解决医学图像中前景与背景体素的类别不平衡问题,优于传统交叉熵损失端到端训练;三是直接处理3D体积数据,避免切片式处理的信息丢失。基于这一思想,Lee Z等[27]提出基于U-Net的残余注意力V-Net (RA V-Net)算法,通过增加通道注意力和空间注意力以及矩阵点积进行强化进行优化网络。经测试,评价指标有明显提高,可以运用于临床。而后Song Z等[25]对V-Net进行修改,在网络的编码器和解码器之间引入金字塔卷积块,进一步提高网络的定位能力,然后引入多分辨率深度监督,使分割更加鲁棒,最后通过融合不同分辨率的特征图,对整体分割结果进行预测。与已有工作相比,本文所提出的技术在Dice系数指数上取得了较好的性能,可以应用于肝脏肿瘤的治疗。

2.8. 基于深度监督的改进方案

深度监督是一种在深度神经网络的中间隐藏层引入辅助监督信号,一定程度上能缓解梯度消失,增强特征表达能力。因此Song Z等[25]引入多分辨率深度监督,使分割更加鲁棒。Guo X等[23]深度监督模块集成在解码器网络的不同层次之间,提供来自更深中间层的额外反馈。这将网络权值限制在目标区域,并优化分割结果。深度监督的加入会使计算开销增加,同时需要慎重考虑权重系数,否则容易出现否则可能导致分割结果边界模糊或细节丢失。

2.9. 其他改进方案

新函数的加入给U-Net带来了新的改变,例如Ester O等[18]加入了记忆注意框架(MAF)在缩小选择范围同时对比周围组织的背景。该框架可以集成到任何编解码器分割方法中。Jiang L等[12]为了提高分割精度和收敛速度,设计了一个混合损失函数,将focal损失和dice损失结合起来。Lv P等[20]引入新的损失函数和数据增强,提出了用相反数量的骰子代替交叉熵损失函数,并引入形态学方法对像素进行加权,精细化分割同时抑制像素不平衡问题。Sahli H [33]等结合Seg-Net和U-Net提出一种自动分割肝脏肿瘤缺陷的算法,开发并优化了所提出的分割架构,获得了较好的分割效果,对转移瘤定位有明显提升。Gao Q等[26]使用新引入的adabelef优化器进一步改进了我们的模型,并实现了更快的收敛速度。Sheela KS等[29]将U-Net和ResNet架构与Adam优化器和s型激活函数相结合,Adam优化器通过在训练过程中基于梯度统计动态调整学习率来加速模型收敛,同时引入了一种先进的融合策略。该网络在包含130个肝癌CT扫描的不同数据集上进行验证,有效地描绘了复杂和弥漫性肿瘤的形状,显著减少了错误。为预测肝脏肿瘤微血管侵袭,Park S等[34]开发一种自动分割算法(DL-AS)。他们选择2D U-Net作为DL架构,加入ICC计算重现性,Logistic回归预测MVI。验证结果还可以更进一步(漏检率11.4%),但也提供了一种很好的思路。

与此同时,部分学者充分把握图像特征,例如Vo VT等[35]引入灰度模型,有效地同时提取局部和全局特征,缩小边界距离误差。该网络利用Hounsfield单位(HU)滤波和标准化对CT图像的对比度和强度值进行调整去高频,利用多滤波器U-Net (MFU-net)从整个图像中分割出肝脏肿瘤,再使用基于边界距离的度量、基于尺寸的度量和基于重叠的度量,对分割结果进行了定量分析。该方案在CT图像的异质性肿瘤区域中表现出更好的性能。Shao HC等[36]引入了生物力学建模来微调由2D-3D可变形配准解决的肝脏内变形矢量场(dvf),特别是在低对比度区域,做到精确定位分割。而Lee IC等[37]利用分层融合策略将肝脏的不同部分使用不同的算法进行分割处理。他们使用动态CT图像的二维致密网络(2D DenseU-Net)分割小肿瘤,而使用门静脉相关图像的二维U-Net分割大肿瘤。与单一策略深度学习模型相比,识别效果,全局准确率,总体敏感度、精密度都表现更好。

3. 多网络肝脏肿瘤分割方法

3.1. 级联U-Net

级联网络的基本思想是将前一个网络的输出作为后一个网络的输入,实现对特征的进一步提取和利用,以实现精准分割[4]。Christ等[38]通过第一个FCN分割出肝脏,再使用另一模型进行精细化分割。He K等[39]先使用2D残余注意U-Net (RA-Unet)进行肝脏分割,再将分割结果输入基于多尺度补丁的3D RA-Unet进行肿瘤和消融术分割。在独立测试集上,该方法分割精度高于同时期常规单网络U-Net表现。

刘云鹏团队[40]在级联U-Net中引入注意力机制与密集连接,利用子像素卷积增强微小肿瘤特征响应,显著提升小病灶检出效果。Xu等[41]设计的双通道级联网络(DC-CUNets)通过融合多期相特征,进一步优化了肿瘤边缘分割精度。Wu Y等[42]选择先利用侧边输出特征融合注意块对不同层次的特征进行融合,并结合注意机制对重要信息进行聚焦,然后利用空间金字塔池注意块提取多尺度语义特征,最后利用多尺度预测融合块对网络各层捕获的特征进行充分融合。该方案运用级联的思维链接三个模块,充分发挥每个模块的优势,但对算力要求较高。Chen Y等[43]则采用分形残差U-Net对肝脏进行定位和初始分割,然后进一步使用fr-U-Net从肝脏感兴趣区域预测肝脏肿瘤。最后使用三维CRF对肿瘤分割结果进行细化。改进的分形残差结构有效地保留了更多有效的特征,提高了深度网络的分割性能,改进的深度残差块可以更有效地利用特征信息,三维CRF方法平滑了轮廓,避免了肿瘤过分割问题,分割精度较高。

3.2. 双路径

双路径架构通过并行网络提取全局与局部特征,突破单网络表征能力瓶颈。Vorontsov等[44]采用双U-Net并行结构,利用跳跃连接融合多尺度特征,在未预处理的CT数据上实现端到端训练。Li等[45]提出的H-DenseUNet融合2D与3D优势,通过混合特征模块实现跨维度交互,有效改善边界分割效果。Zhang等[39]结合2D粗分割与3D细分割策略,并通过水平集后处理优化边界,但需权衡计算效率与精度平衡问题。Ou J等[46]使用卷积神经网络和Transformer网络分别提取特征,再利用特征增强单元将Transformer网络提取的全局特征传递给CNN进行特征增强。该模型旨在解决传统基于U-Net的方法在编码过程中特征丢失和全局特征捕获不佳等缺点,同时还避免了纯Transformer模型参数尺寸大、计算复杂度高的缺点。该方案可以做到精准分割,尤其是处理小而不连续的肝脏区域以及肝脏边界模糊区域可以取得显著的改进。

而Khattab MA等[47]提出了一种具有三种不同类型跳跃连接的堆叠式2-U-Net模型。所提出的连接机制旨在恢复第一个U-Net卷积路径中因池化操作导致的高层特征损失,以及第一个U-Net上采样路径中因反卷积导致的低层特征损失。通过密集连接方式,跳跃连接将前一阶段同层级生成的所有特征与第二个U-Net编码器和解码器的卷积层输入进行拼接。我们通过最大化预测肝脏区域和真实情况之间的Dice相似性,在每个U-Net的每个级别上使用不同数量的过滤器实现了两个版本的模型。所提出的模型使用3Dircadb公共数据集进行训练,该实验结果表明,该模型性能优于原始U-Net及双U-Net变体,并与同时期最先进的mU-Net、DC U-Net及级联UNET模型效果相当。

4. 总结与展望

本文旨在总结近年来U-Net这一深度学习网络在肝脏及肝脏肿瘤CT图像分割的应用。通过阅读相关文献和研究成果,我们发现U-Net网络在医学CT图像标注中表现出了良好的性能。常见的U-Net网络类型可以分为单网络和多网络,为提升分割准确性,学者们采用引入新模块,优化注意力机制、残差、空洞卷积或者找更合适的网络结合与融合等方法。为在保证分割精度的同时减轻算力压力,可以引入2.5D卷积网络,空间–通道协同加权、边缘注意力等注意力机制、轻量化模块等方案。同时,部分学者从CT影像本身出发,引入灰度模型、各种数学算法和生物力学建模等新思路。部分典型方法在肝脏及肝脏肿瘤分割的评价如表1所示。

Table 1. Evaluation of the metrics of liver and liver tumor segmentation

1. 肝脏和肝脏肿瘤分割评价指标结果

方法

年份

数据集

评价指标

Dice/ %

VOE/ %

RVD/ %

SEN/ %

Jaccard/ %

ASSD/ mm

MSSD/ mm

Wang J [6]

2021

LiTS2017

95.71 ± 0.55

9.52 ± 1.11

−0.84 ± 3.86

1.54 ± 0.30

29.14 ± 2.63

97.31 ± 1.49

5.37 ± 3.27

−1.08 ± 2.06

1.85 ± 0.30

27.45 ± 1.89

Wu J [8]

2021

3Dircadb01, MICCAI-Sliver07

98.00

96.08

Vo VT [35]

2021

3Dircadb

96

33.5

0.066

0.864

Lv P [20]

2022

Sliver07, LiTS2017

94.28

10.83 ± 3.70

−0.25 ± 2.74

Li L [22]

2022

LiTS 2017

93.38

89.22

89.87

98.91

Sahli H [33]

2022

医院数据集

9520

96.54

Özcan F [11]

2023

自研数据集,CHAOS,LIST和3DIRCADb

97.86

96.1

Liu J [7]

2023

LiTS2017

95.32

95.53

Hettihewa K [16]

2023

MICCAI 2017

81.45 ± 1.50

29.15 ± 1.71

87.23 ± 1.73

70.84 ± 1.71

0.7084 ± 0.701

Lee IC [37]

2024

595例患者标注数据集

82.8

Wang F [13]

2024

LiTS2017

84.1

91.7

3.52

Ou J [47]

2024

LiTS2017

95.35

8.04

−0.07

3Dircadb, Chaos, Sliver07

注:“—”表示无该分割评价指标结果。

目前研究也面临着一些问题,例如单网络模型受限于固有架构,难以充分捕获复杂三维解剖结构的全局语义信息,多网络级联误差传播,以及对算力要求仍然较高等问题。基于现有成果,本课题就肝肿瘤影像分割的改进路径给出发展建议:对于当前用于训练模型的数据量不足,我们可以在鼓励公开更多标注数据集的基础上,利用数据增强技术提高可利用数据量;对于当前算力问题,需要探索更精简高效的算法,也可鼓励医疗机构与云计算合作,探索互联网+医疗的新模式;同时仍需继续探索更加精准的分割算法。

目前肝脏肿瘤分割技术正逐步从高精度分割向保证精度同时的高效率分割演进,未来需在算法与临床需求间寻求平衡,实现分割计算在临床的广泛应用。

基金项目

2023年安徽省级质量工程项目:2023xsxx256;校大学生科研资助金:WK2023XS16;大学生创新创业训练计划项目(202310368019、S202310368042)。

NOTES

*通讯作者。

参考文献

[1] Ciresan, D., Giusti, A., Gambardella, L., et al. (2012) Deep Neural Networks Segment Neuronal Membranes in Electron Microscopy Images. Advances in Neural Information Processing Systems, Lake Tahoe, 3-6 December 2012, 2843-2851.
[2] Sutskever, I., Martens, J. and Hinton, G.E. (2016) Generating Text with Recurrent Neural Networks. Proceedings of International Conference on Machine Learning, Bellevue, 19-24 June 2016, 1017-1024.
[3] Ronneberger, O., Fischer, P. and Brox, T. (2015) U-Net: Convolutional Networks for Biomedical Image Segmentation. In: Navab, N., Hornegger, J., Wells, W. and Frangi, A., Eds., Medical Image Computing and Computer-Assisted InterventionMICCAI 2015, Springer, 234-241.
https://doi.org/10.1007/978-3-319-24574-4_28
[4] 张欢, 刘静, 冯毅博, 等. U-Net及其在肝脏和肝脏肿瘤分割中的应用综述[J]. 计算机工程与应用, 2022, 58(2): 1-14.
[5] Wehrend, J., Silosky, M., Xing, F. and Chin, B.B. (2021) Automated Liver Lesion Detection in 68Ga DOTATATE PET/CT Using a Deep Fully Convolutional Neural Network. EJNMMI Research, 11, Article No. 98.
https://doi.org/10.1186/s13550-021-00839-x
[6] Wang, J., Lv, P., Wang, H. and Shi, C. (2021) Sar-U-Net: Squeeze-And-Excitation Block and Atrous Spatial Pyramid Pooling Based Residual U-Net for Automatic Liver Segmentation in Computed Tomography. Computer Methods and Programs in Biomedicine, 208, Article ID: 106268.
https://doi.org/10.1016/j.cmpb.2021.106268
[7] Liu, J., Yan, Z., Zhou, C., Shao, L., Han, Y. and Song, Y. (2023) mfeeU-Net: A Multi-Scale Feature Extraction and Enhancement U-Net for Automatic Liver Segmentation from CT Images. Mathematical Biosciences and Engineering, 20, 7784-7801.
https://doi.org/10.3934/mbe.2023336
[8] Wu, J., Zhou, S., Zuo, S., Chen, Y., Sun, W., Luo, J., et al. (2021) U-Net Combined with Multi-Scale Attention Mechanism for Liver Segmentation in CT Images. BMC Medical Informatics and Decision Making, 21, Article No. 283.
https://doi.org/10.1186/s12911-021-01649-w
[9] Chen, Y., Zheng, C., Zhou, T., Feng, L., Liu, L., Zeng, Q., et al. (2023) A Deep Residual Attention-Based U-Net with a Biplane Joint Method for Liver Segmentation from CT Scans. Computers in Biology and Medicine, 152, Article ID: 106421.
https://doi.org/10.1016/j.compbiomed.2022.106421
[10] Ayalew, Y.A., Fante, K.A. and Mohammed, M.A. (2021) Modified U-Net for Liver Cancer Segmentation from Computed Tomography Images with a New Class Balancing Method. BMC Biomedical Engineering, 3, Article No. 4.
https://doi.org/10.1186/s42490-021-00050-y
[11] Özcan, F., Uçan, O., Karaçam, S. and Tunçman, D. (2023) Fully Automatic Liver and Tumor Segmentation from CT Image Using an Aim-UNet. Bioengineering, 10, Article 215.
https://doi.org/10.3390/bioengineering10020215
[12] Jiang, L., Ou, J., Liu, R., Zou, Y., Xie, T., Xiao, H., et al. (2023) RMAU-Net: Residual Multi-Scale Attention U-Net for Liver and Tumor Segmentation in CT Images. Computers in Biology and Medicine, 158, Article ID: 106838.
https://doi.org/10.1016/j.compbiomed.2023.106838
[13] Wang, F., Cheng, X., Luo, N. and Su, D. (2024) Attention-Guided Context Asymmetric Fusion Networks for the Liver Tumor Segmentation of Computed Tomography Images. Quantitative Imaging in Medicine and Surgery, 14, 4825-4839.
https://doi.org/10.21037/qims-23-1747
[14] Wang, Z., Zou, Y. and Liu, P.X. (2021) Hybrid Dilation and Attention Residual U-Net for Medical Image Segmentation. Computers in Biology and Medicine, 134, Article ID: 104449.
https://doi.org/10.1016/j.compbiomed.2021.104449
[15] Liu, H., Fu, Y., Zhang, S., Liu, J., Wang, Y., Wang, G., et al. (2023) GCHA-Net: Global Context and Hybrid Attention Network for Automatic Liver Segmentation. Computers in Biology and Medicine, 152, Article ID: 106352.
https://doi.org/10.1016/j.compbiomed.2022.106352
[16] Hettihewa, K., Kobchaisawat, T., Tanpowpong, N. and Chalidabhongse, T.H. (2023) Manet: A Multi-Attention Network for Automatic Liver Tumor Segmentation in Computed Tomography (CT) Imaging. Scientific Reports, 13, Article No. 20098.
https://doi.org/10.1038/s41598-023-46580-4
[17] Saumiya, S. and Franklin, S.W. (2023) Residual Deformable Split Channel and Spatial U-Net for Automated Liver and Liver Tumour Segmentation. Journal of Digital Imaging, 36, 2164-2178.
https://doi.org/10.1007/s10278-023-00874-1
[18] Ester, O., Hörst, F., Seibold, C., Keyl, J., Ting, S., Vasileiadis, N., et al. (2023) Valuing Vicinity: Memory Attention Framework for Context-Based Semantic Segmentation in Histopathology. Computerized Medical Imaging and Graphics, 107, Article ID: 102238.
https://doi.org/10.1016/j.compmedimag.2023.102238
[19] Gupta, A.C., Cazoulat, G., Al Taie, M., Yedururi, S., Rigaud, B., Castelo, A., et al. (2024) Fully Automated Deep Learning Based Auto-Contouring of Liver Segments and Spleen on Contrast-Enhanced CT Images. Scientific Reports, 14, Article No. 4678.
https://doi.org/10.1038/s41598-024-53997-y
[20] Lv, P., Wang, J., Zhang, X., Ji, C., Zhou, L. and Wang, H. (2021) An Improved Residual U-Net with Morphological-Based Loss Function for Automatic Liver Segmentation in Computed Tomography. Mathematical Biosciences and Engineering, 19, 1426-1447.
https://doi.org/10.3934/mbe.2022066
[21] Chen, Y., Hu, F., Wang, Y. and Zheng, C. (2022) Hybrid‐Attention Densely Connected U‐net with GAP for Extracting Livers from CT Volumes. Medical Physics, 49, 1015-1033.
https://doi.org/10.1002/mp.15435
[22] Li, L. and Ma, H. (2022) Rdctrans U-Net: A Hybrid Variable Architecture for Liver CT Image Segmentation. Sensors, 22, Article 2452.
https://doi.org/10.3390/s22072452
[23] Guo, X., Wang, Z., Wu, P., Li, Y., Alsaadi, F.E. and Zeng, N. (2024) ELTS-Net: An Enhanced Liver Tumor Segmentation Network with Augmented Receptive Field and Global Contextual Information. Computers in Biology and Medicine, 169, Article ID: 107879.
https://doi.org/10.1016/j.compbiomed.2023.107879
[24] 王国刚, 李泽欣, 董志豪. 基于注意力机制和多空间金字塔池化的实时目标检测算法[J]. 计算机测量与控制, 2024, 32(2): 56-64.
[25] Song, Z., Wu, H., Chen, W. and Slowik, A. (2024) Improving Automatic Segmentation of Liver Tumor Images Using a Deep Learning Model. Heliyon, 10, e28538.
https://doi.org/10.1016/j.heliyon.2024.e28538
[26] Gao, Q. and Almekkawy, M. (2021) ASU-Net++: A Nested U-Net with Adaptive Feature Extractions for Liver Tumor Segmentation. Computers in Biology and Medicine, 136, Article ID: 104688.
https://doi.org/10.1016/j.compbiomed.2021.104688
[27] Lee, Z., Qi, S., Fan, C., Xie, Z. and Meng, J. (2022) RA V-Net: Deep Learning Network for Automated Liver Segmentation. Physics in Medicine & Biology, 67, Article ID: 125022.
https://doi.org/10.1088/1361-6560/ac7193
[28] Sun, L., Jiang, L., Wang, M., Wang, Z. and Xin, Y. (2024) A Multi-Scale Liver Tumor Segmentation Method Based on Residual and Hybrid Attention Enhanced Network with Contextual Integration. Sensors, 24, Article 5845.
https://doi.org/10.3390/s24175845
[29] Sheela, K.S., Justus, V., Asaad, R.R. and Kumar, R.L. (2025) Enhancing Liver Tumor Segmentation with UNet-Resnet: Leveraging Resnet’s Power. Technology and Health Care, 33, 1-15.
https://doi.org/10.3233/thc-230931
[30] Li, Q., Song, H., Wei, Z., Yang, F., Fan, J., Ai, D., et al. (2023) Densely Connected U-Net with Criss-Cross Attention for Automatic Liver Tumor Segmentation in CT Images. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 20, 3399-3410.
https://doi.org/10.1109/tcbb.2022.3198425
[31] Li, R., Xu, L., Xie, K., Song, J., Ma, X., Chang, L., et al. (2023) DHT-Net: Dynamic Hierarchical Transformer Network for Liver and Tumor Segmentation. IEEE Journal of Biomedical and Health Informatics, 27, 3443-3454.
https://doi.org/10.1109/jbhi.2023.3268218
[32] 魏公正. 基于改进V-Net的3D医学图像分割方法研究[D]: [硕士学位论文]. 北京: 北京化工大学, 2023.
[33] Sahli, H., Ben Slama, A. and Labidi, S. (2022) U-Net: A Valuable Encoder-Decoder Architecture for Liver Tumors Segmentation in CT Images. Journal of X-Ray Science and Technology, 30, 45-56.
https://doi.org/10.3233/xst-210993
[34] Park, S., Kim, J.H., Kim, J., Joseph, W., Lee, D. and Park, S.J. (2022) Development of a Deep Learning-Based Auto-Segmentation Algorithm for Hepatocellular Carcinoma (HCC) and Application to Predict Microvascular Invasion of HCC Using CT Texture Analysis: Preliminary Results. Acta Radiologica, 64, 907-917.
https://doi.org/10.1177/02841851221100318
[35] Vo, V.T., Yang, H.J., Lee, G.S., Kang, S.R. and Kim, S.H. (2021) Effects of Multiple Filters on Liver Tumor Segmentation from CT Images. Frontiers in Oncology, 11, Article 697178.
[36] Shao, H., Huang, X., Folkert, M.R., Wang, J. and Zhang, Y. (2021) Automatic Liver Tumor Localization Using Deep Learning‐Based Liver Boundary Motion Estimation and Biomechanical Modeling (DL‐BIO). Medical Physics, 48, 7790-7805.
https://doi.org/10.1002/mp.15275
[37] Lee, I., Tsai, Y., Lin, Y., Chen, T., Yen, C., Chiu, N., et al. (2024) A Hierarchical Fusion Strategy of Deep Learning Networks for Detection and Segmentation of Hepatocellular Carcinoma from Computed Tomography Images. Cancer Imaging, 24, Article No. 43.
https://doi.org/10.1186/s40644-024-00686-8
[38] Christ, P.F., Elshaer, M.E.A., Ettlinger, F., Tatavarty, S., Bickel, M., Bilic, P., et al. (2016) Automatic Liver and Lesion Segmentation in CT Using Cascaded Fully Convolutional Neural Networks and 3D Conditional Random Fields. In: Ourselin, S., Joskowicz, L., Sabuncu, M., Unal, G. and Wells, W., Eds., Medical Image Computing and Computer-Assisted InterventionMICCAI 2016, Springer, 415-423.
https://doi.org/10.1007/978-3-319-46723-8_48
[39] He, K., Liu, X., Shahzad, R., Reimer, R., Thiele, F., Niehoff, J., et al. (2021) Advanced Deep Learning Approach to Automatically Segment Malignant Tumors and Ablation Zone in the Liver with Contrast-Enhanced CT. Frontiers in Oncology, 11, Article 669437.
https://doi.org/10.3389/fonc.2021.669437
[40] 刘云鹏, 刘光品, 王仁芳, 等. 深度学习结合影像组学的肝脏肿瘤CT分割[J]. 中国图象图形学报, 2020, 25(10): 2128-2141.
[41] Xu, C., Hu, D., Zhang, Y. and Pang, Y. (2021) Study on the Segmentation Method of Multi-Phase CT Liver Tumor Based on Dual Channel U-Nets. Journal of Physics: Conference Series, 1828, Article ID: 012043.
https://doi.org/10.1088/1742-6596/1828/1/012043
[42] Wu, Y., Shen, H., Tan, Y. and Shi, Y. (2022) Automatic Liver Tumor Segmentation Used the Cascade Multi-Scale Attention Architecture Method Based on 3D U-Net. International Journal of Computer Assisted Radiology and Surgery, 17, 1915-1922.
https://doi.org/10.1007/s11548-022-02653-9
[43] Chen, Y., Zheng, C., Hu, F., Zhou, T., Feng, L., Xu, G., et al. (2022) Efficient Two-Step Liver and Tumour Segmentation on Abdominal CT via Deep Learning and a Conditional Random Field. Computers in Biology and Medicine, 150, Article ID: 106076.
https://doi.org/10.1016/j.compbiomed.2022.106076
[44] Vorontsov, E., Tang, A., Pal, C. and Kadoury, S. (2018) Liver Lesion Segmentation Informed by Joint Liver Segmentation. 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), Washington, 4-7 April 2018, 1332-1335.
https://doi.org/10.1109/isbi.2018.8363817
[45] Li, X., Chen, H., Qi, X., Dou, Q., Fu, C. and Heng, P. (2018) H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volumes. IEEE Transactions on Medical Imaging, 37, 2663-2674.
https://doi.org/10.1109/tmi.2018.2845918
[46] Ou, J., Jiang, L., Bai, T., Zhan, P., Liu, R. and Xiao, H. (2024) ResTransUnet: An Effective Network Combined with Transformer and U-Net for Liver Segmentation in CT Scans. Computers in Biology and Medicine, 177, Article ID: 108625.
https://doi.org/10.1016/j.compbiomed.2024.108625
[47] Khattab, M.A., Liao, I.Y., Ooi, E.H. and Chong, S.Y. (2022) Compound W-Net with Fully Accumulative Residual Connections for Liver Segmentation Using CT Images. Computational and Mathematical Methods in Medicine, 2022, Article ID: 8501828.