1. 引言
乳腺癌作为全球女性中最常见的恶性肿瘤之一，也是导致女性癌症相关死亡的主要原因之一。2024年2月，世界卫生组织下属的国际癌症研究机构(International Agency for Research on Cancer, IARC)发布了最新的全球癌症统计报告——GLOBOCAN 2022，提供了2022年全球癌症负担的最新数据及分析。报告特别指出，乳腺癌对全球女性健康的影响尤为显著，占全球女性新诊断癌症病例的23.8% (如图1所示)，以及癌症死亡病例的15.4% [1]。此外，乳腺癌在全球范围内的发病率呈现持续增长的趋势，尤其在经济快速发展的地区，如东亚、东南亚和部分中东国家，乳腺癌的发病率和死亡率增长更为显著。这与生活方式的改变和筛查率的提高密切相关。早期筛查和准确诊断对于降低乳腺癌死亡率具有重要意义。
医学图像分割作为乳腺癌诊断的重要环节，能够帮助临床医生从乳腺影像中精确提取病灶区域，并为进一步的病理分析和治疗方案提供精准的量化依据。随着深度学习的快速发展，基于卷积神经网络(CNN)的医学图像分割技术近年来得到了广泛关注和应用，尤其是以U-Net为代表的网络结构，在乳腺肿瘤影像分割任务中展现了强大的性能优势[2]。U-Net的编码–解码结构能够有效提取多尺度特征，并结合跳跃连接机制在保持图像细节的同时提升分割精度。这种设计使其特别适合处理乳腺影像中边界模糊、对比度低等复杂特性，显著提高了模型对病灶区域的识别能力。与传统的分割方法(如阈值分割、区域生长和边缘检测)相比，U-Net不仅具备更高的准确性和鲁棒性，还能够在较小数据集上进行有效训练，解决了医学影像数据标注成本高的问题[3]。基于U-Net的改进模型进一步优化了网络性能，如引入残差模块、多尺度特征融合、注意力机制以及Transformer等创新技术，使得乳腺肿瘤影像的分割精度和计算效率得到双重提升。
在精准医疗的背景下，乳腺肿瘤的早期检测和准确诊断是提高患者生存率的关键环节[4]。基于U-Net的分割技术不仅为临床诊断提供了高质量的病灶区域分割结果，还为乳腺癌的个性化治疗方案提供了可靠的数据支持。未来，随着多模态影像融合、迁移学习和轻量化网络的进一步发展，这类技术将在乳腺
Figure 1. Number of newly diagnosed cancer cases among women worldwide in 2022
图1. 2022年全球女性新诊断癌症病例数
肿瘤影像分析中扮演着更加重要的角色，为精准医疗的发展提供更强有力的技术支撑。
本文基于乳腺肿瘤影像分割领域的最新研究与U型卷积网络结构改进的相关文献，首先阐述了目前用于乳腺图像分割的主要公开数据集及其模型评价标准。随后，从多个改进模型详细分析了U型网络的研究进展，列举了从多个方面优化的新型U型网络在乳腺肿瘤影像分割中的应用成果。以U-Net网络改进机制为切入点，按照不同改进模型进行讨论。通过对这些改进模型的分析以及在乳腺肿瘤影像上的应用情况，为后续研究者提供了改进的思路。同时，对当前乳腺肿瘤影像分割领域基于U-Net的主要问题进行了进一步总结，旨在启发研究者在深度学习和乳腺肿瘤影像分割领域的进一步探索，并为未来网络结构的设计与优化提供参考和借鉴。
2. 乳腺肿瘤影像分割相关数据集
高质量的数据集是乳腺医学图像分割研究的基础，其对于模型的有效训练和性能评估具有关键意义。以下是几种在该领域中被广泛认可和广泛使用的重要数据集，表1简要汇总了数据集部分信息。
2.1. INbreast数据集
由葡萄牙波尔图乳腺中心提供的INbreast数据集，包含了约115例病例的410张数字乳腺X射线摄影图像，这些图像均附有详尽的病变位置和类型标注。INbreast数据集因其全面的标注信息，成为乳腺图像分割、检测和分类任务的理想数据集。该数据集在乳腺医学图像分析的研究中得到了广泛应用，包括乳腺癌检测、病变分割、特征提取等多个领域。
2.2. DDSM数据集
DDSM数据集包含了2620个病例，共计10480张影像资料。每张图像都经过了详尽的标注，包括病变的定位、性质以及其他乳腺组织特征的描述。图像被分类为正常、良性和恶性，为研究者提供了丰富的素材进行乳腺病变检测和分类算法研究。DDSM数据集被广泛应用于乳腺医学图像处理、计算机辅助诊断和深度学习算法的评估，成为乳腺疾病研究的重要资源。该数据集以其相对大规模和多样化的特点，成为乳腺医学图像数据库中的宝贵资产。
2.3. BUSI数据集
由Baheya医院、埃及开罗大学计算机与人工智能学院、埃及开罗大学国家癌症研究所共同创建的BUSI数据集，包含了780个来自不同患者的乳腺超声影像，并附有详细的肿瘤标注，明确标明了良性和恶性肿瘤的位置及边界。BUSI数据集在乳腺肿瘤的自动化检测、分割和特征提取方面尤为重要。该数据集为乳腺超声影像的深度学习模型提供了高质量的训练数据，具有重要的研究价值，并在乳腺癌检测和病变分割的研究中得到了广泛应用。
2.4. UDIAT数据集
UDIAT数据集是一个结合了乳腺超声和MRI图像的多模态乳腺肿瘤分割数据集。该数据集中的图像标注了肿瘤的位置、大小和类型，涵盖了来自不同患者和多种乳腺病变的影像数据，使研究者能够评估多模态影像在肿瘤分割中的效果。UDIAT数据集为乳腺肿瘤的多模态影像分析提供了宝贵的资源，尤其在不同成像模式下如何融合信息、提高分割精度和鲁棒性方面具有重要意义。
Table 1. Information of breast tumor imaging dataset
表1. 乳腺肿瘤影像数据集信息表
数据集
名称 |
提供机构 |
病例数量(例) |
图像数量(张) |
图像类型 |
标注内容 |
INbreast |
葡萄牙波尔图乳腺中心 |
115 |
410 |
数字乳腺X射线摄影图像 |
病变位置和类型 |
DDSM |
美国南佛罗里达大学 |
2620 |
10,480 |
乳腺钼靶影像 |
病变定位、性质及其他乳腺组织特征 |
BUSI |
Baheya医院、埃及开罗大学计算机与人工智能学院、埃及开罗大学国家癌症研究所 |
780 |
830 |
乳腺超声影像 |
肿瘤位置、性质和边界 |
UDIAT |
西班牙UDIAT医学影像诊断中心 |
163 |
163 |
乳腺超声和MRI图像 |
肿瘤位置、大小和类型 |
3. 模型性能评价指标
在乳腺肿瘤影像分割实验中，常用的性能评价指标对于衡量模型的准确性和可靠性至关重要。以下是几种主要的评价指标，以及它们的简要说明和计算公式。
3.1. Dice系数(Dice Similarity Coefficient, DSC)
Dice系数是衡量分割结果与真实标注之间重叠程度的指标，其值范围为[0, 1]，值越高表示分割结果越精确。
3.2. IoU (Intersection over Union)
IoU衡量分割结果区域和真实标注区域的交集占两者并集的比例，适合评估全局分割性能。
3.3. 准确率(Accuracy)
准确率(Accuracy)指的是分割模型预测正确的像素占总像素的比例，反映了模型整体预测的准确性。
3.4. 特异性(Specificity)
特异性(Specificity)代表模型正确检测为非病灶区域的能力，适用于评估误检率。
3.5. 精确率(Precision)
精确率(Precision)用于判断预测为病灶的像素中，实际为病灶的比例。
3.6. F1-Score
F1-Score是Precision和Sensitivity的调和平均，用于平衡二者的影响。它综合考虑了模型的准确性和召回能力，特别适合评估不平衡数据集。
3.7. mPA (Mean Pixel Accuracy)
mPA衡量每个类别正确分割的像素比例的平均值，为模型性能提供了全面的评估。
4. U型网络的基本架构与改进模型
U-Net架构最初由Olaf Ronneberger、Philipp Fischer、Thomas Brox在2015年提出 ，并于论文《U-Net: Convolutional Networks for Biomedical Image Segmentation》中详细阐述。该架构是2014年Evan Shelhamer、Jonathan Long和Trevor Darrell提出的全卷积网络(FCN)的进一步发展。U-Net的核心思想在于通过一系列连续的层扩展传统收缩网络结构，其中池化操作被替代为上采样操作，有效提升了输出图像的分辨率。随后，连续的卷积层利用这些信息生成精确的分割结果。U-Net的一个关键创新在于在上采样部分加入大量特征通道，使得网络能够将上下文信息传递到更高分辨率的层次，整个网络结构呈现出对称的“U”形，如图2所示。U-Net仅使用卷积层，避免了全连接层的使用，从而提高了计算效率并减少了内存需求。在处理大尺寸图像时，网络通过镜像翻转输入图像来填补边界区域，确保分割精度，这种策略在避免内存限制时尤为重要。
Figure 2. U-Net architecture
图2. U-Net架构图
最初的U-Net因其对称的编码器–解码器结构和跳跃连接机制在医学图像分割中取得了显著成功，在DDSM数据集上实现了约70%~80%的Dice指数[5]，为后续研究奠定了基础。然而，随着深度学习技术和网络架构的进步，多个改进版本应运而生。以下是以时间排序对U-Net网络架构的主要改进，以及这些改进如何更好地解决乳腺肿瘤影像分割问题的研究进展。表2简要汇总了U-Net及其变体的主要性能评价。
Table 2. Main performance evaluation of U-Net and its variants
表2. U-Net及其变体的主要性能评价表
模型 |
提出时间 |
核心创新 |
应用数据集 |
主要性能(DSC/IoU) |
Residual U-Net |
2018 |
引入残差模块，缓解梯度消失 |
Rider Breast MRI |
DSC: 85.32% |
U-Net++ |
2018 |
嵌套跳跃连接，增强多尺度特征融合 |
CBIS-DDSM |
DSC: 85% |
IoU: 75% |
Attention U-Net |
2018 |
采用注意力机制，提高对关键区域的关注 |
BUSI |
DSC: 87% |
IoU: 76% |
TransUNet |
2021 |
结合Transformer，增强全局特征提取 |
INbreast |
DSC: 88% |
IoU: 76% |
DAU-Net |
2023 |
结合位置卷积注意力，提高局部特征提取 |
BUSI, UDIAT |
DSC: 85.28% |
3DSC2-UNet |
2024 |
3D卷积 + 胶囊网络，提升三维影像分割能力 |
乳腺MRI |
DSC: 89% |
4.1. Residual U-Net
Md Zahangir Alom等人提出了Residual U-Net (ResU-Net)，这是通过引入残差模块来解决深度网络中的梯度消失问题的U-Net改进方法[6]，从而提升深层特征的学习能力。这一创新主要体现在通过残差学习，网络能够保持信息流动，避免传统深度网络中因层数增加而导致的训练困难。
Ishu Anand等人将模型引入Rider Breast MRI数据集进行评估，结果显示，ResU-Net在肿瘤分割任务中的表现优于传统U-Net和其他主流模型。实验表明，ResU-Net的DSC达到85.32%，验证精度为73.22% [7]。此外，该模型在其他性能指标上同样展现了优势，例如IoU值高于传统U-Net模型，尤其在处理形态复杂或边界模糊的肿瘤区域时表现出更高的鲁棒性[8]。除此之外，ResU-Net的训练过程更加稳定，收敛速度相较于未使用残差模块的网络更快。在分割复杂形状病灶和细微边界区域时，模型分割结果的一致性和准确性得到了显著改善。
4.2. U-Net++
Zhou等人在2018年提出了U-Net++，这是一种基于嵌套结构和密集跳跃连接的改进U-Net网络架构，旨在提高多尺度特征的融合能力，特别适用于乳腺肿瘤分割任务中的复杂情况。与传统的U-Net模型相比，U-Net++通过优化跳跃连接和引入嵌套结构，增强了网络在多尺度特征处理方面的能力，从而提高了对小目标和复杂形状病灶的分割精度。这种结构通过对不同层次的特征进行细粒度的融合，使得网络能够更好地捕捉肿瘤区域的微小变化，并有效改善了模型在复杂医学图像中的鲁棒性。
Xie Yuanzhi等人将该方法应用在CBIS-DDSM数据集上，其表现优于传统U-Net和其他深度学习方法。具体来说，U-Net++模型的Dice系数提升至约85%，表明该模型在准确捕捉肿瘤区域方面表现出色。同时，其IoU指数也达到了75%，进一步验证了该方法在分割精度、细节恢复及肿块边界的清晰度上具有显著优势[9]。通过这些创新的融合，该方法为乳腺癌的早期检测提供了有力的支持，成为了解决乳腺肿瘤分割任务中的复杂挑战的重要工具，尤其是在高变异性和复杂形态的肿块图像处理上，展示了较强的鲁棒性和精准度。
4.3. Attention U-Net
Oktay等人在2018年提出了Attention U-Net，这是一种在U-Net架构基础上改进的分割网络，旨在通过引入通道和空间注意力机制，提高模型对关键区域的关注能力[10]。与传统U-Net不同，Attention U-Net利用注意力机制让网络能够自动聚焦于乳腺肿瘤等重要区域，显著减少了背景区域的干扰，从而提升了分割的准确性和鲁棒性。这一创新尤其适用于乳腺超声影像中背景复杂、对比度较低的场景，有效解决了传统方法对小目标和低质量图像处理能力的不足。
使用Attention U-Net模型来提高乳腺癌超声图像中的肿瘤分割性能由Sara LAGHMAT团队使用BUSI数据集对该模型进行了评估。实验显示，Attention U-Net在乳腺肿瘤分割中的表现优于标准U-Net，分割性能得到了显著提升。具体来说，模型的IoU指数达到约76%，而Dice系数提升至87%以上[11]，展示了在乳腺医学图像分割领域的卓越表现。这表明，Attention U-Net能够有效提高乳腺肿瘤分割的准确性，尤其是在处理复杂、形态多变的肿瘤时，体现出在乳腺癌的早期诊断和精准治疗中具有重要意义。通过提升分割精度，该模型为医学图像处理领域提供了有力的技术支持，并推动了乳腺癌诊断的智能化发展。
4.4. TransUNet
在2021年，Chen等人提出了TransUNet，这是将Transformer编码器与传统U-Net架构相结合的创新模型。通过引入Transformer的自注意力机制，该模型增强了网络对全局上下文信息的建模能力，从而显著提升了分割性能，尤其是在处理复杂和多样的乳腺肿瘤形状与大小时表现更优[12]。
结合Transformer的自注意力机制和U-Net的结构优势，旨在处理乳腺超声图像中的模糊边界和复杂肿瘤形态，Zhanlin Ji团队研究提出了BGRD-TransUNet模型并在INbreast数据集上的实验进行了详细测试。TransUNet模型在INbreast数据集上的Dice系数达到了88%，相比传统的U-Net方法，表现有显著提升。模型的IoU指数达到了约76%，说明在肿瘤区域的预测准确性和边界精度上也有较好表现。综合来看，Transformer的自注意力机制有助于模型更好地捕捉图像中长距离的依赖关系，从而提升了分割精度。这项实验展示了结合Transformer的TransUNet在医学图像分割中的潜力，为乳腺癌的早期诊断和精准治疗提供了可靠的技术支持，同时推动了乳腺肿瘤分割技术的发展。
4.5. DAU-Net
Narinder Singh Punn等人在2023年提出了DAU-Net，这是一种结合了位置卷积注意力模块(PCBAM)和窗口注意力模块(SWA)的改进模型[13]。该方法通过全局和局部注意力机制的协同作用，显著增强了网络对乳腺超声图像中重要特征的捕捉能力，有效改善了肿瘤区域分割的精度。
研究团队使用BUSI和UDIAT数据集对DAU-Net进行评估，结果表明其在乳腺超声图像分割任务中具有卓越的表现。在BUSI数据集上，模型的Dice系数达到85.28%，IoU为74.34%；在UDIAT数据集上，Dice系数提升至87.28%，IoU达到77.46%。这些结果显示DAU-Net在乳腺肿瘤分割任务中提供了强大的工具，为临床诊断提供了有力的技术支持。
4.6. Hybrid RCA-IUnet
Hybrid RCA-IUnet (Residual Cross-Spatial Attention Guided Inception U-Net)模型由Narinder Singh Punn和Sonali Agarwal提出，这是一种专注于乳腺超声图像分割的改进模型。该模型引入了残差跨空间注意力机制、深度可分离卷积以及混合池化(最大池化和频谱池化)层，旨在提高对不同大小和形状肿瘤区域的分割性能。RCA-IUnet在减少假阳性和假阴性方面表现出色，有效提升了分割的精确性和鲁棒性。
实验结果表明，RCA-IUnet在两个公开数据集(BUSIS和BUSI)上的性能优于其他主流分割模型，例如U-Net、U-Net++和Attention U-Net [14]。这些改进有效减少了模型参数，增强了对目标特征的关注，从而在肿瘤分割任务中实现了更高的精度和更好的边界识别能力，证明了其在复杂的乳腺影像分割任务中的卓越表现。
4.7. R2U-Net
Jain Global Campus团队于2023年提出了Recurrent Residual U-Net，这是一种结合残差模块和循环单元的乳腺医学图像分割模型，专门针对乳腺动态影像(如时间序列数据)进行优化设计。通过引入残差模块，该模型有效增强了对深层特征的学习能力，而循环单元的加入进一步强化了网络对时间序列信息的建模能力，使其能够更精准地分割乳腺肿瘤区域。在乳腺超声图像上的实验结果显示，该模型的分割性能十分卓越，能够更好地捕获乳腺肿瘤的边界和细节特征，同时有效抑制噪声干扰。
此模型在BUSI数据集上的实验达到了97.4%的准确率，并且AUC值高达97.35% [15]。这些结果表明，该模型在识别肿瘤区域时非常准确，以及对非肿瘤区域的正确识别能力很强，在乳腺肿瘤分割任务中具有强大的适应性和应用潜力，为乳腺影像的动态分析提供了可靠的技术支持。
4.8. 3DSC2-UNet3D
单一成像模式的研究因其诊断精度和可靠性相较于多模态系统较低，在临床中的应用效果受到限制。因此，三3DSC2-UNet是一种创新的3D Skipped Convolution Capsule U-Net，专为乳腺肿瘤分割任务而设计，特别是在多模态数据的场景下表现卓越。这一模型通过引入3D卷积、跳跃连接(Skipped Connection)以及Capsule网络的机制，进一步提升了分割任务中对细粒度特征的捕捉能力，显著改善了肿瘤的检测和分割精度。同时结合乳腺X光片和超声影像这两种成像模式。为了实现这两种模态的融合，3DSC2-UNet引入了动态融合网络(Dynamic Fusion Net)，分割过程在3DSC2-UNet框架中进行。
在乳腺数据集上的实验中，该模型的整体准确率达到了99.97%，Dice相似系数为0.89。在超声影像数据集上的实验中，模型的准确率为99.65%，DSC为0.88 [16]。研究结果表明，3DSC2-UNet表现出色，通过结合乳腺摄影和超声成像数据，展示了卓越的分割性能。该模型有望减少不必要的活检操作，从而提高其在临床应用中的潜力。
这些基于U-Net的改进模型结合了残差模块、注意力机制和多尺度特征融合等技术，在乳腺医学图像分割中表现出显著性能提升。其研究为乳腺癌早期诊断和治疗提供了重要技术支持，同时推动了深度学习在医学影像分割领域的发展。
5. 当前存在的问题与未来展望
尽管U-Net及其改进版本在医疗图像分割领域已成为主流方法，并且在细胞级别分割任务中取得了卓越成效，但在实际乳腺肿瘤影像处理中，这些模型仍面临众多挑战。
现有模型高度依赖于特定数据集，泛化能力较弱，难以适应多中心数据和跨模态影像的分割任务。并且，现有的公开数据集虽由领域专家进行标注，但由于乳腺疾病的多样性和复杂性，不同专家对某些特殊病变区域的标注存在较大差异。数据量的不足一直是深度学习在医疗图像应用中的难点。深度学习模型通常需要大量数据进行训练，但现有数据集往往无法满足大多数模型的需求，导致模型精度较低，分割效果较差。传统U-Net由于依赖CNN结构，其感受野有限，难以捕捉全局特征，尤其在乳腺MRI影像中，面对复杂的组织结构和边界模糊的病灶时，容易导致分割不准确。其跳跃连接机制可能引入冗余信息，影响模型的鲁棒性，而对于小目标病灶的识别能力也较为不足。随着网络深度的增加，在Attention U-Net和TransUNet等，计算复杂度显著提高，限制了其在临床实践中的实时应用。此外，深度学习模型的不可解释性使得医生难以理解模型的工作原理，尤其是在判定病变位置及其准确性等方面，限制了其在临床试验中的应用[17]。
为克服这些局限性，未来研究可从多个方向进行改进。首先，可以结合Transformer结构，如Swin Transformer或Vision Transformer (ViT)，增强U-Net处理长程依赖信息的能力，以更好地解析乳腺影像的全局特征。其次，可优化跳跃连接，通过注意力机制或密集连接方式减少冗余信息，提高小目标病灶的识别能力。此外，多模态数据融合是提升泛化性的关键方向，可结合超声、MRI、X光等多源影像，提高肿瘤区域的识别精度。同时，为了提升计算效率和临床可部署性，可采用知识蒸馏、模型剪枝、量化等轻量化策略，使得U-Net变体能够在低算力设备上高效运行。以及联邦学习等隐私保护技术的引入，可实现多中心协同训练，提高模型泛化能力的同时，确保医疗数据的安全性。
除以上重点外，还有在乳腺图像分割领域关键的普遍性认可需提高的探索方向，如图3所示。
乳腺图像分割需要提高数据集的规模和标注质量。未来需要通过国际合作推动高质量、标准化的乳腺医学图像数据集的构建。统一的数据标准不仅能帮助提升模型的训练效果，还能确保不同模型和方法之间的可比性和一致性。尽管深度学习在乳腺影像分割任务中取得了显著成绩，但其“黑箱”特性仍然限制了其在临床中的广泛应用[18]。因此，迫切需要制定统一标准、高精度和高认可度的乳腺数据集。以及，未来的研究需要注重提升模型的可解释性，即开发能够帮助医生理解模型决策过程的技术，使其能明确了解模型是如何判断病变位置、处理异常病例以及如何面对新类型的影像数据。目前的乳腺医学图像分割模型通常依赖单一模态(如乳腺超声、MRI或CT图像)，而多模态数据融合是提升分割精度和鲁棒性的关键。结合不同成像模式的信息可以更全面地了解病变区域的形态、结构和组织学特征，从而提升诊断的准确性和可靠性。因此，未来的研究需要更加注重多模态网络的构建[19]，如何有效地融合来自不同模态的图像特征是一个值得深入探索的方向。
Figure 3. Exploration prospects of breast tumor imaging research
图3. 乳腺肿瘤影像研究探索展望
未来，随着人工智能与医学影像技术的进一步融合，U-Net及其变体将在乳腺癌早期筛查、精准诊断和临床应用方面发挥更加重要的作用。通过不断优化网络架构、提升泛化能力、增强可解释性并结合多模态信息，U-Net改进模型有望在乳腺医学图像分割领域取得更广泛的应用，并推动乳腺癌诊疗技术的发展。
6. 总结
本文综述了U-Net及其多种改进模型，深入介绍了其在乳腺肿瘤影像领域的实际应用状况及其未来发展趋势。作为医疗图像处理领域的重要研究方向之一，乳腺肿瘤影像分割的研究备受关注。U-Net模型的提出，为医学图像分割问题的解决做出了杰出的贡献。U-Net的独特结构，使得深度学习与医疗的结合变得更加切实可行。然而，随着病理图像等其他类型数据集的规模逐渐扩大，传统的U-Net网络在不同医疗图像上的分割效果却并未达到预期。尽管研究者们对U-Net的结构进行了持续的改进，使得分割效率不断提升，但鉴于乳腺疾病组织形态的多样性、癌症区域的不确定性，以及公开数据集的稀缺性等问题，深度学习卷积网络在临床应用中的实际推广仍面临一定的挑战。在针对上述问题提出新的完善方法后，乳腺医学图像的分割研究将得以更加深入地开展和探索。
总之，乳腺医学图像分割领域的未来将集中在数据集标准化、模型可解释性、多模态融合和泛化能力等方面的研究。这些研究将推动深度学习技术的临床应用，进一步改善乳腺癌的早期检测和治疗效果。