基于影像数据的多模态融合技术在前列腺癌诊疗中的研究现状

Research Status of Multimodal Fusion Technology Based on Imaging Data in the Diagnosis and Treatment of Prostate Cancer

摘要: 前列腺癌(PCa)是全球男性中最常见的恶性肿瘤之一，早期准确诊断和个性化治疗是降低其死亡率的重要策略。传统的单一模态诊断方法难以全面评估PCa的复杂性，而多模态数据融合(MDF)技术通过整合影像资料、临床信息、生化指标、病理数据和基因组数据等多种信息源，为PCa的诊断、分级、预后评估及治疗方案制定提供了新的思路。本文综述了基于影像数据的MDF技术在PCa诊疗中的研究现状，包括数据预处理与标准化、特征提取与表示、融合策略以及融合后数据的分析与决策。探讨了MDF在影像数据间的融合、影像与临床信息、生化指标、病理和基因数据融合中的具体应用。尽管MDF展现出巨大的应用潜力，但在数据异质性、模型可解释性和标准化方面仍面临诸多挑战。未来研究应着重开发更加高效且可解释的融合算法，推动数据标准化进程，进一步提高PCa诊疗的精准性和个性化水平，为患者提供更优质的医疗服务。

Abstract: Prostate cancer (PCa) is one of the most common malignant tumors in men worldwide. Early and accurate diagnosis, along with personalized treatment, are essential strategies for reducing its mortality rate. Traditional single-modality diagnostic methods often fall short in comprehensively assessing the complexity of PCa. Multimodal data fusion (MDF) technology, which integrates diverse information sources such as imaging data, clinical information, biochemical markers, pathology data, and genomic data, offers a novel approach for the diagnosis, grading, prognosis assessment, and treatment planning of PCa. This review summarizes the current research status of MDF technology based on imaging data in PCa diagnosis and treatment, including aspects such as data preprocessing and standardization, feature extraction and representation, fusion strategies, and post-fusion data analysis and decision-making. It explores the specific applications of MDF in integrating imaging data with clinical information, biochemical markers, pathology, and genetic data. Despite the significant potential of MDF, challenges remain in terms of data heterogeneity, model interpretability, and standardization. Future research should focus on developing more efficient and interpretable fusion algorithms, promoting data standardization, and further enhancing the precision and personalization of PCa diagnosis and treatment to provide better healthcare services for patients.

1. 引言

前列腺癌(PCa)是全球男性中最常见的恶性肿瘤之一，尤其是在西方国家。近年来，随着人口老龄化和生活方式的改变，PCa的发病率持续上升，从2014年到2019年其发病率保持每年上升3%。根据全球癌症统计数据，PCa已经成为男性癌症相关死亡的主要原因之一，特别是在高收入国家中更为普遍。据美国癌症协会预估，PCa将成为仅次于肺癌的第二大美国男性癌症死亡病因[1] [2]。

早期准确诊断和积极治疗是降低PCa死亡率的重要举措。前列腺早期筛查及诊断的传统方法包括血清前列腺特异性抗原(PSA)水平检测、直肠指检(DRE)、多参数磁共振成像(mp-MRI)检查以及经直肠超声引导的活检(TRUS)等方法[3]-[5]。然而，单一模态的数据难以全面反映PCa的复杂性，限制了对其发生、发展的准确评估。在此背景下，多模态数据融合技术(MDF)应运而生。多模态数据融合是指利用计算机将来自不同数据源的信息进行整合，如医学影像、生化指标、病理图像和临床信息等[6]。通过处理和关联来自多种模态的信息，弥补了单一模态数据的局限性，同时揭示了不同模态数据间的潜在联系，从而对疾病产生更加全面的认识和准确的评估。

多模态数据融合在PCa的诊断、分级、预后及复发评估中展现出巨大的应用潜力。基于多模态数据的机器学习和深度学习模型能够捕捉不同模态数据的互补信息，通过复杂的算法整合多源数据，预测患者的疾病进展和治疗反应，为个性化医疗提供了新工具。然而，尽管这一领域取得了显著进展，实际应用中仍面临诸多挑战，特别是数据异质性和标准化的问题，计算资源的需求和模型的可解释性也亟待进一步优化。

本综述旨在对MDF的主要技术及其在PCa诊疗中的应用现状进行简要总结，探讨其在提高诊断准确性、优化治疗方案及预测预后中的潜力，并分析当前存在的技术挑战和未来研究方向。通过对这一领域的深入探讨，我们希望为PCa的个性化医疗提供新的思路和方法，并为未来的研究和临床应用奠定基础。

2. 多模态数据的类型

多模态融合数据涵盖了多种信息源，包括视觉、听觉、文本以及数值数据等[6]。在医学领域，这些数据主要表现为影像资料、临床记录、生物标志物、病理切片和基因组数据等。每种模态提供不同层面的信息，为全面了解疾病特征提供了多角度的视野。

影像数据是最常用且关键的模态之一，涵盖了计算机断层扫描(CT)、磁共振成像(MRI)、超声(US)和正电子发射断层扫描(PET)等。这些影像技术各自提供了不同维度的信息：CT和MRI主要提供高分辨率的解剖结构细节，PET提供有关肿瘤代谢活动的功能信息，而US可以实时观察组织结构的变化。结构信息对于确定病变的解剖位置和范围至关重要，代谢信息揭示了肿瘤的生物活性和侵袭性，功能信息则用于评估器官和组织的生理状态。这些多层次的信息对于PCa的精准诊断、分期以及制定个体化治疗方案具有重要价值。

现代医学诊疗愈发依赖于多模态数据的综合分析。单一数据来源难以全面反映疾病的复杂性，而MDF能够将多种数据源的信息整合，提供更为全面和深刻的病情评估。这种融合不仅提升了诊断的准确性，也促进了治疗策略的个体化与精细化。

3. 多模态数据融合方法

3.1. 数据预处理与标准化

在多模态数据融合的过程中，数据预处理和标准化是关键的前置步骤。数据清洗与去噪处理是确保数据质量的重要环节，它涉及去除噪声和处理不完整的数据点，从而提高数据的准确性和一致性[7]。数据对齐是另一个重要任务，包括时间、空间和语义对齐[6]。时间对齐确保在不同时间点采集的数据能够在统一的时间框架下进行分析。空间对齐则涉及将来自不同模态的图像数据映射到相同的空间坐标系统中。而语义对齐要求不同模态的数据在语义层面上进行一致性匹配，以保证融合的准确性。

3.2. 特征提取与表示

特征提取与表示是多模态数据融合的核心步骤之一。针对不同模态的数据，使用适当的特征提取方法是至关重要的。例如，医学影像数据的特征通常通过卷积神经网络(CNN)提取，而基因组数据的特征则可能通过统计学方法或机器学习算法进行提取[8] [9]。在处理高维数据时，高维数据降维和特征选择有助于减少数据的复杂性，提高模型的计算效率，并避免过拟合[10]。常用的降维方法包括主成分分析(PCA)和线性判别分析(LDA)，它们可以有效地简化数据结构并保留关键信息[11]。

3.3. 融合策略

多模态数据融合的策略主要包括早期融合、晚期融合和混合融合[6]。早期融合是通过将不同模态的数据直接合并实现的，其优势在于能在模型训练初期就利用所有模态的信息，但可能会导致过拟合[12]。例如，Kuga等人在MRI与超声影像融合中的研究指出，虽然融合提高了检测前列腺癌病灶的精度，但在样本量不足时，早期融合可能会引发模型的过拟合问题[13]。晚期融合则在决策级别进行数据融合，即将不同模态的数据分别输入到独立的模型中，然后将这些模型的输出结果进行合并，这种方法虽然能减少过拟合，但可能会错过模态间的潜在关联[14]。混合融合结合了早期融合和晚期融合的特点，通过在不同层次上进行信息融合来提高模型的表现。

深度学习在多模态数据融合中的应用越来越广泛。深度学习模型可以自动学习和提取高层次特征，极大地提升了融合的效果。常见的深度学习架构包括联合架构、协同架构和编解码器架构[6]。联合架构通过将不同模态映射到共享的语义空间中，再进行联合处理，这种方法能够有效地整合不同模态的信息，但也可能面临语义丢失的问题。协同架构则侧重于在协调的子空间中寻找模态间的关联关系，通过模态间的协同来提高融合效果。编解码器架构通过将一种模态编码成另一种模态，并通过解码器进行恢复，这种方法能够在不同模态间进行有效的转换，但其决策模块较为复杂。

3.4. 融合后数据的分析与决策

融合后的数据通常用于分类和回归分析，通过机器学习和深度学习模型对数据进行建模，实现疾病的预测和诊断。决策支持系统(DSS)和个性化医疗利用融合数据帮助医生提供决策支持，为患者制定个性化的治疗方案[15]。这些系统不仅提高了疾病诊断的准确性，还能显著改善治疗效果，从而提升患者的预后。

4. 多模态数据融合在PCa中的具体应用

4.1. 影像数据间的融合

影像学在前列腺癌的诊断和监测中起着至关重要的作用，常见的成像技术包括磁共振成像(MRI)、计算机断层扫描(CT)、正电子发射断层扫描(PET)和超声成像(US)。其中，多参数磁共振成像(mp-MRI)已成为前列腺癌诊断的重要影像学工具之一。mpMRI结合PI-RADS评分系统能够有效评估前列腺病灶的危险程度，并已被广泛应用于临床决策中[16]。欧洲泌尿外科协会(EAU)–欧洲核医学协会(EANM)–欧洲放射治疗和肿瘤学会(ESTRO)–欧洲泌尿生殖放射学学会(ESUR)–国际泌尿病理学会(ISUP)–国际老年肿瘤学会(SIOG)指南(2024)建议使用mp-MRI对临床局限性前列腺癌进行筛查、诊断，以避免不必要的活检[17]。然而，由于其成像速度慢、工作空间有限以及活检设备需要良好的MRI兼容性，单独使用MRI指导前列腺活检的成本很高。CT在前列腺癌的局部诊断中作用较为有限，但是不可忽视其在评估前列腺癌远处转移中的作用[18]。而PET，尤其是结合CT或MRI的PET/CT或PET/MRI，能够提供前列腺癌的代谢和功能信息。基于前列腺特异性膜抗原(PSMA)的PET成像在检测前列腺癌复发和转移中表现出高灵敏度[19] [20]。US是前列腺癌筛查和活检中的常见工具，经直肠超声(TRUS)常用于引导活检。但由于其较低的空间分辨率和操作依赖性，往往难以准确定位和评估肿瘤，尤其在小体积病灶和深部病灶的检测中，其诊断能力受到限制[21]。这些影像数据之间的互补性使得多模态影像融合成为提高前列腺癌诊断准确性的有效途径。

MRI-TRUS融合图像引导活检结合了MRI在前列腺癌(PCa)检测中的高灵敏度和TRUS的低成本与实时成像优势，在前列腺癌的定位和检测中表现出更高的准确性[13] [22]。研究表明，在PI-RADS评分 ≥ 3的患者中，MRI-TRUS融合图像引导活检的前列腺癌检出率显著高于传统系统活检[23]。为了进一步提升活检的精度和可靠性，减少对医生经验的依赖，机器人技术被引入到这一过程中[24]。MRI-TRUS融合图像引导的前列腺活检机器人通过术前三维建模和实时路径误差补偿，不仅提高了活检的准确性和可靠性，还显著缩短了手术时间，减少了患者的痛苦和重复活检的风险[25]。凭借其高度自动化和可视化的特点，机器人辅助活检展现出更高的精度和安全性，被认为是未来替代人工活检的趋势[25] [26]。

PET/CT和PET/MRI技术的结合充分利用了各自的优势，为前列腺癌的全面评估提供了强有力的支持。PET/CT通过使用放射性示踪剂(如PSMA或FDG)灵敏地检测前列腺癌的代谢活动，有助于识别肿瘤的活跃区域，这对于早期发现和精准定位至关重要[27] [28]。与此同时，PET/MRI技术，作为一种结合了PET的分子成像和MRI的高分辨率解剖成像的新兴技术，尤其在前列腺局部肿瘤的精确定位和评估中表现卓越，为临床诊断提供了强有力的支持[27] [29]。

进一步的研究表明，PET/CT和PET/MRI的多模态融合不仅在初次诊断中提高了肿瘤的检出率，还在疾病复发监测和治疗后评估中表现卓越，它们能够检测出100%的精囊复发病例，而MRI检测率仅为82% [30] [31]。学者研究发现其在淋巴结转移的检测中更加敏感[32]，同时在骨转移的评估中也显示出更高的准确性[33]。此外，这些融合技术的应用不仅提升了诊断质量，还支持了更为精确的肿瘤分期[34]，有助于临床医生制定更加个性化的治疗方案，优化前列腺癌的治疗效果和预后管理。

PET/CT/MRI三模态结合放疗的应用成为前列腺癌治疗的新趋势[35] [36]。通过这种融合技术，放疗前的肿瘤定位更加精准，显著提高了靶区覆盖率，并减少了对周围正常组织的损伤，从而增强了放疗的效果。这一整合策略不仅在疾病的复发监测中表现优越，还在长期随访和疗效评估中提供了更为可靠的数据支持。

4.2. 影像数据与临床信息的融合

临床信息作为最简单、最容易获取的数据，在前列腺癌的筛查、诊断中扮演着重要角色。年龄是前列腺癌风险的一个显著预测因子，随着年龄的增长，尤其是65岁以上的男性，前列腺癌的发病率显著上升[2]。此外，前列腺体积的测量对于疾病评估同样重要，较大的前列腺体积通常与更高的前列腺癌风险相关联[37]。因此，临床数据能够为影像数据提供有力的补充，有助于提高前列腺癌的诊断准确性、分期精确性。

一项综述分析了亚洲人群中的前列腺癌风险预测列线图模型[38]，发现年龄、前列腺体积以及DRE是这些模型中最常使用的临床变量。这些使用了临床变量的模型在前列腺癌的检出率为28.6%~44.8%。此外，年龄这一临床指标在预测前列腺癌的包膜穿透[39]、精囊侵犯[40]以及包膜外延伸[41]方面也发挥了重要作用。

此外，影像数据和临床数据融合在为患者制定个性化治疗中提供了科学依据。一项基于机器学习的研究发现[42]，结合MRI参数与临床数据(如年龄、临床T分期等指标)的术前预测模型能够为前列腺癌淋巴结转移的患者提供更精准的治疗选择，并优化整体治疗方案，从而改善患者的总体生存率和生活质量。

4.3. 影像数据与生化指标的融合

生化指标在前列腺癌的早期筛查和疾病进展的预测中具有重要意义[43]。PSA作为前列腺癌筛查中广泛使用的蛋白质标志物，尽管在早期诊断中具有较高的敏感性，但其特异性较低，尤其是在良性前列腺增生和前列腺炎患者中，可能导致较高的假阳性率和不必要的活检[44] [45]。研究表明，将PSA水平与活检前的MRI结合使用，尤其在PSA水平为 ≤ 20 ng/mL的患者中，能够显著减少不必要的活检，优化诊断流程[46]。此外，PSA在临床预测模型中也常被用作关键的生物标志物[38] [47]。其他蛋白质标志物如前列腺癌抗原3(PCA3)和血浆早期癌症抗原(EPCA)也在研究中被广泛讨论。研究表明，影像数据与这些标志物的结合有助于早期准确诊断前列腺癌，并进行精准的预后评估[48]-[50]。

此外，前列腺癌患者常表现出酸性磷酸酶(PAP)和碱性磷酸酶(ALP)水平的异常升高，这些生化指标在前列腺癌骨转移的早期阶段起到关键作用。研究表明，结合这些生化标志物与影像数据(如MRI或骨扫描)，可以更准确地评估骨转移的风险和病变范围，从而帮助指导临床治疗策略[51]。另一项研究进一步指出，将MRI影像与患者的ALP和PAP水平进行结合分析，不仅能够提高骨转移的早期检测率，还可以通过动态监测这些指标，评估患者的治疗反应和预后情况[47]。这种融合策略尤其适用于中晚期前列腺癌患者的个性化治疗和长期预后管理，有助于优化治疗效果。

4.4. 影像数据与病理数据的融合

影像数据与病理数据的融合在前列腺癌诊疗中的应用展示了跨学科整合的重要性，通过将影像数据与病理数据结合能够提供更精准的肿瘤特征描述，帮助医生更好地评估疾病的严重程度和预后。

免疫组化分析在病理诊断中用于检测前列腺癌细胞的特异性分子标志物，如细胞增殖指标(Ki-67)、抑癌基因(p53)等。通过影像数据与这些分子标志物的结合，可以更好地预测前列腺癌的侵袭性及预后评估。一项研究表明，Ki-67表达水平与MRI影像特征中的肿瘤扩展模式密切相关，帮助更好地区分高风险前列腺癌[52]。另一项研究通过结合MRI影像组学和Ki-67标志物，显著提升了对前列腺癌转移风险的预测[53]。这些研究表明，Ki-67与影像数据的融合为前列腺癌的个性化诊断和治疗提供了重要参考依据。

病理组学分析通过组织切片的显微观察，了解病理切片形态学特征，从而评估癌症的组织结构及分子特征。将影像组学与病理组学进行融合有助于精确评估肿瘤的体积、边界、浸润深度等特征。这种融合策略在前列腺癌骨转移以及生化复发方面展现了可观的预测能力[54]-[58]。例如，一项基于多模态模型的研究表明，通过将MRI影像与全切片的病理图像结合，能够更好地预测前列腺癌术后生化复发，并提供更个性化的治疗建议[58]。

4.5. 影像数据与基因数据的融合

影像基因组学是近年来在癌症研究领域快速发展的一个分支。影像数据与基因数据的结合，不仅能揭示肿瘤的分子特征，还能帮助预测肿瘤的生物行为和临床结局。通过融合影像与基因组信息，能够实现更精确的个性化医疗。

前列腺癌的发生和进展与多种基因突变相关，如BRCA1/2等。研究表明，通过将MRI图像与基因突变数据结合，能够更加准确地预测患者的临床结局。一项研究通过融合MRI图像与BRCA2突变数据，成功预测了前列腺癌患者的生存率和放疗反应[59]。此外，影像数据与基因组数据的结合还有助于识别前列腺癌的分子亚型。例如，结合MRI影像特征与PTEN基因缺失数据，可以更精确地识别侵袭性较强的前列腺癌亚型[60]。

基因表达谱分析通过检测RNA水平揭示肿瘤的转录活动，反映肿瘤细胞的生物学行为。通过将MRI影像与特定基因的表达水平结合，可以更好地预测肿瘤的复发风险和治疗反应[61]。研究显示，融合基因表达数据与影像特征，不仅提高了对肿瘤侵袭性的预测能力，还能够指导个性化治疗方案的选择[62]。

基因组图谱是通过大规模基因组测序获得的前列腺癌基因突变信息。影像数据与基因组图谱的结合，为前列腺癌的精准治疗提供了重要参考。研究者通过将MRI影像与全基因组测序数据结合，识别出高风险前列腺癌患者群体，并预测其对特定靶向治疗的敏感性[63]。

5. 总结

5.1. 研究现状

目前，多模态数据融合技术在前列腺癌诊疗中已展现出广泛的应用前景。通过结合影像数据与临床信息、生化指标、病理数据和基因数据，临床医生能够更加精准地识别前列腺癌的早期迹象，实现更精确的活检和肿瘤定位[13]。这种多维数据的综合利用提高了癌症诊断的敏感性和特异性，尤其在个性化治疗方面，融合技术为患者的分级管理、治疗方案优化和预后评估提供了坚实的科学依据[28] [58] [60]。这种基于多模态数据的精准医学方法能够帮助医生针对不同分子亚型的患者实施更加个性化的治疗方案，从而提升整体治疗效果，减少不必要的干预和并发症。

5.2. 局限与挑战

尽管多模态数据融合技术在前列腺癌诊疗中展现了巨大的潜力，但其应用仍面临着诸多挑战和局限性。首先，不同数据模态的获取和处理具有显著的技术难题，尤其是在数据格式的异构性和跨平台的标准化问题上[6]。影像数据、临床数据、基因组数据等的来源各异，如何在同一分析框架内有效整合并确保数据一致性，依然是一个亟待解决的技术瓶颈。其次，随着融合模型的复杂性不断增加，模型的可解释性和可重复性成为关键挑战[64] [65]。这种复杂性不仅增加了临床医生理解和信任这些模型的难度，也对模型的广泛应用提出了更高的要求。此外，多模态数据的融合往往依赖大规模数据集，而这些数据的获取和处理成本较高，这在一定程度上限制了技术在临床中的普及与推广[64] [66]。特别是在资源有限的医疗机构中，数据的共享与标准化实施仍存在较大的障碍。因此，在未来，进一步完善数据获取的标准化流程，提升模型的可解释性和临床适用性，仍然是推动多模态融合技术广泛应用的关键方向[65]。

5.3. 未来研究方向

随着科学技术的飞速发展和人工智能(AI)算法的不断进步，多模态数据融合技术在前列腺癌临床应用中的前景日益广阔。未来的研究将重点放在开发更加高效且具备高度可解释性的融合算法上，从而增强模型的透明度和临床医生的信任度。这不仅有助于减少临床医生在使用这些复杂模型时的困惑，还能够提高其在临床决策中的可靠性。例如，基于图神经网络(GNNs)和转换器(Transformers)的深度学习技术已经展示出显著潜力，能够更有效地整合不同模态的数据，提供更加透明且易于解释的结果[55]。

与此同时，数据的标准化和一致性仍然是多模态融合面临的一个突出挑战。由于不同模态的数据采集方式各不相同，未来的研究需重点推动统一的数据标准，以确保来自不同来源的数据能够在同一框架内无缝对接。通过建立标准化的数据采集、存储和处理流程，不仅可以提升数据的可靠性，还能够显著提高融合算法的准确性和泛化能力。

此外，随着机器学习和深度学习技术的进一步成熟，影像数据、临床信息、生化指标、基因数据以及病理数据的多维融合，可以帮助临床医生在诊断过程中综合考虑患者的多方面信息，做出更为精准的医疗决策，提供个性化的治疗方案，进而显著提高患者的生活质量和生存率。

总而言之，多模态数据融合技术的未来发展不仅依赖于算法的持续优化和提升，还需要在数据标准化的推进和个性化医疗的应用上不断深入。

NOTES

^*通讯作者。