受激拉曼散射和CycleGAN结合的胰腺穿刺组织虚拟染色仿真

Stimulated Raman Scattering and CycleGAN-Based Virtual Staining Simulation of Pancreatic Puncture Tissue

摘要: 传统的胰腺病理诊断依赖于福尔马林固定石蜡包埋(FFPE)染色技术，尽管其具有较高的诊断价值，但过程繁琐且对组织样本有一定的损伤。为了克服这一局限，本研究提出了一种基于受激拉曼散射(SRS)显微镜和CycleGAN模型的虚拟染色方法，用于超声内镜下细针穿刺活检(EUS-FNA)组织的福尔马林固定石蜡包埋染色仿真。通过利用SRS成像技术获取胰腺组织的高分辨率细胞图像，并应用CycleGAN模型进行弱监督学习。实验结果表明，虚拟染色图像在组织结构和病理特征上与传统FFPE染色图像高度相似，且保持了较高的细节信息，验证了该方法在胰腺组织快速诊断中的潜力。与传统染色方法相比，该技术具有无创、高效、节省时间和成本的优势。此研究为基于深度学习的虚拟染色方法在胰腺病理诊断中的应用提供了新的思路，也对其它生物组织的类似研究具有重要价值。

Abstract: Traditional pancreatic pathological diagnosis relies on formalin-fixed paraffin-embedded (FFPE) staining techniques, which, despite their high diagnostic value, are cumbersome and cause some damage to tissue samples. To overcome these limitations, this study proposes a virtual staining method based on stimulated Raman scattering (SRS) microscopy and CycleGAN models for simulating FFPE staining of endoscopic ultrasound-guided fine needle aspiration (EUS-FNA) tissue samples. By utilizing SRS imaging to acquire high-resolution cellular images of pancreatic tissue, and applying CycleGAN models for Weakly supervised learning, we successfully generate virtual staining images that closely resemble traditional FFPE-stained images. Experimental results show that the virtual staining images are highly similar to the FFPE images in terms of tissue structure and pathological features, while preserving fine detail. This validates the potential of this method for rapid pancreatic tissue diagnosis. Compared to traditional staining methods, this technology offers the advantages of being non-invasive, efficient, and cost- and time-saving. This study provides a new approach for the application of deep learning-based virtual staining in pancreatic pathological diagnosis, and holds significant value for similar research on other biological tissues.

1. 引言

为了提高胰腺疾病的诊断准确性，临床上常采用超声内镜引导下细针穿刺活检(EUS-FNA)技术获取组织样本[1]。然而，由于胰腺位于腹膜后，且邻近重要血管和器官，穿刺过程具有一定的风险和挑战。为了解决这一问题，快速现场评估(ROSE)方法应运而生。ROSE技术通过对细针穿刺的即时细胞学样本进行快速评估，能够在穿刺过程中实时提供病理学指导，帮助医生迅速判断样本的可用性和病变性质，显著提高诊断效率[2]。然而，ROSE技术同样依赖传统的组织学染色方法，如冰冻切片染色，虽然这些方法具有较高的诊断准确性，但过程繁琐且对本就稀缺的病理医生提出更多的需求。近年来，受激拉曼散射(SRS)显微镜作为一种无标记即时成像技术，在生命科学领域得到了极大的发展。SRS技术能够在细胞水平实时获取组织中的脂质、蛋白质分布信息，无需染色过程，且能够在不损伤组织的情况下进行高分辨率成像[3]。在生物医学领域，SRS成像在肿瘤无标记病理成像[4]、脂质定量分析[5]和小分子药物传递方面展现出独特的应用[6]。

然而，与苏木精–伊红(H&E)基于核酸/蛋白质的染色机制不同，SRS显微镜主要依赖脂质/蛋白质的对比度来区分细胞核、细胞质和细胞外基质，这使得SRS图像难以被病理学家直接解读并与标准的H&E图像进行比较。因此，如何将SRS图像转换为与H&E染色相似的染色图像，是当前技术发展的一个关键问题。

为了解决这一问题，本研究提出了一种基于SRS成像技术与CycleGAN模型的虚拟染色方法。通过使用SRS获取胰腺组织的高分辨率分子图像，并利用CycleGAN进行图像风格迁移，我们可以将SRS图像转化为与传统H&E染色图像相似的虚拟染色图像。这一方法不仅能够保留SRS成像的分子信息，还能提供类似于传统染色的组织结构特征，未来有望在胰腺癌及其他消化系统肿瘤的早期诊断中发挥重要作用。

2. 受激拉曼散射成像显微镜

2.1. 受激拉曼散射原理

拉曼散射自1928年被发现以来，已经成为研究物质分子结构、和、化学反应和材料性质的有力工具。得益于激光器的发明，谢晓亮课题组在2008年独立研制出SRS成像显微镜[7]。SRS原理类似于受激发射(图1)。当泵浦光子和斯托克斯光子与分子发生相互作用，并满足振动共振条件时，原本的自发拉曼散射过程转换变为受激散射过程。在此过程中，泵浦光子被湮灭，产生等量的斯托克斯光子。在这个过程中，泵浦光所携带的能量转移到分子上，使分子进入激发态，导致泵浦光的强度下降(受激拉曼损失，SRL)，而斯托克斯光强度上升(受激拉曼增益，SRG)，表示为ΔI_P和ΔI_S，这一过程可用以下公式表示：

$\Delta I_P\propto -N{\sigma }_{Raman}{I}_P{I}_S$ (1)

$\Delta I_S\propto N{\sigma }_{Raman}{I}_P{I}_S$ (2)

式中，N代表分子浓度，_Raman代表拉曼散射截面，I_P和I_S分别代表泵浦光和斯托克斯光的光强度。值得注意的是，当光子与分子振动的共振失配时，能量转移会停止，因此，SRS信号仅在与分子振动共振时产生，这有效地避免了非共振背景的干扰。因此，SRS成像能够提供更高的信噪比和更清晰的图像，使其在无标记成像和定量分析中具有独特优势。

Figure 1. SRS energy diagram and energy transfer process

图1. SRS能量图与能量转移过程

2.2. 受激拉曼显微镜系统搭建

我们的SRS显微系统(图2)，采用双输出飞秒光学参量振荡器(Insight DS+; Newport)作为激光源，该系统提供一束固定波长1040 nm (~200 fs)的斯托克光束和一个调谐范围为680~1300 nm (~150 fs)的泵浦光束。两束光线通过SF57玻璃棒线性啁啾到约2 ps，以实现所需的光谱/化学分辨率。在系统的设计中，斯托克斯光束由20 MHz光电调制器(EOM)进行调制。采用“光谱聚焦”技术调整泵浦和斯托克斯脉冲之间的时间延迟来改变拉曼频率。两束光线在时间和空间上重叠后被送入激光扫描显微镜(FV1200; Olympus)，并通过水润物镜(UPLSAPO 60XWIR, NA 1.2 water; Olympus)紧密聚焦在组织样本上。使用背偏光电二极管(PD)检测生成的SRS信号，并由锁定放大器(HF2LI; Zurich Instruments)解调。

在成像过程中，我们在2845 cm⁻¹和2930 cm⁻¹通道的两个延迟位置进行了成像，然后通过数值算法对原始图形进行分解，以获得脂质和蛋白质的分布，并生成双色SRS图像。系统空间分辨率约为350 nm，所有图像使用相同的参数，大小为512 × 512像素，成像时间约1.3 s。样品处的激光功率保持在：泵浦30 mW和斯托克斯30 mW。

Figure 2. SRS Microscopy System

图2. SRS显微系统

3. CycleGAN原理

术中病理分析在手术指导和临床决策中具有重要作用。然而，传统的病理学金标准——福尔马林固定和石蜡包埋(FFPE)染色法耗时较长，通常超过36小时，不适用于术中快速诊断。虽然冰冻切片染色法能够加快诊断速度，但仍需经历样本包埋、切片和染色等复杂的处理流程。近年来，人工智能虚拟仿真技术与显微镜技术的集成为生物医学光子学领域带来了革命性变化，尤其是在跨模态转换和虚拟染色任务方面已有多项研究进展[8]。其中，虚拟组织学染色技术通过深度学习模型，能够将无标记的紫外自发荧光或紫外光声显微图像转换为组织学染色结果。这一技术可进一步扩展到从石蜡包埋切片的H&E染色结果中生成虚拟染色图像。相比传统方法，这种技术不仅提高了样本染色的效率与速度，还能够提供更多的组织学信息和细胞结构特征，为组织学研究和临床诊断提供强有力的支持。

CycleGAN是一种基于生成对抗网络(GAN)的跨模态图像转换模型[9]，能够在无配对数据的条件下学习两种数据域之间的映射关系[10]。其核心思想是利用生成器进行正向和逆向映射，通过循环一致性损失(cycle-consistency loss)确保生成结果与原始输入的一致性。此外，对抗损失(adversarial loss)被用来提高生成图像的真实性，使其分布与目标域的真实数据一致。

在本研究中，我们基于CycleGAN模型使用一种非对称映射的虚拟染色方法。具体而言，输入的SRS图像经过生成器映射到石蜡切片的H&E染色图像，而反向映射则作为辅助，确保生成的虚拟染色结果在视觉和统计特性上与真实H&E图像接近。在训练过程中，利用弱监督学习策略，采用SRS图像和未完全配对的石蜡H&E图像作为训练集，从而实现跨模态转换。这种方法不仅能够保留组织结构和细胞特征，还提高了虚拟染色的效率和准确性，为术中快速诊断提供了潜在的解决方案。

3.1. CycleGAN算法核心思想

CycleGAN是一种用于从图像到图像转换的生成对抗网络(GAN)。它的核心思想是在不需要配对数据的条件下，通过对抗损失和循环一致性损失，实现两种不同数据域之间的映射。CycleGAN的两个主要目标是生成结果逼真(真实性)和输入与输出之间具有一致性(可逆性)。

CycleGAN算法迭代包含以下损失函数：

1) 对抗损失：对抗损失用于训练生成器G和判别器D。生成器G将源域X的数据映射到目标域Y，而判别器D_Y试图区分生成的伪目标图像和真实目标域的图像。类似地，另一生成器F将目标域Y映射回源域X，判别器D_X用于区分生成的伪源图像和真实源图像。对抗损失定义为：

$L_{\text{GAN}}\text{}\left(G,D_Y\text{},X,Y\right)=E{\text{}}_{y\sim pdata\text{}\left(y\right)}\left[\log D_Y\text{}\left(y\right)\right]+E{\text{}}_{x\sim pdata\text{}\left(x\right)}\text{}\left[\log \left(1-D_Y\text{}\left(G\left(x\right)\right)\right)\right]$

其中，G(x)是生成的伪目标图像，D_Y则判别该图像是否来自真实目标域。

2) 循环一致损失：为了确保跨域映射后的图像能被逆向映射回原始域，CycleGAN引入了循环一致性损失(Cycle Consistency Loss)。这一损失强制要求：

$x\to G\left(x\right)\to F\left(G\left(x\right)\right)\approx x$

$y\to F\left(y\right)\to G\left(F\left(y\right)\right)\approx y$

循环一致性损公式为：

$L_{cyc}\left(G,F\right)=E_{x\sim pdata\text{}\left(x\right)}\text{}\left[{\Vert F\left(G\left(x\right)\right)-x\Vert }_1\text{}\right]+E_{y\sim pdata\text{}\left(y\right)}\text{}\left[{\Vert F\left(G\left(y\right)\right)-y\Vert }_1\text{}\right]$

3) 总损失函数：CycleGAN的总损失是对抗损失和循环一致性损失的加权和：

$L\left(G,F,D_X\text{},D_Y\text{}\right)=L_{\text{GAN}}\text{}\left(G,D_Y\text{},X,Y\right)+L_{\text{GAN}}\text{}\left(F,D_X\text{},Y,X\right)+\lambda L_{cyc}\text{}\left(G,F\right)$

3.2. CycleGAN的优势

在本研究中，CycleGAN的映射是非对称的：从SRS图像域X到石蜡H&E染色域Y的映射(生成器G)是主要任务，而从H&E图像域Y到SRS图像域X的逆向映射(生成器F)是辅助任务，用于增强模型稳定性。

训练数据采用弱监督学习策略，即使用SRS图像和非严格配对的石蜡H&E图像，极大降低了数据准备的复杂性。通过以上损失设计，模型能够有效生成与真实H&E染色效果相似的虚拟染色图像，同时保留重要的组织结构和病理学特征。此外，CycleGAN在生成对抗机制的支持下，可有效减少伪影，生成的虚拟染色图像在染色效果和组织学特征上接近真实图像。为替代临床快速病理评估方法提供潜在可能。

4. 实验结果

4.1. 实验设置

本研究基于胰腺穿刺组织SRS病理图像，设计了一套虚拟染色实验流程。通过受激拉曼散射成像显微镜获取未经处理的新鲜胰腺组织图像，同时对同一组样本的相邻部位进行福尔马林固定石蜡包埋染色获取H&E病理图像。最终SRS图像作为源域，石蜡H&E图像作为目标域输入模型。

利用CycleGAN实现虚拟染色仿真，训练集包含未配对的SRS图像和H&E图像。模型设置非对称映射架构，结合生成对抗损失和循环一致性损失进行优化，以保证生成图像的真实性和结构一致性。训练过程中使用Adam优化器，学习率为0.0002，循环一致损失为10。

4.2. 实验结果

虚拟染色网络旨在将受激拉曼病理图像转化为石蜡包埋H&E染色风格的图像。然而，由于石蜡包埋H&E染色组织切片无法直接用于受激拉曼成像，实验中无法通过真实染色图像的对比来定量评估网络性能。鉴于此，本文主要从组织整体形态和细胞结构进行分析(图3)，虚拟染色后的图像在宏观上保留了组织结构的完整性，与常规H&E染色图像在边界清晰度和形态分布上较为一致。例如，细胞团块的轮廓、腺体结构的排列方式以等在转换结果中得到了较好的呈现。这表明模型能够捕捉大尺度的结构特征。在细胞核与细胞质的分辨上，虚拟染色结果能够通过蛋白质与脂质分布的伪彩色特征，区分细胞核与细胞质的界限。虽然受激拉曼成像(SRS)和H&E染色法在基本机理上有所不同，但虚拟染色图像在核质比、核染色强度以及细胞边缘清晰度等方面，与真实染色结果表现出较高的相似性。H&E染色法中，苏木精优先与细胞核中的DNA和RNA结合，将细胞核染成蓝紫色，而伊红则将细胞质染成红色，从而清晰地分辨细胞核与细胞质的边界。相比之下，SRS成像在2845 cm⁻¹和2930 cm⁻¹两个拉曼位点处分别提取脂质(主要存在于细胞质)和蛋白(主要存在于细胞核)的分布，同样能够清晰地区分细胞核和细胞质的边界。通过利用CycleGAN模型，SRS图像可以与H&E染色图像之间的映射关系进行学习，使得虚拟染色图像能够有效保留SRS图像的原始细节，同时转换为与H&E染色图像风格相似的结果。这为进一步的病理学研究提供了可靠的形态学基础。

Figure 3. Comparison of virtual staining and paraffin-embedded staining

图3. 虚拟染色与石蜡包埋染色对比

尽管如此，由于受激拉曼图像反映的是蛋白质、脂质的光谱信号，虚拟染色仍存在一定局限性。例如，某些微弱的色彩差异可能会影响细胞亚型的分辨。此外，颜色和形态的主观评估依赖于经验，未来可以结合专家打分和模糊评价模型进行优化。

5. 结论

本研究提出了一种基于SRS成像技术与CycleGAN模型的虚拟染色方法，用于超声内镜下细针穿刺活检(EUS-FNA)组织的福尔马林固定石蜡包埋(FFPE)染色仿真。实验结果表明，SRS成像技术能够提供高分辨率的胰腺组织细胞图像，CycleGAN模型能够有效地将SRS图像转化为与传统H&E染色图像相似的虚拟染色图像。与传统染色方法相比，虚拟染色图像具有无创、高效、节省时间和成本的优势，且在核质比、核染色强度和细胞边缘清晰度等方面表现出与真实染色结果高度相似的特征。本文研究为基于深度学习的虚拟染色方法在胰腺病理诊断中的应用提供了新的思路，在快速诊断和术中评估应用中具有重要意义。