1. 引言
水下湍流的复杂性和随机性使得水下成像技术面临着严峻的挑战。传统的水下成像方法,如声呐和光学成像,常常受到湍流等水下环境因素的影响,导致图像质量下降,甚至无法获取有效的成像信息。湍流不仅会造成成像模糊,还会在成像过程中引入噪声,从而影响图像的清晰度和准确性。因此,研究如何在水下湍流环境中恢复清晰的图像,成为了当前水下成像技术领域的一个重要课题[1]。
鬼成像(Ghost Imaging, GI)作为一种新兴的成像技术,能够通过随机采样和后处理重建高质量图像。其原理基于量子力学中的光子关联,利用光的非局域性进行成像,这使得鬼成像在水下环境中具有潜力,能够有效减小湍流对成像质量的影响[2]。然而,传统的鬼成像方法在水下湍流的干扰下仍然面临图像重建质量较低的问题,尤其是在动态变化的水下环境中,如何提高图像重建的效率和准确性,依然是一个亟待解决的挑战。
近年来,深度学习技术在图像处理领域取得了显著进展,尤其是基于卷积神经网络(CNN)的方法,已经广泛应用于图像重建、去噪和增强等任务[3]。DenseNet (密集连接网络)作为一种高效的深度神经网络结构,因其独特的网络架构优势,在图像处理和计算机视觉任务中表现出了优秀的性能[4]。DenseNet通过密集的层间连接,有效地缓解了梯度消失问题,并显著提高了网络的训练效率和性能。基于DenseNet的多尺度融合技术[5],能够在不同尺度上提取丰富的特征信息,有助于处理复杂的水下湍流环境。
本研究提出了一种基于DenseNet的多尺度融合水下湍流鬼成像方法,旨在通过深度神经网络模型提升鬼成像的重建精度和稳定性。通过将DenseNet与湍流建模相结合,本文探索了如何在动态湍流环境中实现高效的图像重建,进而为水下成像技术的研究与应用提供新的思路和解决方案。
2. 水下湍流建模与计算鬼成像的方法
在本章中,我们将首先介绍计算鬼成像的基本原理和流程,为后续图像恢复方法提供理论支持。随后,我们将深入探讨水下湍流的建模方法,分析湍流对光传播的影响,以及如何通过不同的建模方法来应对湍流带来的挑战。这些内容为基于深度学习的湍流建模与图像恢复方法的提出奠定了必要的基础。
2.1. 计算鬼成像的基本原理与流程
计算鬼成像(Computational Ghost Imaging)理论首次提出于2008年。与传统鬼成像方法不同,计算鬼成像通过计算机算法直接获取参考臂的信息,进而实现成像,因此它也被称为单臂鬼成像。
本章介绍的微分计算鬼成像的主要过程如下:首先,激光通过空间光调制器(SLM)照射,SLM用于调制激光的相关信息,此外,通过菲涅尔–惠更斯函数计算出投射到物体上的光场信息,从而替代传统鬼成像中的参考臂信息。SLM调制后的激光通过分光镜分成两束光,其中一束通过桶探测器收集物臂的总光强,记作S,另一束通过透镜聚焦并经过桶探测器收集参考臂的总光强,记作R。这些信息经过多次应用不同相位掩模并进行关联计算,最终得到物体图像[6]。
图1描述了实验装置与微分计算鬼成像过程的示意图,其中包括激光源(Light Source)、桶探测器(Bucket Detector)、透镜(Lens)、分光镜(Beam Splitter)以及待测目标物体(Object)。
Figure 1. Experimental setup and schematic of the differential calculation ghost imaging process
图1. 实验装置与微分计算鬼成像过程的示意图
在实验过程中,假设射入SLM的光场为
,对于每一次实验所使用的随机相位掩模记为
,其中
是相位掩模的编号。经过SLM调制后的光场可以表示为[7]:
(1)
这里,
为经过SLM调制后的输出光场。通过对光场
进行惠更斯–菲涅尔衍射处理,可以得到参考臂的光场信息,其公式表示为:
(2)
其中,
表示光场
经过距离
后到达物体表面时的光场信息,
为入射激光的波长。得到物体表面的光场信息后,通过计算可以得到照射到物体表面的光强
,其公式为[8]:
(3)
接下来,桶探测器将收集到的总光强信息
进行采集,公式为:
(4)
最终,通过使用微分计算鬼成像[9]的方法进行图像重建,所得到的重建图像可以表示为:
(5)
其中,
表示对所有实验结果的系综平均,
为最终的成像结果,
是使用不同相位掩模得到的重建结果。通过求取这些结果的平均值,可以得到最终的物体图像。
2.2. 水下湍流建模方法
水下湍流的建模是水下成像技术中的一大难题,因为湍流的高度随机性和复杂性使得其对光传播的影响极为难以预测。传统的湍流建模方法通常依赖于物理模型和统计学模型,通过简化假设和近似计算来描述湍流的影响。然而,这些传统方法通常存在一定的局限性,特别是在面对高度动态和非线性的水下湍流效应时,往往无法准确捕捉其复杂的传播机制。
传统的湍流建模方法中,几何光学模型是最早应用的一个方法。该方法通过简化的假设将光传播视为直线,忽略了光波的散射、衍射等效应,主要依赖折射率变化的基本规律来推导光波的传播路径。几何光学模型的基本假设是将光视作粒子,光的传播路径是直线,即光的传播不会受到水下湍流的影响。但这种方法无法描述光波在湍流中的复杂传播过程,尤其是在存在强烈湍流扰动时,这种简化的模型往往不能有效反映真实的光传播现象。
另外,统计学模型则试图通过建立湍流的概率分布模型来描述湍流对光传播的影响。此类方法基于随机过程理论模拟折射率波动和光波的散射,能够对光传播过程中的不确定性进行一定程度的描述。假设光在湍流中的传播符合某些统计规律,常用的模型包括海面湍流模型(如Kolmogorov理论)和波谱模型。光的散射和折射率波动可以通过如下公式描述[10]:
(6)
其中,
为湍流引起的折射率变化,
是水体的平均折射率,
是湍流引起的局部折射率波动。该公式可以进一步应用于模拟光的散射和折射。统计模型通过随机模拟这些波动来近似湍流环境,但由于湍流的高度非高斯性和复杂的空间变动,传统的统计方法在处理动态湍流时仍然存在精度不足的情况。
波动光学模型考虑了光的波动特性,因此比几何光学模型更为精确,能够模拟光的干涉、衍射等现象,尤其是在水下环境中,湍流引起的相位畸变可以通过波动光学模型进行更为准确地描述。光的传播可以通过惠更斯–菲涅尔原理[11]进行模拟,该原理描述了光波的传播方式,具体形式如下:
(7)
其中,
是光场在目标点
的传播,
和
是源点和接收点的坐标,
是光波长,
是光波传播路径上的曲面。这种方法能够考虑光的散射和相位畸变,但计算量巨大,且在实时计算和应用中不具备高效性,因此难以在动态水下环境中使用。
近年来,深度学习,特别是卷积神经网络(CNN)和DenseNet,已在图像处理和复杂系统建模中展现出显著优势。与传统物理建模方法不同,深度学习通过数据驱动,从大量实验或仿真数据中自动学习复杂的湍流特征,无需依赖固定的物理模型假设。深度神经网络的多层结构使其在处理湍流引起的多尺度变化时具有明显优势。
深度学习的适应性和鲁棒性是其另一个重要特点。传统的湍流建模方法往往依赖简化假设,难以应对湍流的动态变化,而深度学习能够根据数据动态调整模型参数,从而灵活应对复杂的水下环境。例如,DenseNet通过多尺度融合和避免梯度消失问题,能有效提取湍流特征,提高建模能力[12]。
尽管深度学习在湍流建模中展现出巨大潜力,但仍面临数据需求和计算资源的挑战。深度学习模型的训练需要大量标注数据,而湍流环境的动态特性使得数据采集和标注更加复杂。此外,深度学习训练过程对计算资源的要求较高,这在一些实时应用中可能成为瓶颈。
尽管如此,深度学习为湍流建模提供了灵活且精准的解决方案,推动了水下成像和光传播技术的发展。总体而言,深度学习方法为湍流建模提供了更高效、更精确的选择,但在数据需求、计算资源和泛化能力方面仍需进一步优化。
3. 基于DenseNet多尺度融合的神经网络方法
在本实验中,为了评估真实实验数据与仿真实验数据之间的相关性,采用了Pearson系数来计算两者的线性关系。实验中使用了1000张真实数据与对应的仿真数据,计算了它们之间的Pearson系数,以验证仿真数据与真实数据之间的一致性和相似性[13]。为了提高实验的准确性和可信度,首先通过仿真数据集预训练了一个网络模型,并随后通过真实实验数据集进行验证。这一过程不仅确保了仿真数据与真实数据集分布的一致性,还通过对其相关性进行量化评估来进一步确认其有效性。
Pearson系数是一种常用的统计方法,用于衡量两个数据集之间的线性相关性,其值范围在−1到1之间。当系数接近−1或1时,说明两个数据集之间的相关性越强,且系数为正时,表示数据之间存在正相关性;当系数为负时,表示负相关性。此外,依据Pearson系数的绝对值大小,通常将相关性分为五个等级:当系数值在0.8到1.0之间时,表示极强相关性;0.6到0.8表示强相关性;0.4到0.6表示中等相关性;0.2到0.4表示弱相关性;而0到0.2则表示极弱相关性。
通过计算得到的Pearson系数,我们能够客观量化和分析真实实验数据与仿真数据之间的相关性,从而确保两者在同一分布上,并为进一步的实验验证提供了可靠的依据。
3.1. 多尺度融合策略
在水下湍流的鬼成像应用中,由于湍流引起的光传播路径的随机性和折射率的波动,图像常常出现模糊和失真[14]。因此,如何有效恢复清晰的图像成为了一个挑战。基于DenseNet的多尺度融合策略在这种环境下展现了其独特的优势,能够在不同尺度下提取丰富的特征,并将这些特征融合,从而有效补偿湍流引起的图像失真[15]。
3.1.1. DenseNet模型概述
DenseNet (密集连接卷积网络)是一种特殊的卷积神经网络架构,其核心思想是每一层都与前面的所有层进行直接连接。与传统的卷积神经网络不同,DenseNet不仅将当前层的输出传递到下一层,还将之前所有层的输出拼接在一起,作为当前层的输入。通过这种方式,DenseNet能够促进特征的复用,从而提高训练效率和网络表现[16]。DenseNet的密集连接结构使得它能够更好地捕捉水下湍流对图像的影响。
DenseNet的基本公式为:
(8)
其中,
表示第
层的输出,
表示前
层的输出特征,
是一个卷积操作或其他处理操作。在DenseNet中,每一层的输出都将与前面所有层的输出连接并作为输入,从而提高了信息流动和梯度反向传播的效果。
为了进一步说明DenseNet的工作原理,图2展示了DenseNet网络结构中的每一层和它们之间的连接方式。该图中可以看到,每一层都与前面的所有层进行连接,这种密集连接的设计有助于提升特征的复用,并有效避免梯度消失问题。通过这种结构,网络能够在处理图像时保留更多的细节信息,对于湍流引起的图像模糊和失真具有很好的恢复效果。
Figure 2. Schematic of DenseNet network structure
图2. DenseNet网络结构示意图
3.1.2. 多尺度特征提取与融合
水下湍流的随机性和多尺度特征是影响成像质量的主要因素。湍流对光传播的影响在不同空间尺度上表现出不同特征,如局部的相位畸变和大尺度的光强衰减。为应对这一复杂现象,采用基于DenseNet的多尺度特征提取与融合策略显得尤为重要。这一策略通过从不同尺度提取特征并融合,综合考虑不同尺度的湍流效应,提升水下成像质量[17]。
DenseNet的架构设计专为应对复杂成像任务,采用Dense Block和Transition Layer分层结构提取图像的多尺度特征。网络通过卷积层和池化层逐步提取初步特征,Dense Block中的卷积层通过密集连接共享信息,避免信息丢失。在DenseNet的不同变体中,卷积操作通过BN-ReLU-Conv顺序设计,有效提取局部特征并增强图像信息的表现能力。
Transition Layer通过池化和特征维度调整逐步降低图像空间尺寸,有助于捕捉全局结构,同时减少湍流引起的局部噪声。在DenseNet-121中,采用7 × 7的池化窗口,步长为2,有效提取图像全局特征并增强抗干扰能力。
最后,网络通过全局平均池化和全连接层整合多尺度特征,输出分类结果。DenseNet不仅能提取局部细节,还能捕捉全局信息,有效处理水下湍流影响。通过多尺度特征提取,DenseNet显著提高了水下图像的质量,尤其在面对湍流引起的相位畸变和光强衰减时,图像恢复更加准确高效。
如图3所示,DenseNet通过其架构设计,能够从多个尺度提取有效图像特征,更好地捕捉图像细节和全局结构,为水下成像提供强有力的支持。
3.1.3. 特征的多尺度融合
在水下湍流的鬼成像应用中,光波受到湍流的干扰,不同尺度上的图像特征需要在重建过程中得到有效融合[18]。DenseNet通过其密集连接的结构,能够将不同尺度下的特征进行融合,确保网络能够充分利用各层的特征信息。特征融合后,我们可以通过多层卷积来增强图像的表现力和恢复能力。
Figure 3. Comparison of different DenseNet architectures in terms of layers and output size
图3. 不同DenseNet架构的层级与输出大小对比
图4展示了DenseNet在图像重建中的工作流程,其中不同尺度的特征通过特征拼接和融合进行合并。图中展示了不同层的特征图被拼接和融合后,如何进行进一步的处理以恢复图像的清晰度。通过这种多尺度融合的策略,DenseNet能够在水下湍流环境中有效恢复图像的细节和结构,从而提升重建图像的质量。
Figure 4. Schematic of multi-scale feature fusion in DenseNet
图4. DenseNet的多尺度特征融合示意图
为了解决湍流对水下成像的影响,本研究提出了一种基于DenseNet多尺度融合的深度神经网络方法。DenseNet (Densely Connected Convolutional Network)是一种深度卷积神经网络架构,通过密集连接层(dense connections)将前面层的输出直接传递给后续层,有助于提高网络的表达能力和训练效率。
在本研究中,DenseNet用于建模水下湍流对光传播的影响。通过引入多尺度融合策略,网络能够在不同尺度下学习湍流的不同特征,从而更好地捕捉湍流的空间和时间变化。具体而言,网络的输入是水下湍流环境中的光场数据,包括物体图像和参考图像。通过训练网络,学习湍流引起的折射率波动和光场的变化,最终实现图像的重建[19]。
3.2. 湍流建模与计算
水下湍流对成像过程的影响,尤其是在鬼成像过程中,主要表现为光波的折射率波动、散射以及相位畸变等现象。湍流导致的光波传播路径的随机扰动使得图像模糊和失真。为了恢复图像的清晰度,首先需要通过数学模型对湍流效应进行建模。之后,结合深度神经网络(DNN)技术,我们可以有效恢复受湍流影响的图像。
3.2.1. 深度神经网络的训练过程
深度神经网络(DNN)通过训练过程学习湍流影响下光传播的特性,并从低质量的图像中恢复目标物体的清晰信息。在训练过程中,网络接收包含湍流噪声的图像作为输入,并通过损失函数来衡量恢复效果。网络通过最小化损失函数,优化其参数,从而恢复尽可能接近真实物体的图像。
损失函数常采用以下形式:
(9)
其中,
是真实的物体图像,
是经过训练后的网络对输入图像
的预测,
是网络的参数。通过反向传播算法,神经网络逐步调整参数,使得恢复图像的效果越来越接近真实物体。
3.2.2. 深度神经网络的训练过程
为了量化水下湍流效应,Zernike多项式被广泛用于描述相位畸变。Zernike多项式有效地通过极坐标系表达水下光的相位变化,能够帮助我们在湍流影响下恢复图像的清晰度。
Zernike多项式的定义如下:
(10)
其中,
是径向多项式,
是角向多项式。通过调整这些多项式,可以拟合光波的传播路径,进而模拟湍流对光波的影响。
径向多项式
的表达式为:
(11)
角向多项式
表示为:
(12)
通过这些多项式的应用,我们可以有效地模拟水下湍流的影响,并在恢复过程中考虑这些效应。
3.2.3. 从湍流影响图像中恢复物体信息
深度神经网络与Zernike多项式的结合,能够显著提高从湍流影响的图像中恢复物体信息的效果。Zernike多项式用于计算相位差异,从而优化图像恢复,而神经网络则通过学习湍流影响的特征来恢复图像的细节[20]。
协方差矩阵的计算公式如下:
(13)
其中,
是相位畸变函数,
和
分别是不同的Zernike多项式项。
通过这些协方差矩阵,可以进一步优化图像的恢复过程,使其更加接近湍流前的原始图像。计算图像相位差异的公式为:
(14)
这种优化过程使得神经网络能够更精确地恢复物体的真实信息,特别是在湍流影响下。
3.3. 基于DenseNet的多尺度融合计算鬼成像重建
基于DenseNet的多尺度融合计算鬼成像重建方法,结合了深度神经网络与湍流建模,能够有效恢复受湍流影响的图像。在此方法中,我们利用DenseNet特征提取网络进行图像的初步处理,并通过像素级空间注意力机制提升图像恢复质量。
DenseNet网络的主要优势是通过Dense Block结构,使得每一层的输出都能与之前所有层的输出相连接。这种设计使得特征层的复用效率更高,能够有效缓解深层网络中的梯度消失问题。DenseNet的特征层传递方式相比传统的ResNet具有更强的特征利用能力。DenseNet的结构通过多个Dense Block和Transition Layer组成,有效提高了图像恢复的质量。
3.3.1. DenseNet网络训练
DenseNet网络的训练包括多个Dense Block和Transition Module。每个Dense Block包括多个卷积层,其中卷积核大小为3 × 3,并结合空洞卷积提供更大的感受野和特征提取能力。Transition Module通过池化层降低特征维度,并为后续的图像恢复提供更精细的特征信息。
在训练过程中,损失函数采用MSE (均方误差)来量化恢复图像与原始图像之间的差异,优化过程中通过反向传播算法更新网络参数。
3.3.2. 像素级空间注意力机制
为进一步提高图像恢复的质量,本方法还引入了像素级空间注意力机制。这种机制通过全局池化(GAP)操作获得输入图像中每个通道的低维映射,之后利用Softmax和全连接操作筛选出最有效的特征,并根据这些特征对图像进行加权重建。该过程有助于从复杂的湍流影响中提取关键特征,从而提高恢复图像的精度[21]。
3.3.3. 重建网络与恢复结果
经过DenseNet特征提取网络和像素级空间注意力机制处理后的图像,最终输入到恢复网络进行图像恢复。恢复网络采用U-Net结构,包括卷积层、激活函数层和池化层,使用Sigmoid激活函数输出恢复图像。
整个网络结构的设计旨在通过多尺度特征融合,最大限度地保留图像中的关键信息,尤其是在低采样率下,能够恢复出更高质量的图像。
3.4. 实验结果分析
为了验证基于DenseNet的多尺度融合计算鬼成像重建方法的有效性,我们将其与传统计算鬼成像方法(GI)和基于压缩感知的重建方法(CSGI)进行了对比。定量分析结果表明,DenseNet方法在低采样率下表现出了显著的优势,尤其在PSNR (峰值信噪比)和SSIM (结构相似性指数)等指标上,DenseNet的表现优于其他两种方法。
3.4.1. 视觉效果分析
从图5展示的图像恢复结果可以看出,在不同采样率下,三种方法(GI、CSGI和DenseGI)在恢复效果上存在显著差异。特别是在低采样率条件下,DenseGI方法能够恢复出明显更清晰、更少噪声的图像。相比之下,传统的GI方法和基于压缩感知的CSGI方法在低采样率下恢复的图像噪声较大,且字母“USST”的形状模糊,细节丢失较严重。
尤其是在较低采样率下,DenseNet方法能够更好地保留图像的细节,尤其是在字母“USST”的边缘和形状上显示出了更多的清晰度。通过视觉效果的对比,DenseGI方法表现出比GI和CSGI更强的细节恢复能力,证明了DenseNet在低采样率条件下的有效性。
Figure 5. Comparison of experimental results
图5. 实验结果数据对比
3.4.2. 定量结果分析
图6展示了三种方法在不同采样率下的定量比较,包括RMSE (均方根误差)、PSNR (峰值信噪比)和SSIM (结构相似性指数)三个指标。从这些定量结果中,我们可以进一步分析各方法的性能。
首先,RMSE Comparison图表显示,DenseGI方法的RMSE值在所有采样率下都显著低于GI和CSGI方法。尤其是在低采样率下(如15%和25%),DenseNet方法的RMSE值明显更低,表明其恢复的图像误差更小,质量更高。相比之下,GI和CSGI方法在低采样率下的误差较大,恢复效果较差。
在PSNR Comparison图表中,DenseGI方法的PSNR值在所有采样率下都优于其他两种方法,尤其在低采样率(如15%和25%)下表现突出。PSNR值的增高意味着恢复的图像质量更高,图像的亮度和细节更接近原始图像。因此,DenseNet方法能够在低采样率下恢复出更清晰的图像,特别是在亮度和细节的恢复方面表现出色。
同样,在SSIM Comparison图表中,DenseGI方法的SSIM值在所有采样率下也明显高于GI和CSGI方法,尤其是在15%和25%的低采样率下。SSIM指标衡量的是图像的结构相似性,较高的SSIM值表示图像结构的保真度较高。DenseGI方法能够在低采样率下保持更高的结构相似性,表明其能够有效地保留图像的结构和纹理。
4. 结论
本研究提出了一种基于DenseNet的多尺度融合水下湍流鬼成像方法,并与传统的计算鬼成像方法
Figure 6. Quantitative comparison of three methods at different sampling rates
图6. 自动化专业实践教学体系图
(GI)及基于压缩感知的重建方法(CSGI)进行了对比,验证了该方法的有效性。实验结果表明,基于DenseNet的多尺度融合方法能显著提升低采样率下的图像恢复质量,尤其在PSNR和SSIM等评估指标上表现优于传统方法。DenseNet通过其多尺度特征提取与融合能力,成功克服了水下湍流对光传播的失真与噪声问题,显著提高了图像的结构保真度与细节恢复。此外,DenseNet在动态水下环境中表现出优越的适应性与鲁棒性,为水下成像技术提供了新的解决方案,推动了基于深度学习的水下湍流成像技术的发展。综上所述,基于DenseNet的多尺度融合方法在复杂水下环境中的鬼成像重建中展现出显著优势,为水下成像技术的未来发展提供了重要的理论与实践支持。