水下图像恢复算法综述
A Review of Underwater Image Restoration Algorithms
摘要: 水下图像恢复算法的研究旨在解决水下环境中由于光线吸收和散射导致的图像质量下降问题,以提高水下图像的清晰度和信息可用性。本综述总结了近年来水下图像恢复领域的研究进展,包括基于物理模型的方法、基于数据统计的方法以及基于深度学习的算法。物理模型方法通过分析水下光传输特性(如暗通道先验、红通道方法等)恢复图像清晰度;数据统计方法依赖于统计特性和优化技术(如直方图均衡、融合策略等);基于深度学习的方法利用卷积神经网络(CNN)、生成对抗网络(GAN)等模型在无监督和有监督框架下实现高效的图像增强与恢复。这些方法在去雾、色彩校正和对比度增强方面取得了显著进展,但在应对复杂光学条件及处理速度优化方面仍存在挑战。综述最后探讨了该领域的发展趋势,指出结合物理模型与深度学习的混合方法以及实时恢复算法将成为未来的重要研究方向。
Abstract: The study of underwater image restoration algorithms aims to address the quality degradation of underwater images caused by light absorption and scattering, thereby enhancing image clarity and usability for various applications. This review summarizes recent advancements in the field, focusing on three main categories: physics-based methods, data-based techniques, and deep learning-based approaches. Physics-based methods analyze light propagation characteristics in underwater environ- ments, employing techniques such as the dark channel prior, red channel methods, and polarization analysis to restore image clarity. Data-driven methods rely on statistical and optimization techniques, including histogram equalization, fusion strategies, and color correction models, to enhance image quality. Meanwhile, deep learning-based approaches utilize models like convolutional neural networks (CNNs) and generative adversarial networks (GANs) to achieve effective and adaptive restoration within both supervised and unsupervised frameworks. These methods have demonstrated remarkable advancements in dehazing, color correction, and contrast enhancement. Despite these achievements, challenges remain in addressing complex optical environments and improving computational efficiency for real-time applications. This review highlights the need for hybrid methods that integrate the strengths of physics-based models and deep learning, as well as the development of algorithms tailored for real-time underwater image restoration. Future research is expected to focus on achieving greater robustness, adaptability, and processing speed, enabling wider adoption in underwater robotics, marine research, and environmental monitoring.
文章引用:李哲怡. 水下图像恢复算法综述[J]. 图像与信号处理, 2025, 14(2): 257-270. https://doi.org/10.12677/jisp.2025.142024

1. 引言

近年来,随着水下探测、海洋科学研究以及水下机器人技术的快速发展,水下图像处理技术的重要性愈发凸显。在海洋资源勘探、海底考古、环境监测和水下作业等领域,清晰准确的水下图像是研究和工作的基础。然而,由于水下环境的复杂性,光学图像在传播过程中受到光散射和吸收的显著影响,导致图像质量显著下降。这种质量下降通常表现为对比度降低、色彩失真以及模糊现象,使得直接获取的水下图像难以满足实际需求。因此,针对水下图像的去雾和增强技术研究成为一个重要的课题。

水下图像的退化主要源于光在水介质中的传播特性。与空气中的光传播相比,水体对光的吸收和散射更为显著,其中散射现象主要分为前向散射和后向散射,前向散射引起图像模糊,而后向散射则造成对比度降低。此外,由于水体对不同波长光的吸收程度不同,红光在水中的衰减最为迅速,这导致水下图像往往呈现出明显的蓝绿色调和色偏现象。这些物理特性给水下图像处理带来了巨大的技术挑战。

针对上述问题,研究者们提出了多种处理方法,包括基于物理模型的方法、基于图像先验的方法以及基于深度学习的方法。基于物理模型的方法通过模拟光在水中的传播规律,利用水体的散射和吸收特性恢复图像质量。例如,Schechner等人提出了基于偏振分析的方法[1],通过分析水下光场的偏振特性来提升图像的清晰度;Treibitz和Schechner进一步提出了主动偏振去散射方法[2],利用主动照明结合偏振信息有效消除散射效应。另一类基于物理模型的研究关注光谱补偿和光学校正,例如Li等人[3]提出的最小信息丢失和直方图分布先验结合的方法,通过光学模型对水下图像进行校正,取得了良好的恢复效果。这些方法通常具有较强的理论基础和物理解释性,但在复杂水下环境中,模型参数的估计精度和算法的鲁棒性仍然是一个亟待解决的问题。

基于图像先验的方法利用图像的统计特性,通过构建特定的数学模型对退化图像进行去雾和增强。暗通道先验(Dark Channel Prior, DCP)是其中一种经典的图像先验方法[4],最初用于大气图像去雾,随后被广泛应用于水下图像的处理。Galdran等人提出了基于红通道的水下图像恢复方法[5],通过恢复红色通道的细节信息有效校正了水下图像的颜色失真。此外,多尺度融合方法[6]也被应用于水下图像增强,通过融合多种图像特性提升图像的全局对比度和细节表现。这类方法的计算复杂度相对较低,适合于资源有限的实际应用场景,但其效果往往依赖于具体场景特性,泛化能力有限。

近年来,随着深度学习技术的快速发展,基于数据驱动的方法为水下图像处理提供了新的思路。深度学习通过大规模数据训练能够自动提取特征,并有效适应复杂的环境条件。例如,Anwar等人提出了基于深度生成对抗网络(GAN)的水下图像增强方法[7],通过生成网络和判别网络的对抗训练实现了逼真的图像增强效果;Li等人开发了WaterGAN [8],利用无监督学习的方式对水下图像进行实时色彩校正。卷积神经网络(CNN)也是水下图像处理的重要工具,例如Hu等人提出了一种基于CNN的水下图像恢复方法[9],通过设计专门的网络结构实现了对模糊和失真的有效恢复。这些方法相较于传统方法,能够更好地应对复杂多变的水下环境,但其计算需求较高,且对大规模标注数据的依赖性较强。

此外,一些研究还融合了多种技术手段,以进一步提升水下图像处理的效果。例如,融合多尺度特征的去雾算法[10]、基于光谱特性的图像校正方法[11]、结合波形变换的增强技术[12]等都取得了良好的效果。尤其是在实际应用中,针对特定任务需求优化的水下图像处理算法正在不断涌现。例如,针对机器人导航和环境识别的图像增强方法[13],通过结合物理模型与数据驱动方法,显著提升了算法的实用性。

尽管已有研究取得了显著进展,但水下图像处理领域仍存在诸多挑战。首先,水下环境的多样性使得现有方法的泛化能力受到限制,如何开发适应性更强的通用算法仍需进一步探索。其次,在实时性和计算资源受限的实际场景中,高效、轻量化的算法设计是重要的研究方向。此外,多模态数据的融合(如光学图像与声呐数据的结合)有望为水下图像处理提供新的解决方案。综上所述,深入研究针对性强且高效的水下图像去雾与增强算法,不仅能够推动水下视觉技术的发展,也将为海洋科学与工程应用提供重要的技术支撑。

2. 水下图像恢复算法

2.1. 基于物理模型的水下图像恢复算法

水下图像恢复技术基于物理模型的方法主要通过分析光的传播特性,建立光在水下传输的数学模型,修正由水体吸收和散射引起的退化效应,从而恢复图像的清晰度与真实颜色。图1是水下成像的物理模型。

Chiang和Chen在[14]中结合波长补偿进行图像去雾,通过分析水下光的衰减特性,估计不同波长的光在水中传输时的衰减率,以补偿颜色失真问题。同时采用物理去雾模型消除散射效应,增强图像对比度。他们提出了波长衰减的补偿方法,有效恢复了图像的自然颜色,同时在不同深度的水下环境中具有较好的适应性。但是,这种方法需要精确估计光的波长衰减率,模型参数的确定较复杂;另外,它对噪声较为敏感,可能导致高频细节的损失。

Schechner和Karpel在[1]中提出了一种基于偏振分析的水下图像恢复方法,通过利用水下光传播过程中偏振特性的变化,恢复水下的能见度和场景结构。该方法的核心是分析入射光和散射光的偏振状态,去除由后向散射引起的模糊。此外,该方法能够在一定程度上估计场景的深度信息,因为偏振信号与场景深度密切相关。这种技术在无主动光源条件下仍有效,适用于自然光环境。

Treibitz和Schechner在[2]中进一步发展了偏振去散射技术,提出了主动偏振去散射算法。与被动方法不同,该算法结合了主动光源,通过控制和分析偏振光的照明与反射特性,实现更精确的散射光去除。与被动方法相比,该技术能够更有效地处理复杂光照条件下的场景,同时提高了图像的细节恢复能力。这一改进特别适用于低能见度的水下环境,如浑浊水体或深海区域。

Li等人在[3]中提出基于最小信息损失和直方图分布先验的去雾算法。该方法假设水下图像的清晰部分与模糊部分的颜色和亮度分布具有统计规律,通过调整直方图分布恢复图像对比度,并结合最小信息损失原则减少去雾过程中的伪影。这种方法使用直方图先验增强了算法的鲁棒性,能够较好地平衡图像去雾效果与保真性。然而,算法对初始分布的假设较强,当分布与实际图像差异较大时,去雾效果可能不理想。除此之外,计算复杂度较高,计算成本较大,处理速度较慢。

Gao等人在[15]中基于亮通道先验假设提出了一种水下图像恢复与增强方法。亮通道先验就是在清晰图像中至少有一个颜色通道的像素值在局部区域内趋于最小。通过该假设估计水下环境光分布,并进行去雾处理。算法简单易于实现,计算效率较高,即使光照不均的场景,也具有较好的效果。算法中的假设不适用于所有场景,当图像中不存在明显的亮通道时,算法性能下降,同时也容易在强噪声条件下失效。

Zhu等人在[16]中提出了一种基于色彩衰减先验的快速单图像去雾算法。该方法利用水下图像中颜色强度与深度的统计关系,构建深度模型以校正图像中的颜色失真和模糊问题。算法能够自动估计水体深度,不依赖额外的环境信息。但是,算法对特定颜色场景的适应性较弱,可能引入伪影,而且当图像中深度变化剧烈时,算法性能可能下降。

这些算法均通过物理模型恢复水下图像的清晰度与颜色,但它们各有侧重。基于范围门控成像系统的方法能有效抑制散射影响,提高图像清晰度[17]。为了适应复杂水下环境[18]-[20],同时提升多方面的视觉特性[21],颜色校正方法通过补偿水下光学失真,提高图像的色彩保真度[22],增强单幅水下图像的对比度和细节[23] [24],可有效消除光散射导致的模糊[25] [26]表1对上述算法进行了对比分析。

Figure 1. A physical model of an underwater image

1. 水下图像的物理模型

Table 1. Comparison of underwater image restoration algorithms based on physical models

1. 基于物理模型的水下图像恢复算法对比

算法名称

计算时间

适应环境

优势

主要缺点

波长补偿法[14]

不同深度水下

颜色补偿精准

参数复杂,噪声敏感

偏振分析法[1]

自然光环境

可估计深度

依赖偏振特性

主动偏振法[2]

低能见度水域

细节恢复强

需主动光源

续表

直方图先验法[3]

颜色分布稳定的图像

鲁棒性强

计算成本大

亮通道先验法[15]

一般水下图像

计算效率高

假设成立需要条件

色彩衰减先验法[16]

颜色随深度变化的场景

可自动估计深度

适应性较差

2.2. 基于图像增强的水下图像恢复算法

基于图像增强的水下图像恢复方法不依赖复杂的物理模型,而是通过直接调整图像的对比度、颜色和亮度分布来提升图像质量。这种方法具有计算简单、通用性强的特点。以下对四篇相关文献的内容进行概括和详细分析。

Iqbal等人在[27]中提出了一种基于集成颜色模型的水下图像增强方法。该方法将RGB图像转换到HIS (色调、饱和度、强度)颜色空间,分别对每个通道进行处理以增强图像。这样做能有效改善水下图像的颜色失真问题,提升视觉效果,算法简单且适合多种水下场景。但是,这个算法过于依赖颜色空间转换,对颜色校正的准确性要求较高,可能导致局部细节丢失,尤其是图像中的高频信息。

Hitam等人在[28]中提出了一种基于混合对比度受限自适应直方图均衡化(CLAHE)的方法。该方法结合RGB和Lab颜色空间,利用CLAHE增强图像对比度,同时在Lab空间中对亮度通道进行处理以改善视觉清晰度。CLAHE能够有效避免普通直方图均衡化中出现的过度增强问题,同时结合多颜色空间的处理方式,进一步提升了图像质量。然而,算法复杂度较高,对计算资源要求较大,在光照条件极差的情况下,增强效果可能有限。

Deperlioglu等人在[29]提出了一种结合HSV颜色空间和直方图均衡化的水下图像增强方法。该方法首先将图像从RGB空间转换到HSV空间,对亮度和饱和度通道分别进行直方图均衡化处理,从而提升图像的亮度和色彩表现。算法不仅简单高效,而且在提升亮度和色彩对比度方面表现出色。只是对特定场景的适应性有限,可能在深水区域失效,对噪声不敏感,容易放大图像中的噪声。

Zhang等人在[30]中提出了一种结合颜色校正与光照调整的水下图像增强方法。该方法通过分析图像的颜色分布和光照不均问题,设计了一种颜色校正模型,同时调整全局光照水平以提高图像的视觉清晰度。这个方法在颜色校正和光照均衡方面具有较强的鲁棒性,能够显著提升图像的自然度和视觉效果。但是算法依赖颜色校正模型的参数设置,不同场景下需要手动调整,算法复杂度较高,实时性较差。

从上述分析可以看出,基于图像增强的水下图像去雾方法各具特色。相比基于物理模型的方法,基于ROV的模糊图像恢复方法能提高水下机器人获取图像的质量[31],通过数据驱动的方式提高细节和色彩还原度[32]。在色彩校正方面,非监督学习方法能增强低质量图像的色彩表现[33],而颜色恒常性技术则在水下目标识别中发挥重要作用[34]。此外,Retinex方法用于单幅图像的增强[35],而结合颜色校正与非局部先验的恢复方法则进一步提升了图像的清晰度和对比度[36]。研究表明显著性分析方法被用于评估各种增强算法的有效性[37]表2对上述算法进行了对比分析。

Table 2. Comparison of underwater image restoration algorithms based on image enhancement

2. 基于图像增强的水下图像恢复算法对比

算法

计算时间

适应环境

优势

主要缺点

集成颜色模型法[27]

中等

各种水下场景

颜色校正有效

高频信息可能丢失

混合CLAHE法[28]

低光环境

结合多颜色空间增强

计算资源需求大

HSV直方图均衡化[29]

亮度增强

简单高效

深水适应性差,易放大噪声

颜色校正与光照调整[30]

复杂光照场景

光照均衡好

计算复杂,实时性差

2.3. 基于多图像融合的水下图像恢复算法

多图像融合算法通过整合来自同一场景的多张图像信息来提高水下图像的对比度和清晰度。这些算法通常依赖于图像的不同特性(如亮度、对比度或颜色信息)来生成视觉效果更好的融合结果。

Ancuti等人在[6]中提出了一种基于融合策略的水下图像增强方法,通过两个权重图的计算,将输入图像分解为多尺度分量,再将这些分量融合,最终生成对比度增强的输出图像。算法先进行输入图像的预处理,从单张水下图像生成两种输入变体,一个是白平衡图像,另一个是通过直方图拉伸的增强图像。然后,再为每个输入图像计算三个权重图,包括亮度权重、对比度权重和饱和度权重,确保增强的图像具有自然的亮度分布、高对比度和饱和度。最后,将输入图像的细节分量与权重图结合,通过多尺度金字塔融合技术生成最终输出图像。算法不需要特定的水下成像模型,具有较强的通用性,能显著改善图像对比度和色彩饱和度,计算复杂度低,适合实时应用。但是,这个算法对严重退化的图像效果(水体高度浑浊)有限,对不同光照条件的场景,增强效果可能不一致。

Khan在[12]中提出了一种结合融合和小波变换的水下图像恢复方法,利用小波变换提取图像细节并融合多种增强信息,最终输出高质量图像。他们将输入图像通过多尺度小波分解,生成低频和高频分量,然后对低频分量进行颜色校正和对比度拉伸,对高频分量进行边缘增强。最后,适应权重结合增强的低频和高频分量,恢复水下图像的细节和色彩。他们才有小波变换能够有效提取图像的多尺度特征,增强了图像的细节表现,提高了对比度和色彩校正的效果,对浑浊水体下的图像有良好的适应性,同时也融合了多种增强策略,整体效果较为平衡。只是算法复杂度较高,对计算资源要求较大而且参数调节较复杂,需要针对不同场景手动优化。

Borker和Bonde在[10]中提出了一种结合对比度增强和多图像融合的水下图像恢复方法,通过显著性检测和自适应融合策略恢复图像的清晰度和自然色彩。算法的第一步是对输入图像进行预处理,包括伽马校正和直方图均衡化,以提高图像的初始对比度。第二步利用显著性检测算法生成权重图,突出图像中感兴趣区域的细节。第三步通过拉普拉斯金字塔融合技术,将不同增强策略的结果结合,生成最终输出图像。他们利用显著性检测增强了感兴趣区域的清晰度和对比度。多尺度融合保证了图像的全局和局部细节均得到改善,也让算法适用于多种水下环境。然而,这个方法对显著性检测算法的依赖可能导致非显著区域的细节损失,所以算法的鲁棒性较差,可能对输入图像质量较为敏感。

综上所述,基于多图像融合的算法在提升水下图像质量方面各具特色。多尺度融合方法通过不同尺度的信息融合,有效去除单幅水下图像中的雾霾效应,提高细节保留和色彩还原度[38]。基于暗通道先验和FFT的方法结合频域处理技术[39],能够有效减少光散射影响,提升水下图像的对比度和清晰度[40]。此外,低复杂度的暗通道先验方法为水下图像增强提供了计算效率更高的解决方案,适用于实时应用场景。表3对上述算法进行了对比分析。

Table 3. Comparison of underwater image restoration algorithms based on multi-image fusion

3. 基于多图像融合的水下图像恢复算法对比

算法

计算时间

适应环境

优势

主要缺点

融合策略法[6]

多种水下环境

通用性强

光照条件复杂

小波变换法[12]

浑浊水体

细节增强

计算复杂度高

对比度增强法[10]

多种水下环境

细节均衡

依赖显著性检测

2.4. 基于深度学习的水下图像恢复算法

深度学习方法通过构建复杂的神经网络模型,利用数据驱动的方式对水下图像进行增强和恢复。

Anwar等人在[32]中提出了一种基于深度学习的水下图像增强方法,利用卷积神经网络(CNN)构建端到端模型,从输入到输出直接生成增强图像。模型进行多任务学习,不仅学习颜色校正,还学习去除雾霾和增强细节。他们设计了一个多尺度的CNN,用于捕捉全局和局部特征,改进了传统CNN在处理高频信息上的局限性。通过大规模的水下图像数据集对模型进行监督训练,使用对比学习目标函数优化模型性能。端到端模型操作简单,无需复杂的预处理,模型学习能力强,适用于多种水下环境,输出图像的对比度和清晰度显著提升。这个算法虽然有诸多的优势,但是对数据集的质量和多样性依赖较高,模型复杂度较高,训练时间较长。

Hu等人在[9]中提出了一种基于CNN的水下图像恢复方法,主要针对水下成像的退化问题,通过设计特定网络架构恢复退化图像。算法在网络设计上引入一个残差网络结构,通过跳跃连接保留原始图像的全局信息。采用结构相似性指数(SSIM)和均方误差(MSE)作为联合损失函数,提升图像的视觉质量。将物理水下图像退化模型嵌入网络训练过程,确保恢复结果的物理合理性。这样设计后网络结构轻量化,适合实际应用。通过结合物理模型,提高了对退化图像的恢复能力。但是,这个网络对高噪声图像的鲁棒性较弱,需要大量标注数据进行监督训练。

Wang等人在[41]中提出了一种专门设计的深度CNN方法,用于水下图像的对比度增强和细节恢复。网络包括多个卷积层和池化层,通过逐步提取特征实现增强,在训练阶段利用数据增强技术生成多种水下场景,通过最大化输出图像的对比度和清晰度,改进视觉感受。网络不仅结构简单,便于实现,而且训练后的模型适应性较强。但是网络在设计的时候没有充分考虑色彩校正问题和水体浑浊程度的问题。

Fabbri等人在[7]中提出了一种基于生成对抗网络(GAN)的水下图像增强方法,通过对抗训练生成高质量的图像。首先构建GAN框架,包括生成器和判别器两个网络,生成器用于生成增强图像,判别器用于区分增强图像与真实图像。然后,结合对抗损失和感知损失形成损失函数,提高图像的视觉质量。最后,进行无监督学习,利用无标注的水下图像进行训练,减轻数据标注的压力。GAN的对抗训练能生成高质量图像,无需大规模标注数据,不仅降低了训练成本,而且增强后的图像具有自然的色彩和纹理细节。但是网络对训练稳定性要求较高,容易发生模式崩溃,并且网络训练时间长,计算资源需求大。

Li等人在[8]中提出了WaterGAN,这是一种无监督生成网络,用于实时校正单目水下图像的颜色和清晰度。算法的网络架构是生成器模拟水下图像的退化过程,判别器评估退化图像与真实图像的相似性。通过生成器合成水下图像,创建真实感的训练数据。生成网络直接优化图像的颜色偏差,提升视觉效果。这个网络无需真实退化数据,训练数据生成灵活,同时能实时处理图像,适合在线应用。而网络的缺点就是模拟的退化数据可能与实际场景存在偏差,对高浊度水体的处理效果仍有局限。表4对上述算法进行了对比分析。

Table 4. Comparison of underwater image restoration algorithms based on deep learning

4. 基于深度学习的水下图像恢复算法对比

方法

端到端学习

依赖数据集

计算复杂度

训练时间

适用性

Anwar等人[32]

多种水下环境

Hu等人[9]

高噪声环境适应性较弱

Wang等人[41]

一般水下环境

Fabbri等人[7]

多种水下环境

Li等人[8]

实时处理

基于通用卷积架构的方法可同时估计环境光与透射率,提高去雾效果[42],而深度卷积神经场能够恢复水下光场深度图[43]。基于物理模型的两阶段方法结合大气散射模型,有效去除光散射效应[44],而光粒子相互作用去散射方法,提高图像清晰度[45]。此外,边界约束与上下文正则化去雾方法优化了散射校正过程[46],结合自适应灰度世界与差分直方图均衡化的方法进一步增强水下图像对比度[47]。最小信息损失原则在去雾的同时尽可能保持图像细节[48],确保高质量恢复效果。

2.5. 基于统计分析与先验知识的水下图像恢复算法

基于统计分析与先验知识的水下图像算法通过分析自然图像的统计特性和水下环境的光学特性,利用先验知识来恢复和增强水下图像。这种方法无需依赖复杂的深度学习模型,计算简单且物理解释性强。

He等人在[4]中提出的暗通道先验(Dark Channel Prior, DCP)方法,最初用于单张图像的雾霾去除。该方法基于自然图像的统计特性,假设在无雾环境下,图像的某些颜色通道在局部区域的像素值接近零。在输入图像的每个局部区域,计算最小值通道的最小值,得到暗通道图像。利用暗通道图像估计透射率,通过先验公式计算场景的透射率分布。结合大气光模型和透射率分布,重建无雾图像。

Yang等人在[40]中将暗通道先验应用于水下图像的增强,提出了一种低复杂度的改进方法,适用于水下特定环境。他们对暗通道先验方法进行改进,针对水下光线分布不均的问题调整透射率估计方式,加入颜色平衡模块,纠正水下图像的颜色失真问题,最后通过简化计算过程降低算法复杂度,使其适合实时处理。

Gao等人在[15]中提出了基于亮通道先验(Bright Channel Prior, BCP)的水下图像恢复方法,通过分析水下光学特性,提出亮通道概念以改进传统暗通道先验方法。算法在局部区域中计算颜色通道的最大值,得到亮通道图像,亮通道反映了场景光照的分布特性,利用亮通道图像校正透射率估计,增强水下图像的清晰度和对比度。结合水下成像模型,对恢复后的图像进行颜色平衡处理,提升视觉效果。表5对上述算法进行了对比分析。

水下图像处理技术涵盖计算机视觉、成像系统优化、降噪与去雾等多方面。计算机视觉技术被用于海底探索,提高目标检测与识别能力[49],总结了水下光学成像的挑战及处理方法[50] [51]。Speckle噪声抑制技术改善了水下成像质量[52],刀缘函数结合最优维纳滤波有效恢复模糊图像[53],自动预处理方法则优化了水下图像的色彩与对比度[54]。此外,四元数衰减反演[55]和联合对比度增强与湍流抑制[56]进一步提升了图像清晰度。基于预处理框架与无模型方法的去噪增强了水下图像质量[57] [58]。光晕光估计用于去雾,提高图像可视性[59],而区域特定恢复方法则适应非均匀光学环境[60]。单幅图像去雾[61]和模糊度深度估计[62]为水下图像增强提供了不同策略。水下图像传输相关方法[63]与 经验模式分解[64]也为视觉质量优化提供了新思路

Table 5. Comparison of underwater image restoration algorithms based on statistical analysis and prior knowledge

5. 基于统计分析与先验知识的水下图像恢复算法对比

方法

主要优点

主要缺点

适用场景

暗通道先验[4]

不依赖深度学习

对亮度高或颜色单一区域效果差

资源受限环境

改进暗通道先验[40]

增强效果贴合实际需求

处理严重退化图像效果有限

轻微浑浊水体

亮通道先验[15]

细节恢复能力强

对高浊度水体或极端光照条件适应性差

较为复杂的水下环境

基于统计分析与先验知识的水下图像去雾算法利用水下光传输模型,结合散射特性分析,估计环境光和透射率,从而有效恢复清晰度与色彩。该方法依赖于图像的统计特征和物理先验,提高了去雾效果,为后续基于深度学习和优化模型的方法奠定了基础。图2展示了通过不同算法处理后的图像。

Figure 2. Comparison of (a) Raw image, (b) UDCP [65], (c) ROP [66] and (d) ROP+ [67]

2. (a)原图与(b)水下暗通道先验[65]、(c)秩一先验[66]和(d)增强秩一先验[67]的比较

3. 结论

水下图像(图3)恢复技术是解决水下环境视觉质量退化问题的重要手段,其在海洋科学研究、生态监测、考古探测等领域具有广泛应用价值。根据已有研究,恢复方法主要分为基于物理模型、图像增强和深度学习三大类。物理模型方法通过模拟光在水下传播的物理过程,构建数学模型恢复图像的对比度和色彩

Figure 3. Comparison of (a) Raw image, (b) IBLA [68], (c) Gray-world [69] and (d) CBF [70]

3. (a)原图与(b)光吸收恢复法[68]、(c)灰度世界法[69]和(d)色彩平衡法[70]的比较

信息,具有理论基础清晰和结果解释性强的特点,但对水体散射和吸收参数依赖性较高,在实际复杂环境下难以取得理想效果。图像增强方法则通过调整图像的亮度、对比度和色彩分布,直接改善视觉效果,操作简单且无需先验信息支持,但可能引入伪影或丢失原始信息。深度学习方法近年来得到了广泛关注,通过训练大规模数据集,利用神经网络实现图像的去雾和修复,表现出强大的处理能力和适应性。然而,这类方法对高质量标注数据的依赖性较强,且在实际应用中可能面临计算成本和泛化能力不足的挑战。

除此之外,水下环境也是一种特殊的低光环境。在低光场景下,基于事件相机的去模糊和插帧算法在建模中均需要假设理想的事件触发模型,即事件检测时间与实际变化发生时间一致。在低光场景下,真实事件模型与理想事件模型存在较大的偏差,导致去模糊和插帧算法的建模不够准确,极大影响了这些算法的性能。针对上述问题,Yang等人在[71]中提出了基于事件的时序置信度指标,用于评估去模糊后图像的清晰程度,判断去模糊算法的效果;他们还提出了一个基于延迟与强度值的曲线,建模了延迟与模糊图像强度值的关系。基于时序置信度指标、事件积分的可导表达及上述曲线,他们实现了数据驱动的事件延迟矫正。实验结果表明,他们提出的方法能够校正事件相机的延迟,在一定程度上解决低光下基于事件相机的去模糊和插帧算法的退化问题。受此启发,针对水下图像应用基于事件相机的去模糊和插帧算法也是未来水下图像增强的发展方向。

尽管现有技术已取得显著进展,但水下图像恢复领域仍面临多重挑战。例如,真实水下环境的多样性和复杂性使得算法的通用性和鲁棒性受到限制;部分方法对光学参数和环境条件的依赖性过高;深度学习方法在数据集质量、模型轻量化设计及可解释性等方面尚有改进空间。此外,多种方法的融合研究较少,单一技术往往难以全面应对水下图像质量退化的复杂问题。

未来的研究应在以下几个方向上重点突破:首先,进一步开发混合式方法,将物理模型的理论性与深度学习的自适应能力结合,充分发挥不同方法的优势;其次,构建更具多样性和真实性的水下图像数据集,为算法的训练和测试提供可靠依据;再次,针对实际应用需求,设计轻量化、低功耗的算法,提高其在嵌入式设备中的应用能力;最后,验证技术在多种实际场景下的适用性,为水下考古、海洋生物监测和深海探测等领域提供精准可靠的支持。通过上述努力,水下图像去雾技术有望在科学研究和实际应用中发挥更大的价值,为探索海洋秘密提供强有力的技术保障。

参考文献

[1] Schechner, Y.Y. and Karpel, N. (2005) Recovery of Underwater Visibility and Structure by Polarization Analysis. IEEE Journal of Oceanic Engineering, 30, 570-587.
https://doi.org/10.1109/joe.2005.850871
[2] Treibitz, T. and Schechner, Y.Y. (2009) Active Polarization Descattering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31, 385-399.
https://doi.org/10.1109/tpami.2008.85
[3] Li, C., Guo, J., Cong, R., Pang, Y. and Wang, B. (2016) Underwater Image Enhancement by Dehazing with Minimum Information Loss and Histogram Distribution Prior. IEEE Transactions on Image Processing, 25, 5664-5677.
https://doi.org/10.1109/tip.2016.2612882
[4] He, K.M., Sun, J. and Tang, X.O. (2011) Single Image Haze Removal Using Dark Channel Prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 33, 2341-2353.
https://doi.org/10.1109/tpami.2010.168
[5] Galdran, A., Pardo, D., Picón, A. and Alvarez-Gila, A. (2015) Automatic Red-Channel Underwater Image Restoration. Journal of Visual Communication and Image Representation, 26, 132-145.
https://doi.org/10.1016/j.jvcir.2014.11.006
[6] Ancuti, C., Ancuti, C.O., Haber, T. and Bekaert, P. (2012) Enhancing Underwater Images and Videos by Fusion. 2012 IEEE Conference on Computer Vision and Pattern Recognition, Providence, 16-21 June 2012, 81-88.
https://doi.org/10.1109/cvpr.2012.6247661
[7] Fabbri, C., Islam, M.J. and Sattar, J. (2018) Enhancing Underwater Imagery Using Generative Adversarial Networks. 2018 IEEE International Conference on Robotics and Automation (ICRA), Brisbane, 21-25 May 2018, 7159-7165.
https://doi.org/10.1109/icra.2018.8460552
[8] Li, J., Skinner, K.A., Eustice, R.M. and Johnson-Roberson, M. (2017) WaterGAN: Unsupervised Generative Network to Enable Real-Time Color Correction of Monocular Underwater Images. IEEE Robotics and Automation Letters, 3, 387-394.
https://doi.org/10.1109/lra.2017.2730363
[9] Hu, Y., Wang, K. and Zhao, X. (2018) Underwater Image Restoration Based on Convolutional Neural Network. Proceedings of the 10th Asian Conference on Machine Learning, Beijing, 14-16 November 2018, 296-311.
[10] Borker, S. and Bonde, S. (2017) Contrast Enhancement and Visibility Restoration of Underwater Optical Images Using Fusion. International Journal of Intelligent Engineering and Systems, 10, 217-225.
https://doi.org/10.22266/ijies2017.0831.23
[11] Lu, H., Li, Y., Nakashima, S. and Serikawa, S. (2016) Turbidity Underwater Image Restoration Using Spectral Properties and Light Compensation. IEICE Transactions on Information and Systems, 99, 219-227.
https://doi.org/10.1587/transinf.2014edp7405
[12] Khan, R. (2015) Underwater Image Restoration Using Fusion and Wavelet Transform Strategy. Journal of Computers, 10, 237-244.
https://doi.org/10.17706/jcp.10.4.237-244
[13] Xie, K., Pan, W. and Xu, S. (2018) An Underwater Image Enhancement Algorithm for Environment Recognition and Robot Navigation. Robotics, 7, Article 14.
https://doi.org/10.3390/robotics7010014
[14] Chiang, J.Y. and Ying-Ching Chen, (2012) Underwater Image Enhancement by Wavelength Compensation and Dehazing. IEEE Transactions on Image Processing, 21, 1756-1769.
https://doi.org/10.1109/tip.2011.2179666
[15] Gao, Y., Li, H. and Wen, S. (2016) Restoration and Enhancement of Underwater Images Based on Bright Channel Prior. Mathematical Problems in Engineering, 2016, Article ID: 3141478.
https://doi.org/10.1155/2016/3141478
[16] Zhu, Q.S., Mai, J.M. and Shao, L. (2015) A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior. IEEE Transactions on Image Processing, 24, 3522-3533.
https://doi.org/10.1109/tip.2015.2446191
[17] Tan, C.S., Sluzek, A., L., G.S.G. and Jiang, T.Y. (2006) Range Gated Imaging System for Underwater Robotic Vehicle. OCEANS 2006—Asia Pacific, Singapore, 16-19 May 2006, 1-6.
https://doi.org/10.1109/oceansap.2006.4393938
[18] Wang, Y. (2018) A Novel Underwater Image Restoration Algorithm. International Journal of Performability Engineering, 14, 1513-1520.
https://doi.org/10.23940/ijpe.18.07.p15.15131520
[19] Wang, G., Zheng, B. and Fei Sun, F. (2011) Estimation-based Approach for Underwater Image Restoration. Optics Letters, 36, 2384-2386.
https://doi.org/10.1364/ol.36.002384
[20] Trucco, E. and Olmos-Antillon, A.T. (2006) Self-Tuning Underwater Image Restoration. IEEE Journal of Oceanic Engineering, 31, 511-519.
https://doi.org/10.1109/joe.2004.836395
[21] Roser, M., Dunbabin, M. and Geiger, A. (2014) Simultaneous Underwater Visibility Assessment, Enhancement and Improved Stereo. 2014 IEEE International Conference on Robotics and Automation (ICRA), Hong Kong, 31 May-7 June 2014, 3840-3847.
https://doi.org/10.1109/icra.2014.6907416
[22] Kaeli, J.W., Singh, H., Murphy, C. and Kunz, C. (2011) Improving Color Correction for Underwater Image Surveys. Oceans’11 MTS/IEEE KONA, Waikoloa, 19-22 September 2011, 1-6.
https://doi.org/10.23919/oceans.2011.6107143
[23] Wen, H.C., Tian, Y.H., Huang, T.J. and Gao, W. (2013) Single Underwater Image Enhancement with a New Optical Model. 2013 IEEE International Symposium on Circuits and Systems (ISCAS2013), Beijing, 19-23 May 2013, 753-756.
https://doi.org/10.1109/iscas.2013.6571956
[24] Drews Jr, P., do Nascimento, E., Moraes, F., Botelho, S. and Campos, M. (2013) Transmission Estimation in Underwater Single Images. 2013 IEEE International Conference on Computer Vision Workshops, Sydney, 2-8 December 2013, 825-830.
https://doi.org/10.1109/iccvw.2013.113
[25] Carlevaris-Bianco, N., Mohan, A. and Eustice, R.M. (2010) Initial Results in Underwater Single Image Dehazing. OCEANS 2010 MTS/IEEE SEATTLE, Seattle, 20-23 September 2010, 1-8.
https://doi.org/10.1109/oceans.2010.5664428
[26] Liu, C. and Meng, W. (2010) Removal of Water Scattering. Proceeding of International Conference Computer Engineering and Technology, Chengdu, 16-18 April 2010, 35-39.
[27] Iqbal, K., Abdul Salam, R. and Azam, O. (2007) Underwater Image Enhancement Using an Integrated Colour Model. IAENG International Journal of Computer Science, 34, 1-6.
[28] Hitam, M.S., Yussof, W.N.J.H.W., Awalludin, E.A. and Bachok, Z. (2013) Mixture Contrast Limited Adaptive Histogram Equalization for Underwater Image Enhancement. 2013 International Conference on Computer Applications Technology (ICCAT), Sousse, 20-22 January 2013, 1-5.
https://doi.org/10.1109/iccat.2013.6522017
[29] Deperlioglu, O., Köse, U. and Emre Guraksin, G. (2018) Underwater Image Enhancement with HSV and Histogram Equalization. Proceedings of the International Conference of Advanced technologies, Antalya, 28 April-1 May 2018 461-465.
[30] Zhang, W., Li, G. and Ying, Z. (2017) A New Underwater Image Enhancing Method via Color Correction and Illumination Adjustment. 2017 IEEE Visual Communications and Image Processing (VCIP), St. Petersburg, 10-13 December 2017, 1-4.
https://doi.org/10.1109/vcip.2017.8305027
[31] Zhishen, L., Tianfu, D. and Gang, W. (2003) ROV Based Underwater Blurred Image Restoration. Journal of Ocean University of Qingdao, 2, 85-88.
https://doi.org/10.1007/s11802-003-0033-0
[32] Anwar, S., Li, C. and Porikli, F. (2018) Deep Underwater Image Enhancement. arXiv: 1807.03528.
[33] Iqbal, K., Odetayo, M., James, A., Salam, R.A. and Hj Talib, A.Z. (2010) Enhancing the Low Quality Images Using Unsupervised Colour Correction Method. 2010 IEEE International Conference on Systems, Man and Cybernetics, Istanbul, 10-13 October 2010, 1703-1709.
https://doi.org/10.1109/icsmc.2010.5642311
[34] Chambah, M., Semani, D., Renouf, A., Courtellemont, P. and Rizzi, A. (2003) Underwater Color Constancy: Enhancement of Automatic Live Fish Recognition. SPIE Proceedings, California, 18 December 2003, 157-168.
https://doi.org/10.1117/12.524540
[35] Fu, X., Zhuang, P., Huang, Y., Liao, Y., Zhang, X. and Ding, X. (2014) A Retinex-Based Enhancing Approach for Single Underwater Image. 2014 IEEE International Conference on Image Processing (ICIP), Paris, 27-30 October 2014, 4572-7576.
https://doi.org/10.1109/icip.2014.7025927
[36] Wu, M., Luo, K., Dang, J. and Li, D. (2017) Underwater Image Restoration Using Color Correction and Non-Local Prior. OCEANS 2017—Aberdeen, Aberdeen, 19-22 June 2017, 1-5.
https://doi.org/10.1109/oceanse.2017.8084916
[37] Bt Shamsuddin, N., Bt Wan Ahmad, W.F., Baharudin, B.B., Kushairi, M., Rajuddin, M. and Bt Mohd, F. (2012) Significance Level of Image Enhancement Techniques for Underwater Images. 2012 International Conference on Computer & Information Science (ICCIS), Kuala Lumpur, 12-14 June 2012, 490-494.
https://doi.org/10.1109/iccisci.2012.6297295
[38] Ancuti, C.O. and Ancuti, C. (2013) Single Image Dehazing by Multi-Scale Fusion. IEEE Transactions on Image Processing, 22, 3271-3282.
https://doi.org/10.1109/tip.2013.2262284
[39] Gupta, R. and Farooqui, Z. (2015) Underwater Image Clearance Using Dark Channel and FFT Enhancement. International Journal of Computer Applications, 119, 21-25.
https://doi.org/10.5120/21377-4116
[40] Yang, H., Chen, P., Huang, C., Zhuang, Y. and Shiau, Y. (2011) Low Complexity Underwater Image Enhancement Based on Dark Channel Prior. 2011 Second International Conference on Innovations in Bio-Inspired Computing and Applications, Shenzhen, 16-18 December 2011, 17-20.
https://doi.org/10.1109/ibica.2011.9
[41] Wang, Y., Zhang, J., Cao, Y. and Wang, Z. (2017) A Deep CNN Method for Underwater Image Enhancement. 2017 IEEE International Conference on Image Processing (ICIP), Beijing, 17-20 September 2017, 1382-1386.
https://doi.org/10.1109/icip.2017.8296508
[42] Shin, Y., Cho, Y., Pandey, G. and Kim, A. (2016) Estimation of Ambient Light and Transmission Map with Common Convolutional Architecture. OCEANS 2016 MTS/IEEE Monterey, Monterey, 19-23 September 2016, 1-7.
https://doi.org/10.1109/oceans.2016.7761342
[43] Lu, H., Li, Y., Kim, H. and Serikawa, S. (2017) Underwater Light Field Depth Map Restoration Using Deep Convolutional Neural Fields. In: Lu, H. and Xu, X., Eds., Artificial Intelligence and Robotics, Springer, 305-312.
https://doi.org/10.1007/978-3-319-69877-9_33
[44] Wang, N., Qi, L., Dong, J., Fan, H., Chen, X. and Yu, H. (2017) Two-Stage Underwater Image Restoration Based on a Physical Model. SPIE Proceedings, Tokyo, 8 February 2017, 1-6.
https://doi.org/10.1117/12.2266488
[45] Yang, M., Sowmya, A., Wei, Z. and Zheng, B. (2017) Inshore Eutrophic Underwater Image Enhancement Based on Light-Particles Interaction Descattering. OCEANS 2017—Aberdeen, Aberdeen, 19-22 June 2017, 1-5.
https://doi.org/10.1109/oceanse.2017.8084657
[46] Meng, G., Wang, Y., Duan, J., Xiang, S. and Pan, C. (2013) Efficient Image Dehazing with Boundary Constraint and Contextual Regularization. 2013 IEEE International Conference on Computer Vision, Sydney, 1-8 December 2013, 617-624.
https://doi.org/10.1109/iccv.2013.82
[47] Wong, S., Paramesran, R. and Taguchi, A. (2018) Underwater Image Enhancement by Adaptive Gray World and Differential Gray-Levels Histogram Equalization. Advances in Electrical and Computer Engineering, 18, 109-116.
https://doi.org/10.4316/aece.2018.02014
[48] Li, C., Guo, J., Chen, S., Tang, Y., Pang, Y. and Wang, J. (2016) Underwater Image Restoration Based on Minimum Information Loss Principle and Optical Properties of Underwater Imaging. 2016 IEEE International Conference on Image Processing (ICIP), Phoenix, 25-28 September 2016, 1993-1997.
https://doi.org/10.1109/icip.2016.7532707
[49] Garcia, R., Nicosevici, T., Gracias, N., et al. (2017) Exploring the Seafloor with Underwater Robots: Land, Sea & Air. In: Lopez, A.M., Imiya, A., Pajdla, T., et al., Eds., Computer Vision in Vehicle Technology, John Wiley & Sons Ltd, 75-99.
[50] Lu, H., Li, Y., Zhang, Y., Chen, M., Serikawa, S. and Kim, H. (2017) Underwater Optical Image Processing: A Comprehensive Review. Mobile Networks and Applications, 22, 1204-1211.
https://doi.org/10.1007/s11036-017-0863-4
[51] Sahu, P., Gupta, N. and Sharma, N. (2014) A Survey on Underwater Image Enhancement Techniques. International Journal of Computer Applications, 87, 19-23.
https://doi.org/10.5120/15268-3743
[52] Li, H., Wang, X., Bai, T., Jin, W., Huang, Y. and Ding, K. (2009) Speckle Noise Suppression of Range Gated Underwater Imaging System. SPIE Proceedings, California, 2 September 2009, 1-8.
https://doi.org/10.1117/12.831994
[53] Wang, M., Zhou, S. and Yan, W. (2018) Blurred Image Restoration Using Knife-Edge Function and Optimal Window Wiener Filtering. PLOS ONE, 13, e0191833.
https://doi.org/10.1371/journal.pone.0191833
[54] Bazeille, S., Quidu, I., Jaulin, L., et al. (2006) Automatic Underwater Image Preprocessing. Proceeding Characterisation du Milieu Marin, Brest, 16-19 Octobre 2006, 1-11.
[55] Petit, F., Capelle-Laize, A. and Carre, P. (2009) Underwater Image Enhancement by Attenuation Inversionwith Quaternions. 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, 19-24 April 2009, 1177-1180.
https://doi.org/10.1109/icassp.2009.4959799
[56] Gibson, K.B. (2015) Preliminary Results in Using a Joint Contrast Enhancement and Turbulence Mitigation Method for Underwater Optical Imaging. OCEANS 2015—MTS/IEEE Washington, Washington, 19-22 October 2015, 1-5.
https://doi.org/10.23919/oceans.2015.7404514
[57] Arnold-Bos, A., Malkasse, J.P. and Kervern, G. (2005) A Preprocessing Framework for Automatic Underwater Images Denoising. Proceeding of European Conference Propagation and Systems, Pairs, 12-14 March 2005, 1-8.
[58] Arnold-Bos, A., Malkasse, J.P. and Kervern, G. (2005) Towards a Model-Free Denoising of Underwater Optical Images. Europe Oceans 2005, Brest, 20-23 June 2005, 527-532.
https://doi.org/10.1109/oceanse.2005.1511770
[59] Emberton, S., Chittka, L. and Cavallaro, A. (2015) Hierarchical Rank-Based Veiling Light Estimation for Underwater Dehazing. Proceedings of the British Machine Vision Conference 2015, Swansea, 7-10 September 2015, 125.1-125.12.
https://doi.org/10.5244/c.29.125
[60] Chen, Z., Wang, H., Shen, J., Li, X. and Xu, L. (2014) Region-Specialized Underwater Image Restoration in Inhomogeneous Optical Environments. Optik, 125, 2090-2098.
https://doi.org/10.1016/j.ijleo.2013.10.038
[61] Fattal, R. (2008) Single Image Dehazing. ACM Transactions on Graphics, 27, 1-9.
https://doi.org/10.1145/1360612.1360671
[62] Peng, Y., Zhao, X. and Cosman, P.C. (2015) Single Underwater Image Enhancement Using Depth Estimation Based on Blurriness. 2015 IEEE International Conference on Image Processing (ICIP), Quebec City, 27-30 September 2015, 4952-4956.
https://doi.org/10.1109/icip.2015.7351749
[63] Liu, Z. (2001) Underwater Image Transmission and Blurred Image Restoration. Optical Engineering, 40, 1125-1131.
https://doi.org/10.1117/1.1364500
[64] Çelebi, A.T. and Ertürk, S. (2012) Visual Enhancement of Underwater Images Using Empirical Mode Decomposition. Expert Systems with Applications, 39, 800-805.
https://doi.org/10.1016/j.eswa.2011.07.077
[65] Drews, P.L.J., Nascimento, E.R., Botelho, S.S.C. and Montenegro Campos, M.F. (2016) Underwater Depth Estimation and Image Restoration Based on Single Images. IEEE Computer Graphics and Applications, 36, 24-35.
https://doi.org/10.1109/mcg.2016.26
[66] Liu, J., Liu, R.W., Sun, J. and Zeng, T. (2021) Rank-One Prior: Toward Real-Time Scene Recovery. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, 20-25 June 2021, 14797-14805.
https://doi.org/10.1109/cvpr46437.2021.01456
[67] Liu, J., Liu, R.W., Sun, J. and Zeng, T. (2023) Rank-One Prior: Real-Time Scene Recovery. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45, 8845-8860.
https://doi.org/10.1109/tpami.2022.3226276
[68] Peng, Y. and Cosman, P.C. (2017) Underwater Image Restoration Based on Image Blurriness and Light Absorption. IEEE Transactions on Image Processing, 26, 1579-1594.
https://doi.org/10.1109/tip.2017.2663846
[69] Buchsbaum, G. (1980) A Spatial Processor Model for Object Colour Perception. Journal of the Franklin Institute, 310, 1-26.
https://doi.org/10.1016/0016-0032(80)90058-7
[70] Ancuti, C.O., Ancuti, C., De Vleeschouwer, C. and Bekaert, P. (2018) Color Balance and Fusion for Underwater Image Enhancement. IEEE Transactions on Image Processing, 27, 379-393.
https://doi.org/10.1109/tip.2017.2759252
[71] Yang, Y., Liang, J., Yu, B., Chen, Y., Ren, J.S. and Shi, B. (2024) Latency Correction for Event-Guided Deblurring and Frame Interpolation. 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, 16-22 June 2024, 24977-24986.
https://doi.org/10.1109/cvpr52733.2024.02359