基于深度学习的图像去雾研究综述
A Review of Research on Image Defogging Based on Deep Learning
DOI: 10.12677/jisp.2025.141003, PDF, HTML, XML,    科研立项经费支持
作者: 吉波涛, 陆利坤:北京印刷学院信息工程学院,北京
关键词: 深度学习单幅图像去雾图像处理Deep Learning Single Image Defogging Image Processing
摘要: 恶劣天气环境下拍摄的图像会受到雾或霾的影响,从而导致图像饱和度过低模糊、以及颜色灰白等负面效果,这不仅会使图像中的重要信息丢失,还会对后续计算机视觉任务(如目标检测、图像分割、人员再识别)的研究造成负面影响。为了解决上述问题,文章首先对图像去雾的发展历程进行分析和梳理,接下来重点论述了深度学习在图像去雾领域的研究进展,主要包含有监督去雾、无监督去雾和半监督去雾技术,并对各自的代表性算法进行深入对比分析。最后,介绍了图像去雾领域主流的数据集和评估指标。
Abstract: Images captured in harsh weather environments are often affected by fog or haze, which can lead to negative effects such as low saturation, blurring, and grayish-white colors. This not only results in the loss of important information in the image, but also has a negative impact on subsequent computer vision tasks such as object detection, image segmentation, and personnel re-identification. This article first provides a comprehensive analysis and sorting of image defogging and then reviews the research progress of deep learning in the field of image defogging, mainly including supervised defogging, unsupervised defogging, and semi-supervised defogging. We compared and analyzed representative algorithms among these methods. Finally, the commonly used datasets and evaluation metrics for image defogging were introduced.
文章引用:吉波涛, 陆利坤. 基于深度学习的图像去雾研究综述[J]. 图像与信号处理, 2025, 14(1): 21-33. https://doi.org/10.12677/jisp.2025.141003

1. 引言

近年来,随着计算机视觉的发展,图像去雾逐渐成为该领域的研究热点。雾或霾的形成取决于空气中悬浮粒子的类型、大小和浓度[1]。由于大气中微小的悬浮粒子会引发散射和吸收现象,形成一层覆盖物,从而影响视觉内容的感知敏锐度[2]。因此,在这种条件下拍摄的图像不仅对比度降低,还会覆盖一层白色的模糊[3]。这种模糊的图像会发生大量退化,从而丢失关键的信息内容并且降低各种机器视觉任务的性能,如对象检测、目标跟踪、语义分割[4]等。图像去雾技术的发展与应用成为纠正图像中雾霾的可行途径。图像去雾在安防监控、辅助驾驶、天气研究、地理信息研究等各个领域都有很高的需求。随着图像处理技术的发展,图像去雾的方法也在发生变化。图像去雾算法主要分为以下几类[5]:基于图像增强的方法、基于物理模型的方法、基于深度学习的方法,如图1所示。

Figure 1. Image dehazing classification

1. 图像去雾分类[6]

2. 图像去雾的发展历程

图像去雾技术的发展历程可以概括为从传统的图像处理技术到深度学习技术的逐步演进。图像去雾技术的发展历程可以详细划分为以下几个阶段:一、传统图像增强阶段:在这一阶段,研究者们开始关注雾霾天气对图像质量的影响,并尝试建立相关的物理模型来描述这一现象。McCartney模型和大气散射模型是这一时期的代表性成果,它们为后续的图像去雾算法提供了重要的理论基础。研究者们开发了多种图像增强方法来改善雾霾图像的质量。这些方法主要包括线性滤波、直方图均衡化等。这些算法通过调整图像的对比度、亮度等属性来尝试去除雾霾的影响,虽然效果有限,但在某些场景下仍具有一定的应用价值。二、物理模型阶段:随着对雾霾图像退化过程理解的深入,研究者们开始尝试建立基于物理模型的去雾算法。这类算法通过估计大气光值和透射率等参数,然后利用物理模型恢复出清晰图像。暗通道先验算法是这一时期的标志性成果,它通过假设在大多数非天空的局部区域中,至少有一个颜色通道具有很低的强度值(即暗通道),从而实现了对透射率的有效估计。三、深度学习阶段:近年来,随着深度学习技术的快速发展,特别是在计算机视觉领域的广泛应用,研究者们开始将这一技术引入图像去雾领域。深度学习通过构建深度神经网络模型,能够学习到从雾霾图像到清晰图像的复杂映射关系,从而实现更加高效和准确的图像去雾。

2. 基于图像增强的图像去雾方法

传统去雾方法一般采用图像增强方式对有雾图像进行对比度增强,图像增强技术的目的是将图像转化为一种更适合于人或计算机进行分析处理的形式,通过相关算法的处理,使图像的动态范围扩大,拉伸图像对比度,突出图像中研究者感兴趣区域的细节信息,为图像的进一步处理和分析奠定基础。具有代表性的算法有直方图均衡[7]、同态滤波[8]、Retinex算法[9]等。

直方图均衡是把一幅已知灰度概率分布的图像经过变换,使之变成灰度概率分布均匀的新图像。它是以累积分布函数变换法为基础的直方图修正方法,直方图均衡化的图像去雾流程的基本结构如图2

直方图均衡化方法虽然在图像去雾上取得了一定的效果,但由于它是一个全局修正的方法,所以会丢失处理图像的细节和像素空间位置信息,图像的整体色调会发生偏移并且会使图像的灰度层次感变差。因此,Li [10]等主要探讨了在低光照条件下,针对灰度图像的整体黑暗、光照不均匀和低对比度等问题,提出了一种全局和自适应对比度增强算法。该算法在增强低光照灰度图像的对比度方面表现出色,能够显著提高图像的视觉效果并避免局部区域的过度增强。Stark [11]等通过引入自适应机制和灵活可控的累积函数,实现了对图像对比度的有效增强。该方法不仅适用于不同类型的图像,还可以根据具体需求进行参数调整,以达到最佳的视觉效果。

Figure 2. Flow chart of histogram equalization dehazing

2. 直方图均衡化去雾流程图

接着Stimper [12]等通过多维度的直方图均衡化来增强图像的对比度,特别适用于处理复杂的多维数据集。该技术不仅提高了图像的可视化效果,还为科研人员提供了更能深入理解数据的新工具。

同态滤波图像去雾的基本原理在于利用图像的先验知识和雾的形成原理,通过估计雾的透射率和大气光,然后恢复图像的清晰度和真实色彩。同态滤波是一种将图像的亮度和对比度进行分离并分别增强的图像增强方法,而小波变换则是一种时频分析方法,能够分解信号为不同尺度的子带,并提取信号的细节特征。Adhikari [13]等通过在图像预处理阶段应用连续均值量化变换,以减少噪声和复杂度;而同态滤波则用于进一步改善图像的对比度和细节信息。这种组合方法可能能够更有效地提升图像的视觉质量。

Retinex [9]的图像去雾算法的核心思想是通过模拟人类视觉系统对颜色和亮度的感知方式,将图像分解为反射分量和照明分量,进而去除图像中的雾霾,恢复出清晰的原始图像。Retinex算法最初被Land [14]等人提出用于解决人类视觉系统中的色彩恒常性问题,即在不同光照条件下,人眼能够感知到物体相对稳定的颜色。在图像去雾领域,Retinex算法通过分离图像的反射分量和照明分量,实现雾霾的去除。其中,反射分量代表了图像的细节信息,而照明分量则代表了图像的亮度和对比度。其模型过程可以由以下公式表达:

I( x,y )=R( x,y )L( x,y ) (1)

其中, I( x,y ) 表示观察到的图像, R( x,y ) 表示物体的反射特性(即物体的颜色信息),而 L( x,y ) 表示入射光(即光照条件)。Retinex算法的目标是从观察到的图像 I( x,y ) 中估计出 L( x,y ) 并去除它,从而得到反映物体真实颜色的反射分量 R( x,y ) 。Choi [15]等人提出单尺度Retinex (Single Scale Retinex, SSR)雾天图像去雾算法,并对其进行优化以适应雾天图像的特性。SSR算法是Retinex理论的一种实现方式,它通过模拟人眼视觉系统对颜色和亮度的感知机制,对图像进行增强处理。在雾天图像中,由于雾气的存在,图像的对比度和色彩饱和度会显著降低,同时图像的清晰度也会受到影响。SSR算法旨在更好地去除雾气,提升图像的视觉效果。然而,SSR算法在处理某些图像时可能存在色彩失真或动态范围压缩不足的问题。因此,Jobson [16]等人提出MSR算法,通过联合多个尺度的SSR滤波结果来补偿这些问题。不同尺度的SSR滤波能够捕捉图像中不同尺度的细节信息,而MSR算法则通过加权平均这些结果来得到一个更加均衡和自然的增强图像。

3. 基于物理模型的去雾方法

与图像增强去雾方法不同的是,基于物理模型的去雾方法其性能更稳定、更高效、更优质。基于物理模型的图像去雾方法主要依赖于对图像成像过程中大气干扰因素的物理建模,通过这一模型来恢复图像的清晰度和对比度。如图3所示,通过模拟光在大气中的传播和散射过程,来估计图像中的雾霾程度并恢复清晰图像。这类方法通常需要复杂的数学运算和大量的计算资源,但在理论上具有较高的准确性和可靠性。该方法以雾霾成像机理为背景,将图像去雾过程与数学建模任务相联系,如图所示。该模型可以写作:

I( x )=J( x )t( x )+A( 1t( x ) ) (2)

上式中, I( x ) 为有雾图, J( x ) 为对应的无雾图像, A 为全局大气光, t( x ) 为介质透射率且有如下定义:

t( x )= e βd( x ) (3)

式中 β 表示散射系数,当拍摄环境为晴朗无雾时, β 趋于0, d( x ) 表示场景与相机的距离,当距离 d( x ) 无限大的时候, t( x ) 趋于0。图像去雾的求解过程就是利用已知的 I( x ) 求解未知的 J( x ) 的过程,这个过程中最关键的就是准确求出两个未知参数 A t( x ) 的值。如果我们可以估计 t( x ) A ,则脱雾图像 J( x ) 的公式为:

J( x )= I( x )A[ 1t( x ) ] t( x )        (4)

Figure 3. Schematic diagram of the atmospheric scattering model

3. 大气散射模型示意图

Figure 4. Image dehazing method based on physical model

4. 基于物理模型的图像去雾

3.1. 先验信息去雾方法

先验信息是指在处理图像之前,根据经验、统计规律或物理模型等已知的信息。如图4,在图像去雾中,先验信息通常用于辅助估计图像中的雾浓度或大气光等参数,从而恢复出清晰的图像。He等[17]提出的暗通道先验理论是图像去雾领域的一个重要理论基础,该先验指出,在大多数非天空区域,图像的暗通道(即每个像素在所有颜色通道中的最小值)通常在某个小区域内接近于零。雾的存在会使暗通道的值变大,因此可以利用暗通道先验来估计雾的浓度。

J dark ( x )= min yΩ( x ) ( min c{ r,g,b } J C ( y ) ) (5)

其中, J C ( y ) 表示图像J在像素y处、颜色通道C(红、绿、蓝)的亮度值。Ω(x)表示以像素x为中心的窗口。并且对于无雾图像J

J dark 0 (6)

Liu等[18]提出伽马校正先验去雾方法。伽马校正通常用于调整图像的亮度,而伽马校正先验则在此基础上,进一步应用于图像去雾领域,以提升去雾效果。Ju等[19]结合了伽马校正(Gamma Correction)和图像去雾技术,提出了一种新颖的图像先验方法(GCP),即伽马校正预处理,该方法首先将输入的雾度图像由提出的GCP预处理,得到雾度图像的均匀虚拟转换;然后,基于大气散射模型,从原始雾度图像和均匀虚拟转换中提取深度比,最后,采用全局策略和视觉指示器来恢复场景反射率,从而恢复雾度图像。

Berman等[20]提出了一种非局部去雾方法——雾线先验去雾,即可以仅用数百种不同的颜色来表示图像。在RGB空间中,这对应于数百个紧密的颜色簇。在有雾图像中,这些紧密的颜色簇会由于雾而发生变化,并在RGB空间中形成穿过大气光坐标的雾线。Berman提出了一种有效的算法来识别这些雾度线,并基于它们来估计每个像素的传输率。同时在正则化过程中考虑了估计的方差,因此只有符合模型假设的像素才有助于结果。

3.2. 偏微分方程去雾方法

虽然传统的暗通道先验等方法在图像去雾领域取得了显著成效,但偏微分方程(PDE)方法提供了一种不同的视角和工具来处理这类问题。PDE方法通常通过构建能够描述图像去雾过程的数学模型,并利用数值方法求解这些方程来恢复清晰图像。张等[21]提出利用数学中的分数阶微积分理论来改进图像去雾和增强的方法,分数阶微积分是传统整数阶微积分的一种推广,它允许对函数进行非整数阶的微分或积分操作。在图像处理中,分数阶偏微分方程能够更灵活地描述图像中的复杂结构和纹理,从而在处理如雾天图像等复杂场景时表现出更好的效果。

4. 基于深度学习的去雾方法

深度学习的兴起,给图像去雾带来了新思路,和以往的去雾方法相比,基于深度学习的去雾算法可以更加精确地恢复图像细节,具有更好的去雾效果。基于深度学习的图像去雾技术,其本质在于通过构建复杂的神经网络模型,自动学习和优化图像去雾的过程,从被雾霾等大气干扰因素影响的图像中恢复出清晰、真实的图像内容。基于卷积神经网络(CNN)的图像去雾技术是利用CNN强大的提取和学习能力,计算大气模型所需要的参数,从被雾霾污染的图像中恢复出清晰、无雾的图像。近几年兴起的方法主要是通过成对的有雾和无雾图像,来学习其中内在的关系,这种方法不需要显式的中间步骤或先验知识,而是通过学习输入和输出之间的直接映射关系来实现去雾。Cai等人[22]设计了一个端到端的DehazeNet去雾网络,该网络可以在没有传统的先验知识提取特征的条件下,直接学习传输图像和有雾图像的关系,这是图像去雾领域应用卷积神经网络的开山之作。

基于深度学习的去雾方法主要分为有监督去雾、无监督去雾和半监督去雾,如图5所示。其中有监督方法需要成对的模糊图像和清晰图像;无监督的方法通常以未配对的图像作为训练集。半监督算法就是利用合成配对数据和现实世界的非配对数据。

4.1. 有监督去雾方法

对于监督去雾模型,通常需要使用不同类型的监督信号来指导训练过程。一些常见的监督信号包括清晰图像与雾图像之间的像素级对应关系、雾图像与去雾图像之间的对应关系、以及额外的语义信息等。这有助于模型更好地学习去除雾气的特征。

例如基于端到端的CNN,这类方法直接将有雾图像作为输入,通过多层卷积神经网络进行处理,最终输出无雾图像。常见的模型包括GridDehazeNet [23]和4kDehazing [24]

Figure 5. Image dehazing method based on deep learning

5. 基于深度学习的图像去雾方法

GridDehazeNet是一种端到端可训练的CNN,方法的优势在于其不依赖于大气散射模型,可以高效地交换不同尺度的信息,从而有效缓解多尺度估计的瓶颈问题。GridDehazeNet由三个主要模块组成:预处理模块、骨干模块(backbone)和后处理模块。预处理模块由卷积层和残差密集块(RDB)组成,负责从给定的模糊图像中生成一系列特征图,这些特征图将作为后续处理的学习输入。骨干模块是GridDehazeNet的核心,它基于GridNet网络架构进行改进,并引入了注意力机制。该模块通过上采样、下采样块进行密集链接,实现了一种新的基于注意力的多尺度估计方法。这种方法可以有效地缓解传统多尺度方法中经常遇到的瓶颈问题,提高去雾效果。后处理模块主要用于减少最终输出图像中的伪影,提高去雾图像的质量。其结构与预处理模块相对称,通过进一步处理骨干模块的输出结果,得到更加清晰、真实的去雾图像。

4kDehazing是一个由三个深度CNN组成的一种新的网络。第一个CNN在降低分辨率的雾天输入图像中提取与雾相关的特征。然后,在双边空间中拟合局部仿射模型,以捕捉图像中的雾气特性。第二个CNN用于学习与学到的双边模型相对应的多个全分辨率引导图。这些引导图提供了关于图像结构和细节的重要信息,有助于后续的高频特征重建。第三个CNN将高质量的特征图融合成最终的去雾图像。通过结合前两个CNN的输出,该网络能够生成清晰、无雾的4K图像。该网络通过结合多引导双边学习和双边网格学习技术,可以从输入的有雾图中生成更多的边缘和高频细节。实现了在单个GPU上的实时去雾处理。该方法在大规模有雾图像数据集上取得了比较好的效果,不仅提高了去雾效果,还降低了计算复杂度,为高分辨率图像去雾提供了新的解决方案。

4.2. 无监督去雾方法

由于有监督和半监督去雾方法往往需要成对的数据集,这些数据集的获取是比较困难的,所以无监督去雾方法就显得尤为重要。无监督去雾方法是指一类在不需要成对匹配的带雾和清晰图像的情况下,直接对带雾图像进行处理以去除雾气的图像恢复技术。这类方法主要依赖于无监督学习,通过学习和理解带雾图像本身的特征,来恢复出清晰的图像。

无监督去雾算法中比较典型的模型有Cycle-Dehaze [25]和Deep-DCP [26]。Cycle-Dehaze是CycleGAN 架构的增强版本,用于单图像去雾。该架构由两个生成器(G和F)和两个判别器(和)组成。生成器G用于将有雾图像(X域)转换为无雾图像(Y域)。生成器F用于将无雾图像(Y域)转换回有雾图像(X域),以保持循环一致性。用于判别一张雾图是由F通过Y域产生的还是来自X域的原始雾图。用于判别一张无雾图是由G通过X域产生的还是来自Y域的原始清晰图像。Cycle-Dehaze通过结合多种损失函数来优化模型性能,主要包括对抗损失(Adversarial Loss)、循环一致性损失(Cycle-Consistency Loss)和感知一致性损失(Perceptual-Consistency Loss)。该方法通过非配对方式提供干净和朦胧的图像来训练网络,并且不依赖于大气散射模型参数的估计。该模型简单且有效,该方法在定量和质量上都取得了比较好的效果。

Deep-DCP网络基于上下文聚合网络(CAN)架构,从头开始进行端到端训练,不依赖于原始模糊图像之外的任何外部数据。它提供预测的透射图作为输出,从中可以轻松地重建去雾图像。Deep-DCP是一种具有创新性和实用性的单图像去雾方法,它通过深度学习和无监督学习的方式实现了对真实世界图像的有效去雾处理。该方法成功地解决了DCP对天空图像去雾效果不佳的缺点。

Yang [27]等提出的一种自增强的图像去雾框架,称为D4,该框架不只是估计传输图或干净的内容,而是专注于探索模糊和干净图像中包含的散射系数和深度信息。去雾网络G_D基于EfficientNet-lite3,用于估计雾图像的透射图和散射系数,根据估计的透射率和散射系数,可以计算出场景的深度图和清晰内容。细化网络G_R基于UNet,用于对去雾后的图像进行细化处理,以提高去雾效果。深度评估网络G_E基于EfficientNet-lite3用于从干净图像中估计深度信息。在估计场景深度的情况下,该方法能够重新渲染不同厚度的模糊图像,这进一步有利于去雾网络的训练。值得注意的是,整个训练过程只需要不配对的模糊图像和干净的图像,但成功地从单一的模糊图像中恢复散射系数、深度图和干净内容。

4.3. 半监督去雾方法

半监督去雾方法是一种将监督学习和无监督学习相结合的技术,旨在提升图像去雾的性能,特别是当模型需要在真实世界的有雾图像上应用时。半监督去雾方法使用大量未标记的数据以及一部分标记数据来进行学习,可以有效地提高模型的泛化能力。

具有代表性的半监督去雾方法有PSD [28]和SSID [29]等。PSD包括两个阶段:有监督的预训练和无监督的微调[30]。包含两个关键组件:物理兼容头和大气光估计网络。物理兼容头由两个分支组成,每个分支包含两个卷积层。它用于从骨干网络的输出中分别生成传输图和无雾图像。大气光估计网络是一个独立的子网络,用于从模糊输入中估计大气光。通过重建损失与骨干网络建立连接。该框架在无参考质量指标评估的视觉质量以及主观评估和下游任务性能指标方面,为现实世界的去雾建立了新的最先进的性能。

Table 1. Common datasets for image dehazing

1. 图像去雾常用数据集

数据集

来源

数量

类别

数据集链接

RESIDE

合成

13990

室内、室外

https://sites.google.com/view/reside-dehaze-datasets/reside-standard?authuser=3D0

D-Hazy

合成

1400

室内

http://m6z.cn/5IBatp

I-HAZE

雾霾器生成

35

室内

https://data.vision.ee.ethz.ch/cvl/ntire18/i-haze/

O-HAZE

雾霾器生成

25

室外

https://data.vision.ee.ethz.ch/cvl/ntire18/o-haze/

NH-HAZE

雾霾器生成

55

室外

https://data.vision.ee.ethz.ch/cvl/ntire20/nh-haze/

MRFID

收集

200

室外

https://opendatalab.org.cn/MRFID

BeDDE

收集

208

自然图像

https://github.com/xiaofeng94/BeDDE-for-defogging

Li [31]等提出了一种有效的半监督学习算法用于单幅图像去雾。该算法采用一个包含监督学习分支和一个无监督学习分支的深度卷积神经网络(CNN)。采用了一种半监督学习框架,该框架结合了监督学习和无监督学习的优点,在有限的标注数据下实现了高效的学习。监督学习分支:在标注的数据集上进行训练,通过均方损失、感知损失和对抗损失等监督损失函数来约束网络的学习过程。这些损失函数能够确保网络在标注数据上的预测结果与真实值保持一致。无监督学习分支:在未标注的数据集上进行训练,通过暗通道损失和总变化损失等无监督损失函数来约束网络。这些损失函数能够利用清晰图像的特性来指导网络的学习过程,从而帮助网络更好地泛化到未标注的数据上。损失函数包含监督损失和无监督损失两个函数。该算法对合成图像和真实的有雾图像都具有良好的去雾效果。

5. 数据集和评价指标

图像去雾数据集在训练和评估图像去雾算法中起着至关重要的作用。表1列出了图像去雾常用的数据集,大致可以分为三类,分别为:基于包含深度注释的数据集而合成的、由一个专业的雾霾发生器制作出来的、最近提出的包含在真实世界中收集到的有雾和无雾的图像。

5.1. 基于包含深度注释的数据集

这一类具有代表性的数据集有:RESIDE [32]、D-Hazy [33]等。RESIDE数据集是目前最大的图像去雾数据集之一,它提供了大量的合成和真实世界的模糊图像,以及多样化的评估标准,RESUDE数据集涵盖了多种天气条件和场景,确保了数据的多样性和代表性。为图像去雾算法的研究提供了丰富的资源。D-Hazy数据集是一个专门用于定量评估去雾算法的数据集,它建立在Middelbury和NYU深度数据集的基础上,通过利用这些数据集提供的图像及其相应的深度图,结合雾介质的物理模型,合成了相应的朦胧场景。D-Hazy数据集包含1400多对图像,每对图像包括一个地面真实参考图像(无雾图像)和一个对应的模糊图像(有雾图像)。这些图像覆盖了各种室内和室外场景,用于模拟和评估在不同雾度条件下的图像去雾效果,此外,数据集还提供了每幅模糊图的深度图,这些深度图是基于Middelbury和NYU深度数据集中的原始数据生成的。

5.2. 基于雾霾制作器生成的数据集

这一类具有代表性的数据集有I-HAZE [34]、O-HAZE [35]、NH-HAZE [36]等。I-HAZE数据集为图像去雾领域的研究提供了一个有价值的资源,特别是在室内环境下。通过使用该数据集,研究人员可以开发和评估各种去雾算法,以提高图像的质量和清晰度。O-HAZE数据集是一个专注于户外模糊图像的数据集,具有真实性、多样性和地面实况图像等特点。NH-HAZE数据集主要用于图像去雾算法的研究和评估,特别是在非均匀雾霾环境下。这是第一个非同质图像去雾数据集,包含55个户外场景。

5.3. 基于真实世界收集的数据集

具有代表性的数据集有MRFID [37]、BeDDE [38]等,BeDDE是一个包含208对模糊和清晰图像的基准数据集,用于评估除雾算法的性能。通过提出可见性指数(VI)和真实性指数(RI)两个评估标准,BeDDE为除雾算法的研究和开发提供了有力的支持。

5.4. 图像质量评估指标

图像去雾评价指标的介绍如图6,主要包括主观评价和客观评价两类。主观评价即通过肉眼观察经过去雾处理的图像,从图像的纹理特征、对比度、饱和度及细节信息等多方面进行感官感受和评价。这种方法主要依赖于人眼视觉系统的主观感受,其优点在于不需要专业的技术或经验,且非常适合于色彩变化较大的图像。然而,主观评价也存在不足,如不同的测试员对相同的处理结果极易出现偏差,导致评价结果的主观性和不一致性。客观评价则是通过一系列的数学指标来量化图像去雾的效果,常用的评价指标包括峰值信噪比(PSNR)、结构相似度(SSIM)和均方误差(MSE)等。PSNR (Peak Signal-to-Noise Ratio,峰值信噪比)是衡量图像质量的一个常用指标,特别是在图像压缩和图像去噪等领域,它表示信号的最大可能功率与影响以及精度的破坏性噪声功率的比值。对于8位深度的图像(即像素值范围从0到255),PSNR的计算公式可以表示为:

PSNR=10 log 10 ( MAX 1 2 MSE ) (7)

其中 MAX I 是图像可能的最大像素值。对于8位图像, MAX I =255 。MSE是原图像与处理图像之间的均方误差(Mean Squared Error),其计算公式为:

MSE= 1 MN i=0 m1 j=0 n1 [ I( i,j )k( i,j ) ] 2 (8)

其中mn分别为图像的行数和列数, I( i,j ) 是原图像在坐标 ( i,j ) 处的像素值。 K( i,j ) (例如去雾后的图像)在坐标 ( i,j ) 处的像素值。将MSE的公式代入PSNR的公式中,我们得到:

PSNR=10 log 10 ( MAX 1 2 1 MN i=0 m1 j=0 n1 [ I( i,j )K( i,j ) ] 2 ) (9)

Figure 6. Image evaluation index

6. 图像评估指标

这个公式用于计算两幅图像之间的PSNR值,PSNR值越高,表示处理后的图像质量越好,与原图的差异越小。在图像去雾的上下文中,PSNR可以用来评估去雾算法的效果,即去雾后的图像与清晰无雾图像之间的相似度,是一种衡量两幅图像相似度的指标,它考虑了图像的亮度、对比度和结构信息。

SSIM(结构相似性)与PSNR(峰值信噪比)不同,SSIM能够更准确地反映图像质量的细微差别。SSIM的计算基于图像中的局部区域,而不是整个图像。对于每个局部区域,SSIM通过比较其亮度、对比度和结构三个方面的相似性来得到该区域的相似度值。然后,这些局部相似度值被平均或加权平均以得到整幅图像的SSIM值。

MSE(Mean Squared Error,均方误差)是图像处理中常用的图像质量评估指标之一。它主要用于衡量两幅图像之间的相似度或差异度,通过计算两幅图像对应像素值之差的平方和,然后求其平均值来得到。MSE的值越小,说明两幅图像越相似,即图像质量越好或处理后的图像与原始图像越接近。对于彩色RGB图像,MSE的计算可以分别针对R、G、B三个通道进行,然后取三个通道MSE的平均值作为整幅图像的MSE值。具体步骤如下:1) 确定图像尺寸:获取图像的长(M)和宽(N)。2) 计算像素差值的平方:对于两幅图像的每一个对应像素 ( i,j ) ,计算其像素值之差的平方。3) 求和并求平均:将所有像素差值的平方相加,然后除以像素总数(M × N),得到MSE值。

6. 结论

本文对深度学习在图像去雾中的应用进行了综述。在进行各类方法对比分析后,发现深度学习在图像去雾领域的潜力仍值得关注。随着深度学习算法的不断优化和改善,图像去雾的性能会进一步提升并且图像去雾的应用领域会更加广泛。随着深度学习等技术的不断发展,图像去雾算法的性能和效率将不断提高,有望为各个领域的发展带来新的机遇和挑战。未来,图像去雾技术将更加注重实时性和准确性,以满足更多实际应用场景的需求。深度学习方法将继续完善,进一步助力图像去雾的发展。

基金项目

北京市教育委员会出版学新兴交叉学科平台建设–数字喷墨印刷技术及多功能轮转胶印机关键技术研发平台(项目编号:04190123001/003);北京市数字教育研究重点课题(BDEC2022619027);北京市高等教育学会2023年立项面上课题(课题编号:MS2023168);北京印刷学院校级科研项目(20190122019、Ec202303、Ea202301、E6202405);北京印刷学院学科建设和研究生教育专项(21090122012、21090323009);北京市自然科学基金资助项目(1212010)。

参考文献

[1] Sujeesh Kumar, J., Shiny, B. and Sugathan, P. (2021) Review Paper on Image Dehazing Techniques. International Journal of Engineering Research & Technology, 10, 7-9.
[2] Joseph, J.E. and Gopakumar, G. (2021) A Comprehensive Review on Image Dehazing. International Journal of Engineering Research and Technology, 9, 1074-1077.
[3] Parihar, A.S., Gupta, Y.K., Singodia, Y., Singh, V. and Singh, K. (2020) A Comparative Study of Image Dehazing Algorithms. 2020 5th International Conference on Communication and Electronics Systems (ICCES), Coimbatore, 10-12 June 2020, 766-771.
https://doi.org/10.1109/icces48766.2020.9138037
[4] Mahatma, H. (2021) Review on Single Image Dehazing Techniques. International Journal for Research in Applied Science and Engineering Technology, 9, 64-68.
https://doi.org/10.22214/ijraset.2021.33168
[5] Ju, M., Ding, C., Zhang, D. and Guo, Y.J. (2018) Gamma-Correction-Based Visibility Restoration for Single Hazy Images. IEEE Signal Processing Letters, 25, 1084-1088.
https://doi.org/10.1109/lsp.2018.2839580
[6] 吴成茂. 直方图均衡化的数学模型研究[J]. 电子学报, 2013, 41(3): 598-602.
[7] 陈国强, 徐丽, 于雷, 等. 中国人工智能产品的设计评价现状与发展趋势研究综述[J]. 包装工程, 2023, 44(12): 16-28, 117.
[8] Yugander, P., Tejaswini, C.H., Meenakshi, J., kumar, K.S., Varma, B.V.N.S. and Jagannath, M. (2020) MR Image Enhancement Using Adaptive Weighted Mean Filtering and Homomorphic Filtering. Procedia Computer Science, 167, 677-685.
https://doi.org/10.1016/j.procs.2020.03.334
[9] Jobson, D.J. (2004) Retinex Processing for Automatic Image Enhancement. Journal of Electronic Imaging, 13, 100-110.
https://doi.org/10.1117/1.1636183
[10] Li, C., Liu, J., Liu, A., Wu, Q. and Bi, L. (2019) Global and Adaptive Contrast Enhancement for Low Illumination Gray Images. IEEE Access, 7, 163395-163411.
https://doi.org/10.1109/access.2019.2952545
[11] Stark, J.A. (2000) Adaptive Image Contrast Enhancement Using Generalizations of Histogram Equalization. IEEE Transactions on Image Processing, 9, 889-896.
https://doi.org/10.1109/83.841534
[12] Stimper, V., Bauer, S., Ernstorfer, R., Scholkopf, B. and Xian, R.P. (2019) Multidimensional Contrast Limited Adaptive Histogram Equalization. IEEE Access, 7, 165437-165447.
https://doi.org/10.1109/access.2019.2952899
[13] Adhikari, S. and Panday, S.P. (2019) Image Enhancement Using Successive Mean Quantization Transform and Homomorphic Filtering. 2019 Artificial Intelligence for Transforming Business and Society (AITB), Kathmandu, 5 November 2019, 1-5.
https://doi.org/10.1109/aitb48515.2019.8947437
[14] Land, E.H. (1977) The Retinex Theory of Color Vision. Scientific American, 237, 108-128.
https://doi.org/10.1038/scientificamerican1277-108
[15] Choi, D.H., Jang, I.H., Kim, M.H. and Kim, N.C. (2008) Color Image Enhancement Using Single-Scale Retinex Based on an Improved Image Formation Model. 2008 16th European Signal Processing Conference, 25-29 August 2008, Lausanne, 1-5.
[16] Jobson, D.J., Rahman, Z. and Woodell, G.A. (1997) A Multiscale Retinex for Bridging the Gap between Color Images and the Human Observation of Scenes. IEEE Transactions on Image Processing, 6, 965-976.
https://doi.org/10.1109/83.597272
[17] He, K.M., Sun, J. and Tang, X.O. (2009) Single Image Haze Removal Using Dark Channel Prior. 2009 IEEE Conference on Computer Vision and Pattern Recognition, Miami, 20-25 June 2009, 1956-1963.
https://doi.org/10.1109/cvpr.2009.5206515
[18] Liu, C., Zhao, J., Shen, Y., Zhou, Y., Wang, X. and Ouyang, Y. (2016) Texture Filtering Based Physically Plausible Image Dehazing. The Visual Computer, 32, 911-920.
https://doi.org/10.1007/s00371-016-1259-3
[19] Ju, M., Ding, C., Guo, Y.J. and Zhang, D. (2020) IDGCP: Image Dehazing Based on Gamma Correction Prior. IEEE Transactions on Image Processing, 29, 3104-3118.
https://doi.org/10.1109/tip.2019.2957852
[20] Berman, D., Treibitz, T. and Avidan, S. (2020) Single Image Dehazing Using Haze-Lines. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42, 720-734.
https://doi.org/10.1109/tpami.2018.2882478
[21] 张然. 基于分数阶偏微分方程的雾天图像增强算法[D]: [硕士学位论文]. 西安: 西安理工大学, 2018.
[22] Cai, B., Xu, X., Jia, K., Qing, C. and Tao, D. (2016) Dehazenet: An End-to-End System for Single Image Haze Removal. IEEE Transactions on Image Processing, 25, 5187-5198.
https://doi.org/10.1109/tip.2016.2598681
[23] Liu, X., Ma, Y., Shi, Z. and Chen, J. (2019) GridDehazeNet: Attention-Based Multi-Scale Network for Image Dehazing. 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, 27 October-2 November 2019, 7313-7322.
https://doi.org/10.1109/iccv.2019.00741
[24] Zheng, Z., Ren, W., Cao, X., Hu, X., Wang, T., Song, F., et al. (2021). Ultra-High-Definition Image Dehazing via Multi-Guided Bilateral Learning. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, 20-25 June 2021, 16180-16189.
https://doi.org/10.1109/cvpr46437.2021.01592
[25] Engin, D., Genc, A. and Ekenel, H.K. (2018) Cycle-Dehaze: Enhanced CycleGAN for Single Image Dehazing. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Salt Lake City, 18-22 June 2018, 938
https://doi.org/10.1109/cvprw.2018.00127
[26] Golts, A., Freedman, D. and Elad, M. (2020) Unsupervised Single Image Dehazing Using Dark Channel Prior Loss. IEEE Transactions on Image Processing, 29, 2692-2701.
https://doi.org/10.1109/tip.2019.2952032
[27] Yang, Y., Wang, C., Liu, R., Zhang, L., Guo, X. and Tao, D. (2022) Self-Augmented Unpaired Image Dehazing via Density and Depth Decomposition. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, 18-24 June 2022, 2027-2036.
https://doi.org/10.1109/cvpr52688.2022.00208
[28] Chen, Z., Wang, Y., Yang, Y. and Liu, D. (2021) PSD: Principled Synthetic-to-Real Dehazing Guided by Physical Priors. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, 20-25 June 2021, 7176-7185.
https://doi.org/10.1109/cvpr46437.2021.00710
[29] Li, L., Dong, Y., Ren, W., Pan, J., Gao, C., Sang, N., et al. (2020) Semi-Supervised Image Dehazing. IEEE Transactions on Image Processing, 29, 2766-2779.
https://doi.org/10.1109/tip.2019.2952690
[30] Li, B., Peng, X., Wang, Z., Xu, J. and Feng, D. (2017) AOD-Net: All-in-One Dehazing Network. 2017 IEEE International Conference on Computer Vision (ICCV), Venice, 22-29 October 2017, 4780-4788.
https://doi.org/10.1109/iccv.2017.511
[31] Li, L., Dong, Y., Ren, W., Pan, J., Gao, C., Sang, N., et al. (2020) Semi-Supervised Image Dehazing. IEEE Transactions on Image Processing, 29, 2766-2779.
https://doi.org/10.1109/tip.2019.2952690
[32] Li, B., Ren, W., Fu, D., Tao, D., Feng, D., Zeng, W., et al. (2019) Benchmarking Single-Image Dehazing and Beyond. IEEE Transactions on Image Processing, 28, 492-505.
https://doi.org/10.1109/tip.2018.2867951
[33] Ancuti, C., Ancuti, C.O. and De Vleeschouwer, C. (2016) D-HAZY: A Dataset to Evaluate Quantitatively Dehazing Algorithms. 2016 IEEE International Conference on Image Processing (ICIP), Phoenix, 25-28 September 2016, 2226-2230.
https://doi.org/10.1109/icip.2016.7532754
[34] Ancuti, C., Ancuti, C.O., Timofte, R., De Vleeschouwer, C. (2018) I-HAZE: A Dehazing Benchmark with Real Hazy and Haze-Free Indoor Images. In: Blanc-Talon, J., Helbert, D., Philips, W., Popescu, D. and Scheunders, P., Eds., Advanced Concepts for Intelligent Vision Systems, ACIVS 2018, Springer, 620-631.
https://doi.org/10.1007/978-3-030-01449-0_52
[35] Ancuti, C.O., Ancuti, C., Timofte, R. and De Vleeschouwer, C. (2018) O-HAZE: A Dehazing Benchmark with Real Hazy and Haze-Free Outdoor Images. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Salt Lake City, 18-22 June 2018, 867-8678.
https://doi.org/10.1109/cvprw.2018.00119
[36] Ancuti, C.O., Ancuti, C. and Timofte, R. (2020) NH-HAZE: An Image Dehazing Benchmark with Non-Homogeneous Hazy and Haze-Free Images. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Seattle, 14-19 June 2020, 1798-1805.
https://doi.org/10.1109/cvprw50498.2020.00230
[37] Liu, W., Hou, X., Duan, J. and Qiu, G. (2020) End-to-End Single Image Fog Removal Using Enhanced Cycle Consistent Adversarial Networks. IEEE Transactions on Image Processing, 29, 7819-7833.
https://doi.org/10.1109/tip.2020.3007844
[38] Zhao, S., Zhang, L., Huang, S., Shen, Y. and Zhao, S. (2020) Dehazing Evaluation: Real-World Benchmark Datasets, Criteria, and Baselines. IEEE Transactions on Image Processing, 29, 6947-6962.
https://doi.org/10.1109/tip.2020.2995264