基于Laplace金字塔图像融合的含雾图像去雾方法

Haze Removal Method for Hazy Images Based on Laplacian Pyramid Image Fusion

摘要: 雾天场景中采集的图像易被大量雾气遮盖，导致图像清晰度大大降低、物体细节无法呈现，严重影响后续信息提取以及目标检测。针对这一问题，本文提出一种基于Laplace金字塔图像融合的去雾方法。首先将含雾彩色图像转换为灰度图像，分别采用传统小波去雾方法和直方图均衡化方法对灰度图像进行预处理，得到两幅中间处理图像，然后通过Laplace金字塔图像融合技术，生成去雾目标图像。实验结果显示，该方法在主观视觉上能更清晰还原景物细节信息，客观指标也明显优于文章提到的其他方法，表明该方法整体去雾效果更加理想，是一种行之有效的去雾方法。

Abstract: Images captured in foggy scenes are easily obscured by a large amount of fog, which significantly reduces image clarity, makes object details invisible, and seriously affects subsequent information extraction and target detection. To address this issue, this paper proposes a haze removal method based on Laplacian Pyramid image fusion. First, the hazy color image is converted into a grayscale image. The traditional wavelet haze removal method and histogram equalization method are respectively used to preprocess the grayscale image, resulting in two intermediate processed images. Then, the Laplacian Pyramid image fusion technology is applied to generate the haze-removed target image. Experimental results show that this method can more clearly restore the detailed information of scenes in terms of subjective vision, and its objective indicators are significantly better than other methods mentioned in the paper. This indicates that the proposed method has a more ideal overall haze removal effect and is an effective haze removal method.

1. 引言

近年来我国道路交通事业快速发展，雾霾天气亦随之愈发频繁。过去数年间，国内多地均出现过不同程度的雾霾，部分地区雾霾甚至会持续多日不散。雾霾天气下能见度骤降，对各类交通方式影响显著：公路运输中，驾驶员由于视野有效范围受到限制，通常需要放缓行车速度来确保行驶安全，这一举措会降低运输效率，同时，也可能出现视觉上的误判，进一步加大车辆行驶过程中的安全隐患。航空领域受影响更为直接，此类极端天气下能见度极差，飞机驾驶员出现判断失误的概率显著升高，对飞机起降阶段的机身安全及乘客生命构成威胁。若机场周边被大雾笼罩，极易带来难以预估的经济损失，同时严重威胁出行人员的生命安全。铁路运输同样难逃影响，雾霾中含有的大量金属阳离子及污染颗粒，常会附着在行驶的列车表面。高浓度离子颗粒作用于列车时，可能诱发“污闪”现象，损坏列车电气设备，对列车的电力传输及安全运行产生负面影响。因此对产生的雾天图像进行去雾是有意义的。图像去雾可辅助观察者更便捷地分析处理图像。雾天图像因光照低，色彩暗淡不鲜明、对比度下降，还易受未知噪声干扰，导致肉眼难以甄别物体轮廓。近十余年，许多学者针对有雾图像的复原、色彩增强及去雾问题进行研究[1]-[7]。图像去雾目前仍是图像处理领域中较为新颖的分支方向，尽管部分技术手段具备一定成效，却在若干方面存在短板，因此弥补这些技术手段的缺陷、推动其技术改进，依旧是当前值得深入探究的方向。本文所提出的方法是通过Laplace金字塔图像融合方法将通过传统小波去雾方法处理后的图像和直方图均衡化后的图像进行融合，得到最终的去雾图像，与本文提到的其他方法相比，该方法处理后的图像较清晰，去雾效果更好。

2. 基于Laplace金字塔的图像融合

2.1. Gauss金字塔[8]

要想得到Laplace金字塔，首先需要得到Gauss金字塔，下面先来介绍一下Gauss金字塔。Gauss金字塔是通过Gauss金字塔分解生成的，Gauss金字塔分解是一种基础的图像分解技术，其核心流程是先对原始图像进行高斯低通滤波和隔行隔列的下采样，最终生成分辨率逐层递减的塔状图像序列。在具体的构建过程中，将待处理图像设定为Gauss金字塔的第0层，记为相应符号$G_0$ 。随后对第0层图像执行高斯低通滤波，滤除高频信息后，进一步实施隔行隔列的下采样，据此得到Gauss金字塔的第1层图像，用对应符号$G_1$ 表示。针对已获取的第1层图像，再次开展高斯低通滤波与下采样操作，便得到Gauss金字塔的第2层，记为特定符号$G_2$ 。以此类推，重复上述滤波与下采样步骤，便得到了Gauss金字塔的所有层级图像。

Gauss金字塔的第$l$ 层图像$G_l$ 为：

$G_l={\displaystyle \sum _{a=-2}^2{\displaystyle \sum _{b=-2}^2\omega }\left(a,b\right)G_{l-1}}\left(2i+a,2j+b\right)$ , $0<l\le N$ , $0<i\le C_l$ , $0<j\le R_l$ , (1)

其中，N表示Gauss金字塔的总层数；$C_l$ ，$R_l$ 分别表示金字塔$l$ 层的列数和行数；$\omega$ 表示权函数矩阵。

$\omega =\frac{1}{256}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]$ (2)

至此，$G_0,G_1,\cdots ,G_N$ 构成了图像的Gauss金字塔；$G_0$ 表示原始图像；$G_N$ 表示Gauss金字塔的最顶层；可以发现，$G_{l-1}$ 经过高斯低通滤波，然后进行隔行隔列的下采样便可得到$G_l$ ，$G_l$ 是$G_{l-1}$ 的四分之一。Gauss金字塔分解图像如图1所示，从左至右分别是第0层至第3层。

Figure 1. Gaussian pyramid decomposed image

图1. Gauss金字塔分解图像

2.2. Laplace金字塔[9]

将$G_l$ 进行差值膨胀上采样，得到放大图像$G_l^{\ast }$ ，过程的表达式为

$G_l^{\ast }=4{\displaystyle \sum _{a=-2}^2{\displaystyle \sum _{b=-2}^2\omega \left(a,b\right)G_l\left(\frac{i+a}{2},\frac{j+b}{2}\right)}}$ , $0<l\le N$ , $0<i\le C_l$ , $0<j\le R_l$ , (3)

其中

$G_l^{\ast }\left(\frac{i+a}{2},\frac{j+b}{2}\right)=\{\begin{array}{l}{G}_l\left(\frac{i+a}{2},\frac{j+b}{2}\right),\frac{i+a}{2},\frac{j+b}{2}�整�\\ 0,其他，\end{array}$

则Lplace金字塔第$l$ 层的表达式为：

$L_l=\{\begin{array}{l}{G}_l-G_{l+1}^{\ast },0\le l<N\\ G_N,l=N\end{array}$ (4)

其中N是Laplace金字塔最高层的尾号；$L_l$ 是Laplace金字塔分解后的第$l$ 层图像。

得到全部Gauss金字塔子图像序列$G_l$ 后，对其上一层子图进行上采样得到$G_l^{\ast }$ ，该层Gauss金字塔图像与$G_l^{\ast }$ 相减得到图像$L_l$ ，将得到的所有图像序列进行组合便得到Laplace金字塔序列。可表示为$L_0,L_1,\cdots ,L_N$ ，Laplace金字塔分解图像以及laplace金字塔的构造过程分别如图2和图3所示。其中图2从左至右分别是laplace金字塔的第0层至第2层。

Figure 2. Laplacian pyramid decomposed image

图2. Laplace金字塔分解图像

Figure 3. Laplacian pyramid constructed image

图3. Laplace金字塔构造图像

3. 图像去雾方法

3.1. 基于MALLAT算法的图像去雾方法[10]

采用小波变换对含雾图像实施一次分解操作，得到一个低频子图与三个高频细节子图。随后，采用灰度线性变换对低频子图进行处理，运用对数变换对三个高频子图进行处理，最终把处理后的四个子图执行小波逆变换重构，获得最终的去雾图像。

3.1.1. MALLAT算法

MALLAT算法基于多分辨分析理论发展而来，是实现小波分解与重构的快速计算方法。图像的MALLAT算法，具体是借助一组低通滤波器与高通滤波器，对图像的行、列分别逐次开展滤波操作。将图像分解成一个低频子图和三个高频细节子图。其中低频图像含有大量的图像信息，高频含有少量信息。二维小波逆变换即将分解的图像进行重构得到原始图像。

MALLAT小波分解公式：

$\begin{array}{l}{c}_{j+1}\left[m,n\right]={\displaystyle \sum _{k,l}{c}_j\left[k,l\right]}\cdot h\left[k-2m\right]\cdot h\left[l-2n\right]\\ d_{j+1}^h\left[m,n\right]={\displaystyle \sum _{k,l}{c}_j\left[k,l\right]}\cdot h\left[k-2m\right]\cdot g\left[l-2n\right]\\ d_{j+1}^v\left[m,n\right]={\displaystyle \sum _{k,l}{c}_j\left[k,l\right]}\cdot g\left[k-2m\right]\cdot h\left[l-2n\right]\\ d_{j+1}^d\left[m,n\right]={\displaystyle \sum _{k,l}{c}_j\left[k,l\right]}\cdot g\left[k-2m\right]\cdot g\left[l-2n\right]\end{array}$ (5)

MALLAT小波重构公式：

$\begin{array}{l}{c}_j\left[m,n\right]={\displaystyle \sum _{k,l}{c}_{j+1}}\left[k,l\right]\cdot \tilde{h}\left[m-2k\right]\cdot \tilde{h}\left[n-2l\right]+{\displaystyle \sum _{k,l}{d}_{j+1}^h}\left[k,l\right]\cdot \tilde{h}\left[m-2k\right]\cdot \tilde{g}\left[n-2l\right]\\ +{\displaystyle \sum _{k,l}{d}_{j+1}^v}\left[k,l\right]\cdot \tilde{g}\left[m-2k\right]\cdot \tilde{h}\left[n-2l\right]+{\displaystyle \sum _{k,l}{d}_{j+1}^d}\left[k,l\right]\cdot \tilde{g}\left[m-2k\right]\cdot \tilde{g}\left[n-2l\right]\end{array}$ (6)

其中$c_j$ 是尺度函数，$d_j$ 是小波系数，$i=0,1,2,\cdots$ ，$\left\{h\right\},\left\{\tilde{h}\right\}$ 是两个不同的低通滤波器，$\left\{g\right\},\left\{\tilde{g}\right\}$ 是两个不同的高通滤波器。

3.1.2. 灰度线性变换[11]

灰度线性变换是将图像内特定区域的灰度值以线性方式拉伸到更宽的区间，进而让该区域原本的图像对比度得以增强。若$G\left(x,y\right)$ 代表原图像，$G^{\prime }\left(x,y\right)$ 代表拉伸后的图像，则将图像$G\left(x,y\right)$ 的范围从$\left[a,b\right]$ 的灰度拉伸至$\left[c,d\right]$ 的变换形式如下所示。

$G^{\prime }\left(x,y\right)=\{\begin{array}{l}c,0\le G\left(x,y\right)<a\\ \frac{d-c}{b-a}\left[G\left(x,y\right)-a\right]+c,a\le G\left(x,y\right)<b\\ d,b\le G\left(x,y\right)<255\end{array}$ (7)

3.1.3. 对数变换[12]

图像灰度的对数变换方法能够增强图像的暗部细节，同时提升低灰度区域的对比度，该对数变换的数学表达式如式(7)所示：

$D_B=c\times \log \left(1+D_A\right)$ (8)

其中，$D_A$ 为原始图像灰度值，$D_B$ 为变换后的目标灰度值，$c$ 为常数。

3.2. 传统小波方法[13]

传统的小波去雾方法是将含雾图像进行小波分解，分别得到高层细节系数、低层细节系数以及近似系数。其中，高层细节系数和近似系数与图像的低频部分相对应，低层细节系数与图像的高频部分相对应，小波分解可以将低频的雾气噪声和高频的物体细节信息分离开，分别对不同的系数进行处理，抑制雾气噪声，增强图像中的细节信息从而达到去除部分雾气，增强图像的清晰度。

在图像的小波分解体系中，低频成分$L$ 与高频成分$H$ 是核心组成部分。对图像实施单层小波分解后，可获取水平方向高频成分$H{L}_1$ 、垂直方向高频成分$L{H}_1$ 、对角方向高频成分$H{H}_1$ 以及低频成分$L{L}_1$ 这四个不同方向的特征信息。其中，$L{L}_1$ 对应的系数称为近似系数；$H{L}_1$ 、$L{H}_1$ 、$H{H}_1$ 则分别为细节系数。二层小波分解是在单层小波分解的基础上对$L{L}_1$ 继续进行分解得到$L{L}_2$ 、$H{L}_2$ 、$L{H}_2$ 和$H{H}_2$ ，分解的层数越高，其对应的图像频率越低。本方法使用Daubechies小波族，该小波族扩展性能优秀，通过调节支集长度可以控制能量集中所带来的边界失真。具体采用db4小波基函数，更能突出影像的纹理细节，保留更多的信息。传统小波去雾方法通过使用db4小波进行三尺度的小波分解，其中对第三层近似系数以及第三层细节系数设置权重为0.9，第一层以及第二层的细节系数设置权重为1.5，应用权重后进行小波重构即可得到传统小波方法去雾后的图像。三层小波分解的示意图如图4所示，传统小波方法去雾流程图如图5所示。

Figure 4. 3-level wavelet decomposition diagram

图4. 3层小波分解示意图

Figure 5. Traditional wavelet method dehazing flow chart

图5. 传统小波方法去雾流程图

3.3. 基于Laplace金字塔融合的方法

3.3.1. 直方图均衡化[14]

一般而言，多数采集到的含雾图像，其对应的灰度直方图内，灰度值多集中在直方图的右半部分，即灰度值相对较高的区域。雾气中的水珠会反射光线，使图像整体亮度拉高，呈现出灰白色，像素整体偏向高值区。这类图像能呈现的有价值信息较为匮乏，导致其实用性偏低。针对这一问题，可通过直方图均衡化技术来提升该类图像的利用效率，具体算法实现步骤如下：

对输入图像像素的灰度级开展运算，由公式(8)，即可得到该图像的灰度直方图$p\left(r_i\right)$

$p\left(r_i\right)=\frac{n_i}{N},i=0,1,2,\cdots ,L-1$ (9)

其中，$r_i$ 表示第$i$ 个灰度级，$N$ 指代输入图像的总像素数量，$L$ 表示总灰度级数，$n_i$ 指代$r_i$ 出现的总次数，灰度级出现的概率值则记为$p\left(r_i\right)$ 。将上述参数依据公式(9)进一步计算，即可得到如下分布函数。

$s_k={\displaystyle \sum _{i=0}^{k}p\left(r_i\right)}={\displaystyle \sum _{i=0}^k\frac{n_i}{N}},k=0,1,2,\cdots ,L-1$ (10)

在式(9)中，$s_k$ 表示经过第$k$ 个灰度级处理变换后的灰度值。

对图像进行该方法处理后将原本集中的灰度区间“拉平拓宽”，通过增强像素灰度对比度，使暗部细节显影、亮部参差分明，从而达到去除部分雾气、增强图像的效果。

3.3.2. Laplace金字塔融合

利用Laplace金字塔图像融合将使用传统小波方法得到的去雾图与直方图均衡化后得到的去雾图进行图像融合。融合后的图像与使用MALLAT方法以及传统小波方法得到的图像相比，在信息量、图像细节、失真情况、图像相似度等方面表现最好。

每一层Laplace金字塔系数的融合规则基于简单的加权平均方法，是直接通过掩模对两幅图像的拉普拉斯系数进行线性加权融合，融合结果是图像1的系数乘以掩模权重与图像2的系数乘以(1 − 掩模权重)的叠加。融合规则是基于空间掩模的线性加权融合，虽然灵活性低于基于特征的自适应融合方法。但权重仅由空间位置决定，具有简单直观且易于实现的特性。基于Laplace金字塔融合的去雾方法流程图如图6所示，其中图像A是经过直方图均衡化后的图像，图像B是传统小波方法处理后的图像，图像C是得到的最终图像。

Figure 6. Flow chart of dehazing method based on Laplacian pyramid fusion

图6. 基于Laplace金字塔融合的去雾方法流程图

4. 实验分析

文章使用MATLAB R2025a进行实验，对三张大小均为512 × 512的含雾图像进行研究。分别对图像使用MALLAT方法、传统小波方法以及基于Laplace金字塔融合的去雾方法，将Laplace金字塔融合方法得到的去雾图像与原图以及本文其他方法处理得到的图像进行比较分析。

4.1. 主观分析

图像的主观评价是基于人的视觉感知直接评估图像在视觉体验上的优劣，是一种非常实用的评价方法。文章分别使用MALLAT方法、传统小波方法以及基于Laplace金字塔融合的去雾方法这三种图像处理方法进行实验，得到图7~9三组处理后的图像并对其进行主观分析。

1) 在地球仪图(图7)中，从左至右分别记为图7(a)~(d)且分别代表原始图像、经基于MALLAT算法的图像去雾方法处理后的图像、经传统小波方法处理后的图像以及经文章方法处理后的图像。图7(b)整体发暗，亮度很低，地球仪上以及其他位置细节无法看清。图7(d)与图7(c)相比，画面整体比较适宜，地球仪、玩偶以及盒子等细节表现优于图7(c)，且图7(d)画面清洁度也明显高于图7(c)。

2) 在书架图(图8)中，从左至右分别记为图8(a)~(d)且分别代表原始图像、经基于MALLAT算法的图像去雾方法处理后的图像、经传统小波方法处理后的图像以及经文章方法处理后的图像。图8(b)亮度很低，书架上书的轮廓以及其他位置的细节无法看清，图像整体效果较差。图8(c)与图8(d)画面整体适中，但图8(d)书架上书的轮廓细节以及去雾效果表现较好，并且图8(d)较图8(c)画面更加清晰。

(a) (b) (c) (d)

Figure 7. Effect diagrams of the globe under different methods

图7. 地球仪图在不同方法下的效果图

(a) (b) (c) (d)

Figure 8. Effect diagrams of the bookshelf under different methods

图8. 书架图在不同方法下的效果图

3) 在圣诞树图(图9)中，从左至右分别记为图9(a)~(d)且分别代表原始图像、经基于MALLAT算法的图像去雾方法处理后的图像、经传统小波方法处理后的图像以及经文章方法处理后的图像。图9(b)整体比较昏暗，亮度较低，图像内容基本无法呈现，效果较差。图9(c)和图9(d)画面整体适中且去雾效果较好，细节较为清晰。图9(c)虽在圣诞树区域表现较好，但在暗区域较为模糊，图中花瓶难以观察，图像细节包含较少，清晰度略低于图9(d)，画面表现整体低于图9(d)。

(a) (b) (c) (d)

Figure 9. Effect diagrams of the Christmas tree under different methods

图9. 圣诞树图在不同方法下的效果图

4.2. 客观评价指标

4.2.1. 标准差

标准差针对去雾后图像的像素灰度值计算，核心反映像素值的离散程度。标准差越高说明图像明暗对比越鲜明，细节层次被更好地还原，图像的视觉通透度更强。

$\sigma =\sqrt{\frac{{\displaystyle {\sum }_{i=1}^N{\left(x_i-\overline{x}\right)}^2}}{N}}$ (11)

其中，$N$ 表示图像总像素数，$x_i$ 为$i$ 处的像素值，$\overline{x}$ 表示图像的平均灰度值。

4.2.2. 信息熵

信息熵在图像中量化的是像素灰度值分布的不确定性，本质对应图像包含的细节信息量。信息熵越高，说明图像的细节保留越完整，没有因过度去雾导致信息丢失。

$H=-{\displaystyle \sum _{i=0}^{255}{p}_i{\log }_2{p}_i}$ (12)

其中，$p_i$ 表示灰度值为$i$ 的像素在整幅图像中出现的概率。

4.2.3. 均方根误差(RMSE)

均方根误差以原图为参考，核心是计算去雾图像与原图对应像素值差异的均方根，直接量化去雾后每个像素与真实值的平均偏离程度。均方根误差越低，说明去雾算法的像素级误差越小。

$\text{RMSE}=\sqrt{\frac{{\displaystyle {\sum }_{i=1}^N{\left(x_i-y_i\right)}^2}}{N}}$ (13)

其中，$N$ 表示图像总像素数，$x_i$ 是像素原始值，$y_i$ 是像素对比值。

4.2.4. 峰值信噪比(PSNR)

峰值信噪比基于原图进行对比，通过去雾图像与原始图像的像素误差计算出画质相似度。其核心意义是量化去雾效果是否偏离真实。值越高，去雾效果越贴近真实无雾场景。

$\text{PSNR}=\frac{10\times \log {\left(f_{MAX}\right)}^2}{{\text{RMSE}}^2}$ (14)

其中，$f_{MAX}$ 表示重构图像中的最大像素灰度值。

4.3. 客观分析

根据表1~3，基于Laplace金字塔融合的图像去雾方法在标准差信息熵、均方根误差、峰值信噪比等方面都优于其他两种方法，并且此方法使图像的雾气进一步去除，使图像更加清晰。

Table 1. Relevant indicators of the globe

表1. 地球仪图的相关指标

检测指标	MALLAT方法	传统小波方法	文章方法
标准差	28.8567	52.178	63.2716
信息熵	6.7972	7.4594	7.7527
均方根误差	122.20	72.78	71.81
峰值信噪比	6.39	10.89	11.01

Table 2. Relevant indicators of the bookshelf

表2. 书架图的相关指标

检测指标	MALLAT方法	传统小波方法	文章方法
标准差	26.58	52.98	64.24
信息熵	6.7167	7.5965	7.8533
均方根误差	111.33	62.41	59.05
峰值信噪比	7.20	12.23	12.71

Table 3. Relevant indicators of the Christmas tree

表3. 圣诞树图的相关指标

检测指标	MALLAT方法	传统小波方法	文章方法
标准差	19.3857	30.975	62.2474
信息熵	6.2955	6.9541	7.7220
均方根误差	135.26	94.94	81.37
峰值信噪比	5.51	8.58	9.92

5. 结论

在雾天场景下采集到的图像包含大量雾气，图像细节信息的提取难度较大，针对这一问题，文章提出一种基于Laplace金字塔图像融合的去雾方法。借助Laplace金字塔图像融合的特性实现快速去雾后，将该方法生成的效果图与其他处理方法的结果进行对比分析。结果显示，该方法处理后的图像清晰度最优，且在各项性能表现上均优于其他方法，是一种兼具高效性与实用性的去雾方案。