基于二维三次样条小波与红通道先验的水下图像增强方法

Underwater Image Enhancement Based on 2D Cubic Spline Wavelet and Red Channel Prior

摘要: 针对水下图像所出现的对比度低、细节模糊和颜色失真等问题，本文提出二维三次样条小波与暗通道先验的水下图像增强方法。将水下图像使用红通道先验方法去除雾状模糊，然后将其归一化以进行白平衡。同时将原始水下图像使用二维三次样条小波进行加性小波分解，产生低频子图和高频子图。将高频子图系数放大以增强细节信息。最后将处理后的高频子图和白平衡后的图像相加得到增强的图像。实验结果表明，本文算法能够有效消除图像颜色失真，增强的图像呈现出高对比度和清晰的细节。与目前水下图像增强相关典型方法相比，它在对比度、颜色、边缘保留和自然度等方面有明显改进。

Abstract: To address the problems of low contrast, blurred details and color distortion that occur in underwater images, this paper proposes a two-dimensional cubic spline wavelet with a dark channel prior for underwater image enhancement. The underwater image is removed from the fog blur using the red channel a priori method and then normalized for white balance. The original underwater image is also subjected to additive wavelet decomposition using two-dimensional cubic spline wavelets to produce low-frequency and high-frequency sub-images. The high-frequency sub-images coefficients are scaled up to enhance the detail information. Finally, the processed high-frequency sub-images and the white-balanced image are summed to obtain the enhanced image. The experimental results show that the algorithm in this paper can effectively eliminate the image color distortion and the enhanced image presents high contrast and clear details. It offers significant improvements in contrast, color, edge retention and naturalness compared to the typical methods related to current underwater image enhancement.

1. 引言

近年来，水下视觉技术被广泛应用于各个领域。例如在生物资源和矿物勘探领域，可以利用水下视觉技术对水下目标进行自动搜索和探测；在军事方面，利用水下视觉技术，可以对水下目标进行搜索、侦察和监视 [1]。通过带有视觉技术的水下机器人进行定位拍照工作等。而水下视觉技术研究的重点就是对水下采集到的图像进行研究。由于水下介质分布不均匀，光在水下传播遇到悬浮粒子会发生散射，前向散射会造成图像细节模糊；而后向散射会造成雾状模糊，导致图像对比度下降 [2]。在某些情况水下环境往往复杂难测，水质浑浊、光线不足等问题容易造成水下图像成像效果较差无法呈现准确有效的信息。

为解决以上问题，水下图像清晰化方法得到了大量研究。常见的图像增强算法可分为空间域增强和频域增强两类 [3]。空间域增强方法主要有直方图均衡化、灰度变换和空域滤波等 [4] [5] [6] [7]。该类方法直接对图像像素点处理，忽略了像素点之间的关系，处理后的图像一般存在细节增强有限的问题 [8]。频域图像增强方法有傅里叶变换、小波变换等 [9]。其中小波变换是图像处理中的常用方法 [10]，本质上是将图像分为高频子带和低频子带，图像应用中，高频子带代表着细节以及噪声的信息，而低频子带部分代表背景和纹理的信息。因此可以对感兴趣的子带进行放大，不感兴趣的子带进行抑制 [11]，实现图像的增强处理。下面是一些几年来水下图像增强方面的一些相关工作。

使用基于波长补偿的去雾算法进行水下增强会产生暗色结果 [12]。基于(XYZ, LMS)颜色空间中直方图均衡化的颜色恢复会导致伪影 [13]。基于编码–解码框架的深度像素到像素网络会在图像中产生伪影 [14]。降低噪声水平、暗区曝光和增强对比度会导致边缘模糊 [15]。

基于样式信息、颜色和全局内容的条件生成对抗网络会导致颜色失真 [16]。通过暗通道先验进行颜色校正和去模糊会导致锐度失真 [17]。基于多尺度梯度域估计传输的增强产生不了令人满意的颜色校正效果 [18]。通过白平衡和颜色补偿以及它们的权重融合是一个比较耗时的过程 [19]。基于超分辨率去模糊的生成对抗网络会导致颜色失真 [20]。

基于传输估计和曝光图的联合残差学习会在图像中产生伪 [21]。通过暗通道先验和反向散射光估计传输图，通过输出平均值进行评估；然而，该方法没有获得良好的细节信息 [22]。对比度受限自适应直方图均衡化(CLAHE)和直方图均衡化会扭曲颜色 [23]。RGB通道的白平衡和瑞利拉伸会导致合成图像中出现伪影 [24]。饱和度控制和亮度直方图均衡化可控制色调变化；但是会因此产生噪声 [25]。

上述研究成果在水下图像增强领域都取得了一定的进展。但由于水下环境多变复杂，这些方法无法同时兼顾色偏，对比度，模糊等问题。本文提出了使用二维三次样条小波与红通道先验的水下图像增强方法。水下图像首先通过红通道方法去雾，在每个单独的RGB通道上进行颜色校正并去除雾状模糊，去雾后的图像归一化后进行白平衡。同时，使用二维三次样条小波对原始图像进行不可分加性小波分解，从而产生低频子带和高频子带。将小波高频系数进行增强处理。最后将增强后的高频子带与颜色矫正后的图像相加以形成增强图像。与其他水下图像增强技术相比，所提出的方法在对比度增强、颜色修正、边缘保留、伪影减少和自然度方面有明显改进。

2. 相关知识

2.1. 不可分加性小波

近年来不可分小波在图像处理任务的研究不断取得进展，其在图像处理任务中具有良好的特性。张量积小波是不可分小波的一种特殊情况。二维不可分小波是近年来发展起来的一类新小波，它是二维小波更一般的情况，图像是二维信号，张量积小波是用点信息去逼近二维图像，而图像是二维曲面，只有使用真正的二维小波才能完全、更好地逼近它。另外，相较于张量积小波，不可分小波有很多优点，如可同时具有紧支撑、正交性和对称性，在对图像进行分解和重构时，能获得具有较高空间分辨率的图像，克服了张量积离散小波变换不能获得高空间分辨率图像的不足。已有的方法研究了基于四通道、三通道、二通道不可分小波滤波器组的构造，并把它们应用于图像处理中，获得了较好的效果。

加性小波本质为利用二维低通滤波器对图像进行átrous分解，利用滤波器对图像进行卷积，且不进行抽样，得到小波平面系列；原图像即为小波平面之和与残余图像的相加。具体流程如下所示：

设 $p_0$ 为原图像，则有：

$\begin{array}{l}{H}_0\left(p_0\right)=p_1,w_1=p_0-p_1,\\ H_0\left(p_1\right)=p_2,w_2=p_1-p_2,\\ H_0\left(p_2\right)=p_3,w_1=p_2-p_3,\end{array}$ (1)

……

其中 $w_l$ 为小波平面， $p_i$ 为近似分量。其重构公式为：

$p_0={\displaystyle \underset{l=1}{\overset{n}{\sum }}{w}_l+p_r}$ (2)

其中 $p_r$ 为残余图像 [26]。

2.2. 红通道先验

首先建立水下模型如图1所示。

水下图像增强的目的是恢复由于复杂水下场景导致的颜色失真，增强图像的对比度和细节。暗通道方法在去雾方面就有良好的效果。然而在水下图像增强方向直接使用暗通道效果往往不佳，因为大气环境与水下环境的差异，水体对不同波长光线的吸收率具有较大的差异。由于红光具有较长的波长，随着水体深度的增加红光在水下被吸收速率加快，这就导致了水下图像的R通道的像素值下降明显。因此直接使用暗通道无法获取良好的增强效果。Adrian等人 [27] 在暗通道的基础上对算法进行了改进，使其更适合水下图像的应用。将原始的散射模型改写为：

$\begin{array}{l}1-I^r\left(x,y\right)=t\left(x,y\right)\left(1-J^r\left(x,y\right)\right)+\left(1-t\left(x,y\right)\right)\left(1-A^r\right)\\ I^g\left(x,y\right)=t\left(x,y\right)J^g\left(x,y\right)+\left(1-t\left(x,y\right)\right)A^g\\ I^b\left(x,y\right)=t\left(x,y\right)J^b\left(x,y\right)+\left(1-t\left(x,y\right)\right)A^b\end{array}$ (3)

设 $\stackrel{\to }{I}=\left(I^r,I^g,I^b\right)$ 和 $\stackrel{\to }{J}=\left(J^r,J^g,J^b\right)$ 分别表示原始图像和增强后的水下图像， $t\left(x,y\right)$ 表示水下环境中介质透射率，A表示水下环境中光照强度。根据暗通道先验方法，将改进的暗通道表示为：

$J^{red}\left(x,y\right)=\min \left(\underset{\left(x^{\prime },y^{\prime }\right)\in \Omega \left(x,y\right)}{\min }\left(1-J^r\left(x^{\prime },y^{\prime }\right)\right),\underset{\left(x^{\prime },y^{\prime }\right)\in \Omega \left(x,y\right)}{\min }\left(1-J^g\left(x^{\prime },y^{\prime }\right)\right),\underset{\left(x^{\prime },y^{\prime }\right)\in \Omega \left(x,y\right)}{\min }\left(1-J^b\left(x^{\prime },y^{\prime }\right)\right)\right)$ (4)

红通道先验方法根据水下环境对光线的吸收特性将暗通道方法进行改进。对红色通道进行特殊处理，能够有效补偿水下图像的颜色衰减，在水下图像增强中取得了较好的效果。

Figure 1. Underwater models

图1. 水下模型

2.3. 灰度世界算法

灰度世界算法是白平衡算法的一种实现。它的核心是灰度假设理论，任意一幅图像当它具有足够的颜色变化后。则它的RGB三个颜色通道的分量趋于相等。即：

$Baver=Gaver=Raver$ (5)

对于图像大小为的RGB图像，其灰度世界算法计算流程如下所示：

首先计算R、G、B三个通道的平均值：

$\begin{array}{l}{R}_{avg}=\left({\displaystyle \underset{i=1}{\overset{M}{\sum }}{\displaystyle \underset{j=1}{\overset{N}{\sum }}{R}_{ij}}}\right)/\left(M\ast N\right)\\ G_{avg}=\left({\displaystyle \underset{i=1}{\overset{M}{\sum }}{\displaystyle \underset{j=1}{\overset{N}{\sum }}{G}_{ij}}}\right)/\left(M\ast N\right)\\ B_{avg}=\left({\displaystyle \underset{i=1}{\overset{M}{\sum }}{\displaystyle \underset{j=1}{\overset{N}{\sum }}{B}_{ij}}}\right)/\left(M\ast N\right)\end{array}$ (6)

然后根据灰度标准值确定各通道的增益：

$R_{gain}=Gray/R_{avg},G_{gain}=Gray/G_{avg},B_{gain}=Gray/B_{avg}$ (7)

最后通过各通道增益值对原始通道数值进行调整来实现白平衡：

$\begin{array}{l}{R}_{out}=R_{in}\ast R_{gain}\\ G_{out}=G_{in}\ast G_{gain}\\ B_{out}=B_{in}\ast B_{gain}\end{array}$ (8)

3. 基于不可分加性小波与暗通道先验的水下图像增强方法

本文算法处理流程如图2所示：

Figure 2. Algorithm processing flow in this paper

图2. 本文算法处理流程

步骤一：将原始图像J进行红通道处理，去除图像中的雾状模糊。

步骤二：将去雾后的图像进行白平衡处理。通过白平衡对去雾后的图像进行归一化获得白平衡后的图像G。

步骤三：对原始图像用二维三次样条小波进行加性小波分解。选择合适的不可分小波滤波器。我们使用一个由一维三次样条函数的张量积生成的二维低通滤波器按(1)式对水下图像进行加性小波分解，其生成的5 × 5的低通滤波器如(9)式所示，它对图像按行列同时进行卷积，因而其滤波方式是不可分的。

$H_0=\frac{1}{256}\left(\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right)$ (9)

步骤四：利用步骤二得到的白平衡图像对高频图像的系数进行增强处理。对所有的进行处理

$\hat{A}\left(l,m\right)=\frac{G\left(l,m\right)}{J\left(l,m\right)}A\left(l,m\right)$，对所有的 $l,m$ 进行处理 (10)

步骤五：最后将增强后的高频图像与白平衡后的图像进行相加即得到增强后的图像M。

$M\left(l,m\right)=G\left(l,m\right)+\hat{A}\left(l,m\right)$，对所有的 $l,m$ 进行处理 (11)

4. 实验结果与分析

本文使用了目前水下图像增强研究所常用的图像进行实验，并在同等条件下与其他算法进行比较。然后，我们对测试图像进行了主观和客观的评估，最后对比了四种典型的算法验证我们方法的实用性。实验证明，本文所提方法具有良好的增强效果。

4.1. 实验数据与环境

本文通过公开的水下图像来验证本文所提方法的有效性。实验中我们选取目前典型的10幅真实世界水下图像，10幅图像如图3所示。实验环境的计算机配置为AMD Ryzen 7 4800H with Radeon Graphics 2.90 GHz, RAM 16 GB。实验算法编程环境为MATLAB R2020a。

Figure 3. Underwater images used for experiments

图3. 实验所用水下图像

4.2. 实验结果对比

本节对所提方法的有效性进行验证。从图3中选出5幅图像，显示本文方法和所比较方法的实验效果。图4给出了本文方法与四种已有方法的水下图像增强效果对比。进行对比的四种方法分别是直方图均衡方法(HE) [28]、暗通道先验方法(DCP) [29]、红通道先验方法(RCP) [30]、新的水下暗通道先验方法(NUDCP) [31]。HE方法是经典的图像处理方法，常用于实现图像增强。DCP方法被提出时被用于去雾领域。目前DCP及由其延伸的RCP方法、NUDCP等方法是近年来被广泛研究的水下图像增强方法。

原始图像1 HE方法 DCP方法 RCP方法 NUDCP方法 本文方法

原始图像2 HE方法 DCP方法 RCP方法 NUDCP方法 本文方法

原始图像3 HE方法 DCP方法 RCP方法 NUDCP方法 本文方法

原始图像4 HE方法 DCP方法 RCP方法 NUDCP方法 本文方法 原始图像5 HE方法 DCP方法 RCP方法 NUDCP方法 本文方法

Figure 4. Comparison of underwater image enhancement methods

图4. 水下图像增强方法比较

图4中共五组图像。每组图像中的六幅图像分别表示原始水下图像、直方图均衡化方法增强后的图像、暗通道方法增强后的图像、红通道先验方法增强后的图像、新的水下暗通道增强方法增强后的图像以及本文所提方法增强后的图像。从增强效果的对比可以看出HE方法增强后出现了明显的颜色失真，并且图像整体亮度提升不够。DCP方法由于没有补偿红色通道，因此颜色衰减没有得到改善。原始图像4中的珊瑚在增强后呈现出黑色效果。RCP与NUDCP方法是DCP方法的改进、这两种方法对颜色失真的改善明显，但依然存在着细节恢复能力弱的问题。从图5可以看出，本文方法的增强结果中，雕像胸前的五角星标志边缘细节更加清晰可辨，展现出更明显的图像细节。

(a) RCP (b) NUDCP (c) 本文方法

Figure 5. Comparison of the details of the enhancement results of RCP method (a), NUDCP method (b) and this paper’s method (c)

图5. RCP方法 (a)、NUDCP方法 (b)与本文方法增强结果 (c)细节对比

本文所提方法通过把图像高频信息增强并将高频所携带的信息恢复到原始图像中，因此在恢复颜色的同时获得了良好的细节增强效果。

上述分析从主观效果上对本文所提方法的水下图像增强效果进行了解释性阐述。下面将从客观指标对实验结果进行比较分析。本文使用了三种常用的指标进行对比。其中包括水下图像质量评价指标UIQM。

此外，为了衡量图像对比度和锐度的变化情况，本文分别使用基于块的对比度质量指标PCQI [32] 以及锐度值 [33] 来衡量增强后图像的对比度及锐度。PCQI指标表示为：

$\text{PCQI}\left(a,b\right)=q_i\left(a,b\right)\cdot q_c\left(a,b\right)\cdot q_s\left(a,b\right)$ (12)

其中 、 分别表示原始图像和对比度变化图像中相对位置的图像块， $q_i$ 、 $q_c$ 、 $q_s$ 分别表示两个图像块的平均强度、对比度变化以及结构相似的程度，该指标越大说明图像的对比度提升越明显。锐度值度量过程使用Brenner函数，利用图像 $I\left(x,y\right)$ 中每相隔两个单位像素之间灰度差值的平方作为评价标准，表示为：

$\text{Sharpness}={\displaystyle \sum {\left(I\left(x+2,y\right)-I\left(x,y\right)\right)}^2+{\left(I\left(x,y+2\right)-I\left(x,y\right)\right)}^2}$ (13)

该指标越大，说明图像中相隔像素之间的差值越大，即图像的边缘越清晰，相对的图像的锐度越高。

表1是各种水下图像增强方法结果评价指标的对比。表中数据为实验所使用的10幅图像计算后的均值。在所对比的方法中本文方法在PCQI、UIQM和Sharpness三项指标上均高于其他方法。

Table 1. Evaluation index of underwater image enhancement results

表1. 水下图像增强结果评价指标

5. 结束语

本文在研究了水下成像模型，水下环境的光学特性的基础上，分别研究了基于直方图均衡方法、暗通道先验方法、红通道先验方法、新的红通道先验方法。提出了一种基于二维三次样条小波与暗通道先验的水下图像增强技术。该算法比其他先进水下图像增强技术相比有更好的结果，包括对比度增强，颜色修正，边缘保留，减少伪影和噪声。二维三次样条小波很好地提取出了图像的细节信息，经过高频增强后的图像呈现出更好的细节信息，红通道方法去除了原始图像中的雾状模糊，增强了对比度。实验表明本文所提出的方法与所比较的方法有明显的增强效果。

基金项目

国家自然科学基金面上项目(No. 61471160)。