一种基于BEEPS滤波的红外图像细节增强算法

An Infrared Image Detail Enhancement Algorithm Based on BEEPS Filtering

摘要: 本文改进了一种基于非线性双指数边缘滤波器(BEEPS)的红外细节增强算法，首先分离红外高低频信号，然后分别采用噪声可预见模型和自适应投影进行增强。仿真结果表明，改进算法的细节可视化增强效果明显。

Abstract: In this paper, an improved infrared detail enhancement algorithm based on nonlinear double exponential edge filter (BEEPS) is presented. Firstly, the high and low frequency infrared signals are separated, and then the noise foreseeable model and adaptive projection are used to enhance the infrared detail. Simulation results show that the detail visualization enhancement effect of the improved algorithm is obvious.

1. 概述

红外图像具有强大的穿透力、全天候作业能力和隐蔽被动探测能力，被广泛应用于工业资源勘探、民用昼夜监视和国防军事等领域。红外探测器输出的图像呈现出对比度低、细节少等缺陷，可通过图像增强算法进行改善。红外图像细节增强的算法经典算法是直方图均衡化 [1]，基于深度学习的细节增强算法 [2] 也是研究的热点。

目前，红外细节增强出现了一种基于将原始图像的高低频信号分离，然后分别进行增强的技术路线。该算法的核心是采用边缘保持和高频噪声抑制的非线性滤波器实现信号分层，比如双边滤波器 [3] 和小波滤波器 [4]。双边滤波器在空间方面的优化，拓展为带双指数的边缘滤波器(BEEPS, Bi-Exponential Edge-Preserving Smoother [5] )。

2. BEEPS滤波器

BEEPS滤波器与双边滤波器均由两个递归序列组成，其一的前向序列如式(1)所示，x表示原始红外图像，y表示滤波后的图像，r和λ分别代表滤波器的平滑系数：

$y\left[t\right]=\left(1-\rho \left[t\right]\lambda \right)x\left[t\right]+\rho \left[t\right]\lambda y\left(t-1\right)$ (1)

$\rho \left[t\right]=r\left(x\left[t\right],y\left[t-1\right]\right)$ (2)

而另一个是后向递归序列，如下式(3)所示：

$z\left[t\right]=\left(1-\varrho \left[t\right]\lambda \right)x\left[t\right]+\varrho \left[t\right]\lambda z\left[t+1\right]$ (3)

$\varrho \left[t\right]=r\left(x\left[t\right],z\left[t+1\right]\right)$ (4)

将上述合并，构成最终的输出序列：

$m\left[t\right]=\frac{z\left[k\right]-\left(1-\lambda \right)x\left[t\right]+y\left[t\right]}{1+\lambda }$ (5)

其中，r表示距离滤波器，采用高斯滤波函数，其中σ是控制滤波窗口大小的参数：

$r\left(u,v\right)={\text{e}}^{\frac{-{\left(u-v\right)}^2}{2{\sigma }^2}}$ (6)

通常， $\rho$ 和 $\varrho$ 均为非线性参数，来源于高斯滤波函数。显然，BEEPS滤波器的计算只涉及到前后两个数据的递归运算，而双边滤波器要分析的是3 × 3或者5 × 5的邻近区域。为进一步提高运算效率，可按照图像的水平和垂直方向，分别同时并行计算，具体过程如下图1所示。

Figure 1. Parallel processing strategy of one image processed with BEEPS filtering

图1. 图像的BEEPS滤波并行处理策略

图2是红外图像和BEEPS滤波后第100列像素值的曲线图，其中红色曲线表示原始像素，蓝色曲线则表示滤波后的数据。BEEPS滤波器是一种低通滤波器，分析下图可知，在像素变化较为平坦的区域内，通过滤波处理可较为理想的保留原图像的边缘信息。BEEPS滤波可保证大量低频红外图像被保留下来，突变的边缘高频信息可通过与原始图像差分的方式提取出来。后续分别对高、低频分量采用不同的策略进行增强，基本流程如下图3所示。

Figure 2. The curve of a column and its corresponding BEEPS filtered curve in the original image

图2. 原始图像的某列和其对应的BEEPS滤波后的曲线

Figure 3. Basic process of detail enhancement

图3. 细节增强的基本流程

滤波处理后的红外低频基层信号，具有较大的灰度动态分布区域。低频信号的增强可通过灰度拉伸、直方图投影，高频细节的增强常采用Gamma校正。

3. 低频信号的自适应投影

红外低频图像通过直方图投影可拓展图像对比度，丰富图像细节。该算法首先计算图像的直方图信息Hn，根据设定的阈值T，进一步分析和标记该直方图。若该直方图的像素频数大于阈值，则标记为1，否则为0。然后，计算该直方图的累积分布函数DH，计算公式如下所示：

$DH\left(x\right)={\displaystyle {\sum }_{n=0}^{x-1}Hn\left(x\right)}$ (7)

该累积直方图的最值表征了有效统计灰度的个数，通过定义输出图像的灰度级范围(比如8比特图像数据的取值范围：0~255)，可实现该红外图像的直方图的投影。经典算法是采用固定频数阈值的直方图投影法，通过这样的阈值化操作，使得图像的灰度级总数变小，图像对比度得到显著提高。

BEEPS滤波后的低频基础层，以不同的阈值进行直方图投影，如图4所示。显然，场景1的最佳频数阈值为0.1%，场景2的最佳频数阈值为0.01%。

Figure 4. Histogram projection renderings

图4. 直方图投影效果图

根据上述分析，该算法过度依赖频数阈值，为在提升图像对比度的同时保留大量图像细节，提出如下改进计算公式：

$T=\left(H_{\max }-H_{\min }\right)\ast \left(1-\lambda \right)+H_{\min }$ (8)

$H_{\max }$ 和 $H_{\min }$ 分别表示图像有效灰度级的统计直方图中频数的最大和最小值。 $\lambda$ 是是估算值，控制着输出图像中灰度级的跨度。如下图5所示， $\lambda$ 为0.95的情况下，针对室内、室外两种典型场景的红外图像进行的仿真实验。实验结果表明：采用该算法可克服固定频数阈值的缺陷，具有一定的场景适应性。

Figure 5. Adaptive histogram projection rendering

图5. 自适应直方图投影效果图

4. 高频细节的优化增强

高频细节增强算法，比如Gamma校正是一种全局化处理方案。由于人眼对噪声区域敏感性的差异，国外学者提出了噪声可见性原理，对应的数学模型如下式所示，式中y表示像素阈值，θ为可调参数，x表示噪声指示值，该值越大该像素点是噪声的可能性就越大。

$y\left(i,j\right)=\frac{1}{x\left(i,j\right)\ast \theta +1}$ (9)

考虑到BEEPS滤波器的非线性特性，可使用BEEPS滤波器的加权系数作为高频细节层自适应控制参数，为提高对背景噪声的抑制能力，采用以下的加权分析系数：

$w\left(i,j\right)=\frac{1}{\left|\phi \right|}{\displaystyle {\sum }_{\left(m,n\right)\in {\phi }_{i,j}}\left[\frac{{\left(x\left(i,j\right)-{\mu }_{m,n}\right)}^2}{{\sigma }_{m,n}^2+\epsilon }\right]}$ (10)

其中， ${\mu }_{m,n}$ 和 ${\sigma }_{m,n}$ 表示像素的均值和方差，ε用于判定该像素归属特性，如果该区域的细节较为丰富，则 ${\sigma }_{m,n}$ 大于ε，w取值较大，归一化后接近于1，否则判定为噪声区域。

综上所述，高频细节层信号的增强处理模型如下式所示：

$y_d=yd\left(i,j\right)\ast \left[w\left(i,j\right)\ast a+b\right]$ (11)

其中，a和b为线性调节参数，用于将增益控制在合适的取值范围内。

如图6所示，在不同场景下的初始细节图、Gamma增强和优化增强后的效果图，显然改进算法在提升细节边缘相比Gamma增强具有较大的优势。与此同时，在克服高频噪声方面相比初始细节图也有不俗的表现。

Figure 6. Comparison of Gamma correction and improved algorithms

图6. Gamma校正和改进算法比较

5. 图像合并及图像细节增强效果评价

BEEPS滤波的基本层通过自适应直方图投影增强后，图像的对比度和亮度等得到较大的提升。通过差分得到的细节层保留了反映原始图像的微小边缘和噪声波动，结合噪声可预见性模型，实现带大量纹理信息的边缘的增强和高频噪声的抑制。将上述两者映射到合理的灰度动态范围(0~255)，并实现图像合并叠加，即可得到最终的红外细节增强的输出图像。

图像增强效果图如下图7所示，直观的看，最终细节增强后的图像不论对比度，还是细节纹理方面均有较大的提高。

为进一步分析改进算法和其他细节增强算法(DDE, Digital Detail Enhancement) (主要是基于双边滤波 [6] DDE和引导滤波DDE [7] [8]，使用这些算法滤波分层后的低频基层信号采用固定频数的直方图投影 [9]，高频细节层信号采用Gamma增强 [10]。)的差异，在多种场景的红外图像上，进行上述三种算法的图像细节增强效果的仿真比较。从主观分析图像质量的层面来看，改进的BEEPS细节增强算法在提升图像清晰度、对比度方面存在较大优势(比如场景1中的树叶纹理，远处房屋的轮廓、场景2中人物抬起的手臂细节等)。为客观量化考核图像质量，采用图像标准差、对比度、信息熵、平均梯度、边缘强度、图像清晰度和空间分辨率等进行分析比较，相关数据如下表1所示。对比各类量化客观考核指标，改进算法与其他算法相比均有优势。

Figure 7. Contrast of infrared detail enhancement effect

图7. 红外细节增强效果对比图

Table 1. Quantitative evaluation list of image detail enhancement

表1. 图像细节增强量化评价列表

6. 结论

本文主要研究了基于BEEPS滤波器的改进的红外图像细节增强算法，改进算法主要聚焦于高低频分层图像增强算法。多方面的数据表明：该算法在提升图像细节可视化质量方面具有一定的优势，该算法的并行机制在实际工程化方面也存在优势。