一种基于图像分层的红外图像目标细节增强算法

Infrared Image Target Detail Enhancement Algorithm Based on Image Hierarchical Processing

摘要: 为了解决高动态红外成像系统在使用传统图像压缩方法过程中产生的图像整体对比度低，目标细节的流失模糊等问题，提出了一种基于图像分层的红外图像微弱目标细节增强的算法，并从算法理论研究与仿真结果两方面入手，验证了其对目标细节的增强效果优于传统方法。该方法利用双边滤波完成图像的平滑及分层操作。采用灰度线性变换完成对背景层图像的压缩，利用自适应增益放大细节层的同时抑制噪声，线性叠加压缩后的背景层和放大后的细节层，得到目标细节增强后的8位红外图像。

Abstract: In order to solve the problems of low image overall contrast and blurring of target details caused by high-dynamic infrared imaging systems using traditional image compression methods, a kind of infrared image weak target detail enhancement algorithm based on the hierarchical processing is proposed, this study has verified that the target detail enhancement effect is superior to the traditional method using theoretical research and simulation results of algorithm. The method uses bilateral filtering to smooth and layer the image, linear superposition, the background layer after compression and the detail layer after magnification can obtain the 8-bit infrared image after the target detail enhancement.

1. 引言

当下，高性能红外成像系统普遍都采用14 bits或者更高的A/D对红外焦平面探测器输出的信号进行采样及量化，从而得到高动态范围(High Dynamic Range，HDR)的红外图像数据 [1]。而对于一般的显示设备来说，能显示的灰度范围仅为0到256级，因此，我们需要对高动态范围的红外图像进行动态压缩及增强。常见的高动态图像压缩及增强算法主要有直方图均衡、基于自增益的线性映射和Gamma映射等方法 [2] [3] [4]。这类方法是在原始图像和目标图像之间寻找一个映射关系，虽然实现起来复杂度低、比较简单，但是会造成图像的灰度等级增强过度、增大图像中原有的噪声以及某些弱小目标细节信息丢失等问题。

近些年来，通过美国FLIR开发的数字细节增强(Digital Detail Enhancement, DDE)方法 [5] [6]，基于图像分层的高动态目标细节增强方法被提出并且得到相应的发展。该方法的基本原理是采用平滑滤波器将原始高动态范围图像分解成背景层与细节层；背景图像主要包含对比度大、灰度变化明显的基本信息，细节图像主要包含对比度小、灰度变化较弱的细节信息；接下来对背景层和细节层分别进行动态范围压缩和细节增强处理；最后将处理后的背景层与细节层图像融合为一幅图像，从而达到增强图像中细节信息的目的。基于此，本文提出一种基于双边滤波的图像压缩与目标细节增强算法，首先通过双边滤波得到背景层与细节层图像，然后采用灰度线性变换压缩背景层图像的灰度等级，接下来利用自适应增强算法，在增强细节层图像中目标细节的同时抑制噪声的放大，最终将两幅图像融合在一起，得到目标细节增强的红外图像。

2. 基于双边滤波的高动态图像增强算法

2.1. 双边滤波的定义

双边滤波器是以经典高斯滤波器为基础的一种非线性滤波器，它是由两个函数构成的；一个是与空间距离相关的空间滤波函数，另外一个是与像素强度相关的灰度滤波函数 [7]。在二者的共同作用下，该滤波器可以较好的在抑制图像噪声的同时保留图像边缘特征。对输入的高动态红外图像进行双边滤波处理，得到的结果如下：

$\{\begin{array}{l}{f}_{BF}\left(i,j\right)=\frac{1}{k\left(i,j\right)}{\displaystyle \underset{\left(m,n\right)\in w_{i,j}}{\sum }{G}_s\left(i-m,j-n\right)}\times G_r\left[f_{IN}\left(i,j\right)-f_{IN}\left(m,n\right)\right]\times f_{IN}\left(m,n\right)\\ f_D\left(i,j\right)=f_{IN}\left(i,j\right)-f_{BF}\left(i,j\right)\end{array}$ (1)

式中， $f_{BF}$ 表示经过双边滤波处理后得到的背景层图像， $f_{IN}$ 表示输入的原始图像， $f_D$ 表示原始图像与背景层图像相减得到的细节层图像。 $\left(m,n\right)\in w_{i,j}$ 表示像素点 $\left(m,n\right)$ 是以 $\left(i,j\right)$ 为中心像素的窗口 $w_{i,j}$ 的相邻像素， $k\left(i,j\right)$ 为归一化系数：

$k\left(i,j\right)={\displaystyle \underset{\left(m,n\right)\in w_{i,j}}{\sum }{G}_s\left(i-m,j-n\right)}\times G_r\left[f_{IN}\left(i,j\right)-f_{IN}\left(m,n\right)\right]$ (2)

式中， $G_s$ 和 $G_r$ 都是标准的高斯函数，它们的定义式如下：

$G_s\left(i-m,j-n\right)=\exp \left[-\frac{{\left(i-m\right)}^2+{\left(j-n\right)}^2}{2{\sigma }_s^2}\right]$ (3)

$G_r\left[f_{IN}\left(i,j\right)-f_{IN}\left(m,n\right)\right]=\exp \left[-\frac{{\left[f_{IN}\left(i,j\right)-f_{IN}\left(m,n\right)\right]}^2}{2{\sigma }_r^2}\right]$ (4)

式中， $G_s$ 表示为空间域的高斯滤波函数， $G_r$ 表示为强度域的高斯滤波函数。函数 ${\sigma }_s$ 与 ${\sigma }_r$ 表示为两个高斯核函数的标准差参量，控制两个高斯核函数的扩张范围。

2.2. 背景层的灰度线性变换

完成图像的分层操作后，我们对背景层进行处理。通过双边滤波获取背景层的灰度范围与原始的红外图像几乎一样，因此可以使用比较便捷的灰度线性变换算法，从而完成对背景层的灰度压缩变换，得到8 bit的背景层图像。通过观察背景层直方图像素灰度统计可以看出，在接近0级与16,383级这两边的像素几乎不存在，而是主要集中在中间的大部分区间中，只有少量的像素分布在此灰度级范围的之外的两端。所以在进行灰度线性压缩变换的时候，我们可以去掉图像中的灰度峰值，忽略存在区间之外两端的少量像素，从而对存在大部分像素的中间区域进行变换：

$f_{out}\left(x,y\right)=\{\begin{array}{l}0 f_{BF}\left(x,y\right)\le \min \\ 255\times \frac{f_{BF}\left(x,y\right)-\min }{\max -\min } \min <f_{BF}\left(x,y\right)<\max \\ 255 f_{BF}\left(x,y\right)\ge \max \end{array}$ (5)

式中， $f_{out}\left(x,y\right)$ 为压缩后得到的背景层图像；假设用 $f_{\min }$ 、 $f_{\max }$ 分别表示未经压缩前的背景层图像灰度分布的最小值与最大值，min、max分别表示截掉一定比例后，中间区域灰度级的最小值与最大值，min和max值可以根据特定红外图像的灰度分布进行调整。

通过观察图1我们可以看出，即使纵坐标区间的变换范围从[a,b]变化到[0,255]会导致图像的少部分信息丢失，也不会对最终合成的图像产生多大的影响，这是因为那些表示小目标的有效信息已经被分离到了细节层。所以，相比较于全局范围内的线性变换，这种截取式的局部线性变换会使得大部分的像素灰度层次得到增强。

Figure 1. Schematic diagram of truncated gray scale linear transformation

图1. 截取式灰度线性变换示意图

在对细节层进行处理时不能直接对图像进行放大，这是因为细节层图像不仅包含微小的目标细节，同时还包含了一部分噪声，如果直接对图像进行放大的话噪声也会随之被放大。通过相关研究可知，人眼对均匀区域噪声的敏感程度是要高于复杂区域的，这会对图像的视觉效果产生较大的影响。基于此，Anderson [8] 等人提出了一种噪声模板的可见性函数，表达式如下：

$f\left(i,j\right)=\frac{1}{M\left(i,j\right)\cdot \theta +1}$ (6)

式中， $\theta$ 为可调参量，取值范围 $\left[0,1\right]$， $M\left(i,j\right)$ 表示图像的噪声模板函数。从上式可以知道，噪声模板函数与噪声可见度函数成反比例关系， $M\left(i,j\right)$ 越大，表示图像中该区域灰度变化明显，则 $f\left(i,j\right)$ 越小；反之， $M\left(i,j\right)$ 越小，表示图像中该区域比较平缓，则 $f\left(i,j\right)$ 越大。因此，使用自适应增强算法完成对细节层图像的处理。该算法可以根据图像中不同区域的信息自动调整其增益系数，相对放大图像中细节丰富的区域，较小的放大图像中平坦的区域。这样，就可以做到既增强目标细节，又能够比较好的抑制噪声的放大。自适应增强函数为：

$g\left(i,j\right)=g_{\min }+\left[1-f\left(i,j\right)\right]\times \left(g_{\max }-g_{\min }\right)$ (7)

式中， $g_{\min }$ 为图像中对应像素点的最低增益值，在噪声可见度函数趋近于1时取得； $g_{\max }$ 为图像中对应像素点的最高增益值，在噪声可见度函数趋近于0时取得。为满足图像目标细节信息不被抑制的同时又要防止目标信息过度增强，因此，最低增益值通常选取为1，，最高增益值通常选取为2.5。由于双边滤波的归一化系数 $k\left(i,j\right)$ 可以很好的表现出图像的灰度特征分布，所以使用 ${\left[k\left(i,j\right)\right]}^{-1}$ 作为噪声模板函数。则最终的自适应增强函数为：

$g\left(i,j\right)=g_{\min }+\left[1-k\left(i,j\right)\right]\times \left(g_{\max }-g_{\min }\right)$ (8)

2.3. 图像融合

在完成对背景层图像与细节层图像相应的处理之后，我们采用线性加权合成法 [9]，将包含与原始红外图像相似背景信息的8 bit背景层图像以及包含关键目标细节信息的8 bit细节层图像融合成一幅图像，从而达到更佳的视觉感知效果。

线性加权合成函数的表达式如下：

$f_{\text{finall}}\left(i,j\right)=\beta \cdot f_{\text{detail}}\left(i,j\right)+\left(1-\beta \right)\cdot f_{\text{out}}\left(i,j\right)$ (9)

其中， $f_{\text{finall}}\left(i,j\right)$ 为最终得到图像， $f_{\text{detail}}\left(i,j\right)$ 为增强后的细节层图像， $f_{\text{out}}\left(i,j\right)$ 为动态压缩后的背景层图像， $\beta$ 为细节层所占的权重。 $\beta$ 取值的过高或者过低都达不到目标细节增强的效果，所以通常情况下 $\beta \in \left[0.3,0.5\right]$。

综上，本文基于双边滤波的红外图像目标细节增强算法可以用图2表示：

Figure 2. Flow chart of algorithm processing in this paper

图2. 本文算法处理流程图

3. 实验结果与分析

图3表示的a，b分别表示经过自动控制增益及本文算法处理后的结果，可以看出采用自动控制增益法虽然使图像整体均匀了一些，但漏气云团信息被大幅度削弱，图像整体对比度一般；而本文算法不仅使得图像对比度得到提升，同时漏气云团得到了较明显增强。

图4的c，d分别展示了采用本文算法增强红外图像过程中背景图像和细节图像数据的压缩增强显示结果。

(a) 自动控制增益(AGC)法处理结果 (b) 本文算法处理结果

Figure 3. Comparison of the results of the two treatment methods

图3. 两种处理方法结果对比

(a) 本文算法的背景层图像数据压缩结果 (b) 本文算法的细节层图像数据压缩结果

Figure 4. Background layer and detail layer image data compression results

图4. 背景层与细节层图像数据压缩结果

如表1，通过信息熵来看，本文算法的信息熵大于AGC算法，处理后的图像目标细节丰富并且突出，包含的信息量大；从标准来看也是如此，本文算法能够较好的保留图像细节信息，对比度信息同样有所改善。

Table 1. Information entropy and standard deviation of different algorithms

表1. 不同算法的信息熵与标准差

4. 结束语

针对高动态红外成像系统使用传统图像压缩方法而造成的图像整体对比度低，目标细节的流失模糊等问题，提出了一种基于图像分层的红外图像在动态压缩中增强微弱目标细节的算法，并从算法理论研究与仿真结果两方面入手，验证了其对目标细节的增强效果优于传统方法。本方法利用双边滤波完成图像的平滑及分层操作，双边滤波器不但可以较好地抑制图像噪声，而且能够保留图像边缘特征，进而消除了采用一般滤波方法产生的“光晕”现象。使用灰度线性变换法压缩背景层图像的灰度范围，采用自适应增益法放大细节层的目标细节，同时减小噪声对图像的影响。

NOTES

^*通讯作者。