基于多尺度图像融合算法研究

Research on Image Fusion Algorithm Based on Multiple Scales

摘要: 针对传统基于小波变换的图像融合方法不具有平移不变性的缺点，本文进行了创新，并提出了一种结合小波变换和自适应分块的多聚焦图像融合算法。通过与传统小波变换的对比来凸显多聚焦图像融合算法的优势，该算法既可以一定程度克服小波变换不具有平移不变性从而对非严格配准区域融合效果差的缺陷，又可以有效抑制直接在空域进行分块融合易产生块效应的缺点。

Abstract: Aiming at the disadvantage that the traditional Image fusion method based on wavelet transform does not have translation invariance, this paper innovates and proposes a multi-focus image fusion algorithm combining wavelet transform and adaptive block. By comparing with the traditional wavelet transform, the advantages of multi-focus image fusion algorithm are highlighted. The algorithm can not only overcome the defect that wavelet transform does not have translation invariance, so the fusion effect of nonstrict registration region is poor, but also can effectively suppress the block effect of block fusion directly in spatial domain.

1. 引言

图像处理是小波变换最早涉及、应用最好的工程领域之一，小波理论刚成立时，S. Mallat就提出了以多尺度分析为基础的局部极大模方法用于图像压缩。图像去噪是信号处理中的经典问题。传统的去噪方法多采用平均或线性方法，如：邻域平均法有力地抑制了噪声，同时也由于平均而引起了模糊现象，模糊程度与领域半径成正比。Donoho于1994年提出的平方最小原则下的最佳阈值求法开创了小波去噪先河。它的主要特点是通过变换能够充分突出问题某些方面的特征，能对时间(空间)频率的局部化分析，通过伸缩平移运算对信号(函数)逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节，能有效地从信号中提取信息，所以小波分析是当前的新兴信号处理技术，国际上的学者对其关注度很高。它集数学、物理、电子工程、计算机科学等领域的研究成果于一身，广泛地应用于各个工科学科。

初期的图像融合方法多数选择在图像的空间域上进行图像数据处理，如加权平均法、主成分分析法、HIS空间融合算法等方法，只在单一层面上对图像进行融合，没有对源图像进行分解变换，没有发挥出多分辨率遥感图像的优势。早期的图像融合处理可以追溯到20世纪80年代中期，Burt P J首先使用拉普拉斯金字塔方法对双筒望远镜图像进行了融合，1995年，Li H最早运用小波变换方法对图像进行融合，这对图像融合技术产生了历史性的推进。90年代小波理论的兴起促使图像融合技术进行了革命性的发展，使其应用遍布遥感图像处理、计算机视觉、自动目标检测、城市规划、交通管制、机器人、决策支持系统、大型经济信息、医学图像处理等众多领域 [1] [2]。

最近几年，随着多几何分析(MGA)理论的提出，在图像融合领域中超小波分析初显身手，其理论和算法尚处在发展中。但其对高维函数的最优表示性能有效地克服了小波分析的缺陷，给蕴含丰富纹理和边缘信息的图像数据处理提供了新的思路和解决方案。但是，至今在各层次的图像融合研究领域尚未有公认的完整的理论体系和方法，还存在很多理论和技术上的方法需要进一步深入研究。而且，多源图像融合技术的研究在国内的起步较晚，与国际上先进的理论相比尚存一定差距，因此还需要更多的研究。

2. 基于多尺度分析的图像融合方法

2.1. 图像融合简介

图像融合是将多源信道所采集到的关于同一目标的图像数据通过计算机技术进行图像处理，最大限度的提取各信道中的有利信息，最终组合成高质量的图像，用来提高图像信息的利用率、加强计算机解译精度和可靠性、提高原始图像的空间分辨率和光谱分辨率，方便监测。待融合图像已配准好且像素位宽一致，综合和提取两个或多个多源图像信息。两幅或多幅已经配准好并且像素位宽一致的待融合源图像，若配准和像素位宽达不到要求，那么有可能无法达到预计的效果 [3]。

2.2. 多尺度分解基本理论概述

目前，国际上对于图像融合算法的研究多集中在像素级图像融合，大概可以分为两大类：基于空间域的图像融合算法和基于变换域的图像融合算法 [4]。基于空间域的图像融合算法是当前的研究热点，它的基本思想是：首先对需要融合的图像进行图像变换，本文可以通过这种方式来得到各图像分解后的系数表示，然后对这组系数表示按照特定的融合规则进行融合，得到融合之后的系数表示，最后经过逆变换获得融合之后的图像。基于变换域的图像融合研究主要集中在基于多尺度分析的图像融合，即金字塔变换、小波变换和超小波分析。下面本文主要利用小波变换来进行图像融合。

3. 基于小波变换的融合方法

3.1. 小波变换

目前有一种新的变换分析方法叫做小波变换，它承接和拓展了短时傅立叶变换局部化的基本思想，同时又克服了窗口大小不随频率的变化而变化的缺点，它能够给我们提供一个随频率改变的“时间–频率”窗口，这是我们进行信号时频分析处理时的理想工具。它通过变换能够十分明显地体现出问题某些方面的特征，能够对时间(空间)频率进行局部化分析，通过伸缩平移运算对信号(函数)进行细化，最终达到高频处时间细分，低频处频率细分，能够自适应时频信号分析的要求，从而可聚焦到信号的任意细节，解决了Fourier变换的难题，成为继Fourier变换以来在科学方法上的重大突破。

3.2. 基于区域特征的多尺度小波变换融合算法

1) 区域能量融合法

将未进行融合而等待图像融合的两幅图像各自进行小波多尺度分解，低频系数按系数加权选择。高频的区域则计算出中心像素(i, j)以及它邻域的能量E(i, j)，依照两幅图像的中心像素(i, j)的能量运算出匹配度R(i, j)，之后比较匹配度和域值c的大小，然后小波系数加权运算后就决定了融合后的高频系数。

2) 区域方差融合法

将未进行融合而等待图像融合的两幅图像分别进行小波多尺度分解，低频系数按式加权选择。高频的区域计算出中心像素(i, j)以及它邻域的方差D(i, j)，依据数据的方差越大时，图像的细节、边缘信息越多的特例，依据3种不同方向上拥有方差的最大值的小波系数来决定融合后的高频系数，以此来得到融合后的图像。

4. 基于多尺度分析和区域平均梯度的多聚焦图像融合

多聚焦的图像融合 [5] [6] 有一定的自身特点：该方法会因为在不同的聚焦方向，并且在不同的多聚焦图像中，图像对应的清晰区域和模糊区域也是不一样的，而且对于多聚焦图像进行融合的过程就是为了获得每一个部分都较为清晰的图像组合，进而使整体图像较为清晰。一般传统的图像变换的融合算法所运行后的效果与原有图像相对比，其对应的清晰部分的图像质量会有一定程度的下降，但是其模糊部分的图像质量也会对应的有所上升，总的来说就是传统的多尺度分解的图像融合算法是通过降低图像的清晰区域这一代价进而来提升图像模糊区域。

关于找到一种能够更加适合多聚焦图像融合的方法，本文对多聚焦图像进行深层的研究，根据研究结果选取图像融合的规则。选取图1、图2进行实验融合：

Figure 1. Left blur image to be fused

图1. 左模糊待融合图片

Figure 2. Right blur image to be fused

图2. 右模糊待融合图片

对上述的图1和图2分别进行Curvelet变换，再提取变换系数进行一定的分析。实验结果发现：这两幅图片的粗尺度系数差异很小，但是这两幅图像的细尺度系数变换却相当明显。这是因为这两幅图像在经过变换后，粗尺度系数相差不大所导致的，所以粗尺度融合策略采用简单的加权平均的方法较佳。而图像的细节部分的信息一般通过细尺度来表示，若细尺度部分的系数值在零左右浮动，且细尺度数的系数绝对值越大，图像在该处亮度变化就越剧烈，当然也可能包含图像中的很多重要信息，例如图像的边缘、图像的线条或是图像区域的边界等等，在高频部分往往会存在较为显著的差异，所以说高频融合策略的选择对图像的融合效果会有很大的影响。基于区域能量特征的高频融合规则同基于像素点的融合规则相比较有更好的融合效果，同时它在应用于多聚焦图像融合时也有不错的效果，况且多聚焦图像是选取图像较为清晰的部分，进一步通过清晰部分的组合来融合图像，因此本文提出一种利用平均梯度为指导区域的选取规则。平均梯度不仅代表着图像的清晰度，同时还可以反馈出图像中的纹理变化特征和微小细节反差，因此，以图像的局部平均梯度为特征来指导整个图像的融合过程，可以达到较为理想的实验结果。在传统的基于区域平均梯度算法的基础上，本文对此 [7] [8] 深入研究并进行延伸，具体步骤为：

1) 对各个图像经过分解得到系数，根据系数来求取各个图像3 × 3区域内的平均梯度。

2) 以平均梯度作为指标对融合图像进行像素选取，对图像中清晰区域的系数进行组合。

3) 对组合后的系数进行逆变换从而得到融合后的图像。

对待融合的图1和图2分别进行Curvelet变换，可以得到图像分解后对应的低频系数和高频系数，接下来对低频和高频分别利用不同的融合规则来进行融合，步骤如下：对低频系数利用加权平均融合法进行融合处理，两幅图像的加权平均即为融合后的系数。对高频系数采用如下步骤：

1) 对各个图像对应方向上的分辨率的高频系数计算其3 × 3区域内的平局梯度 $\nabla {\bar{G}}_{j\cdot l}$。

2) 计算各个图像的平均梯度在该区域上的匹配程度 $M_{jl}^{AB}$。

3) 由区域匹配度 $M_{jl}^{AB}$，和给定阈值T = 0.75来确定高频系数，若 $M_{jl}^{AB}\left(x,y\right)<T$，则直接选取平均梯度较大的数；若 $M_{jl}^{AB}\left(x,y\right)\ge T$，则采用基于区域平均梯度的融合选取方法。

4) 对所有的不同尺度下的高频系数都进行上述操作。

5) 对得到的低频系数和高频系数进行Curvelet逆变换，然后得到融合图像。

实验结果分析

对图1和图2进行实验，对这两幅图像的实验结果(图3~6)进行对比，低频则采用的全部是取平均的方法，而高频规则各有不同。图3是基于Curvelet变换的多聚焦图像融合方法，因此高频取的是最大值；图4则是基于区域能量的算法，图5是基于邻域平均梯度的小波图像融合方法，因此高频就是在区域平均梯度中取的最大值，图6则是本文给出的改进算法，采用基于区域平局梯度的选取方法。

Figure 3. Multi-focus image fusion method based on Curvelet transform

图3. 基于Curvelet变换的多聚焦图像融合方法

Figure 4. Algorithm based on region energy

图4. 基于区域能量的算法

Figure 5. Wavelet image fusion method based on neighborhood average gradient

图5. 基于邻域平均梯度的小波图像融合方法

Figure 6. The algorithm proposed in this paper

图6. 本文提出的算法

由图3~6的实验结果图观察，可以发现这种改进算法有着不错的融合效果，与其他的算法相比较 [9]，不仅没有降低图像的清晰度，而且细心观察可以看出这种算法边框保持和区域的清晰度上有了很大进步。

Table 1. Comparison results of four algorithms

表1. 四种算法对比结果

分析表1的数据，因为采用了改进的基于区域平均梯度的算法，所以该算法最终的图像融合结果在信息熵上与基于区域能量的算法相对比就会有一定的损失，但是，融合后图像的相关系数都有了很大的提高。通过对比基于邻域平均梯度的小波图像融合法和本文提出的基于区域平均梯度的Curvelet变换图像融合算法可以得知基于区域平均梯度的Curvelet变换图像融合算法相关系数要比前者好很多，进而说明了本文提出的算法运行后得到的图像融合结果与原来的标准图像更加的接近，并且经过处理后的图像更为清晰、也较为有效的抑制了图像中的噪音 [10]。总的来说本算法很好的实现了多聚焦图像融合的目的，通过选取了各个图像的清晰区域来进行组合，进而得到了较为理想的实验效果。

5. 结论

本文对基于小波多尺度变换的图像融合算法进行了归纳并加以总结，并得出以下结论：在实现图像融合时，基于多尺度分析和区域平均梯度的多聚焦图像融合的效果相比其他传统方法要更好一些。但是由于小波变换所具有的特性，即算法的多样性和灵活性，以及选择重构系数的多变性等等，使基于小波变换的图像融合算法仍有非常大的研究空间，与此同时，还要不断寻找与图像融合方法对应的评价方法，以便后续改进研究新的方法甚至对图像融合的发展提供一定的帮助。