1. 引言
图像信号增强在视觉任务中起到提高数据质量的关键作用,有助于提高后续的检测、识别等任务的效率与准确度,其关键点在于提高对比度,抑制有害噪声。然而在传统的图像增强算法中存在过度增强、噪声放大和色彩失真等问题。深度学习的方法效果优异但需要获取高质量的成对数据集作为先验,训练、计算、编译、部署的过程需要较高的硬件时间成本[1]。随机共振是一种噪声增益的现象,在诸如图像信号编码与恢复的非线性系统中,合理利用人工噪声可以提升微弱信号的能量从而提升信噪比,为实现图像信号增强问题提供了新的思路和选择。
随机共振(Stochastic Resonance, SR)主要描述弱噪声、弱周期激励和非线性之间的相互作用,造成规律性系统状态跃迁的现象,最早由Benzi [2]等人于1981在研究冰川活动中发现。以非线性双稳态系统为例,仅有弱周期激励时,系统不足以跨越势垒实现两个稳态之间的跃迁,但随机噪声的加入使势垒间的跃迁成为可能,并在最优噪声强度下达到周期激励与系统状态跃迁的同步,发生随机共振。随机共振的是系统状态的噪声诱导跃迁事件和弱周期激励的同步,体现了弱噪声激励对非线性系统的有益作用[3]。基于随机共振理论对噪声能量的良好应用,随机共振已经成为多领域的热门研究课题。在不同的背景下发展出了非周期随机共振[4],循环平稳随机共振[5],自适应随机共振[6],超阈值随机共振[7],参数调制随机共振[8],阵列随机共振[9]等系统。
基于稳态或阵列随机共振系统进行的图像恢复与增强方法近年来有大量研究。Jha等人[10]于2013年提出了一种基于随机共振的空间域分析方法。该方法建立了在像素尺度下双稳态系统的参数与彩色低对比度图像的强度的关系模型,来增强低对比度图像。Wang等人[11]于2017年研究了阈值系统双稳态系统,发现阈值系统可以检测到较低输入信噪比的水下图像信号。Liu等人[12]于2019年,针对二维灰度图像传输过程中的噪声干扰,设计图像编码,提出一种低峰值信噪比环境下基于自适应双稳态的阵列随机共振的灰度图像去噪增强算法。潘振宽等人[13]于2022年提出了一个Fitzhugh-Nagumo神经元平行阵列模型,它可以更好地恢复嘈杂的灰色图像并保留图像细节。鉴于已有的研究仅局限于单系统,灰度图像和通道分解,本文在已有研究基础上,结合彩色图像的特征,综合考虑了信号与图像物理特征双尺度,设计了光照信号估计策略,分析了并行阵列系统参数调制与优化控制,实现利用并行阵列系统实现彩色图像信号增强。
2. 双稳态势阱模型
Figure 1. Schematic diagram of the double potential function and periodic transitions
图1. 双势函数与周期性跃迁示意图
微弱输入信号、噪声和非线性信号处理系统是发生随机共振现象的三要素,三者之间协同作用会将无序的噪声能量转移到有序的信号能量中,因此,非线性系统输出响应即为增强后的微弱有用信号。其中双稳态势阱模型是经典的连续非线性信号处理系统,描述了一个过阻尼Brownian粒子在双稳态势阱之间跃迁运动,是本文算法的基础。考虑朗之万(Langevin Equation, LE)的动力学方程描述,在动态平衡条件下该模型存在两个对称性势阱可简化表达为:
(1)
其中
是周期驱动力,如余弦信号,二进制脉冲振幅调制信号(Binary Pulse Amplitude Modulation, BPAM),
为0均值,自相关函数为
的加性高斯白噪声(Additive White Gaussian Noise, AWGN),
是双稳态势函数。
在双稳态系统中可建模四次曲线,
,则系统方程可表示为:
(2)
当没有输入信号与噪声时,即函数
可以表示为图1。可以观察到势函数在无信号无噪声时有两个极小驻点
,称这两处附近为势阱。在势阱附近势能最小,粒子受力平衡,可以被认为是处于稳态。粒子会在平衡点周期性运动。极大值与极小值的差称为势垒,高度为
,粒子从一个平衡
点到另一个平衡点,需要获得超过势垒的能量。周期力
驱动使得双稳态势阱函数变得不对称,当周期信号幅值相对较小时,仅仅依靠周期力不足以使粒子在两个势阱间发生周期性跃迁,此时系统中加入适当强度的噪声可以帮助粒子按照周期信号的频率由一个势阱跃迁到另一个势阱中。随着噪声强度的增大,噪声能量向信号能量发生了一部分的转移,使得系统输出信号有足够的能量克服势垒高度,并且在两势阱间进行跃迁行为,即随机共振现象。
系统(2)为随机常微分方程,方程包含随机噪声项
难以表示解析解。因此,在这种情况下应采用数值方法求解。经典的四阶龙格–库塔算法,作为一种基于泰勒公式展开的高精度单步算法,能够有效地应用于不同信号作用于非线性系统的数值求解中。求解算法如下表1:
Table 1. The fourth-order Runge-Kutta method for solving the LE equation
表1. 四阶龙格库塔法求解LE方程
四阶龙格库塔求解 |
第一步:初始化:
,
第二步:当
,执行迭代:
第三步:输出
|
其中
,N是一维高斯白噪声信号,
。龙格库塔迭代每次都会生成一个近
似解,直到信号向量x满足终止条件。经典随机共振理论的研究从这一系统出发,得到了最优噪声的近似条件,论述了随机共振的数学意义。
3. 经典随机共振理论
绝热近似理论[14] (Adiabatic Approximation Theory, AAT)是最早系统性描述稳态系统随机共振的数学理论,描述了双稳态系统在余弦周期力与噪声作用下,噪声存在一个最优强度使信噪比达到最大。当只有噪声作用时,外部输入信号
,双稳态系统在两个稳态间按Kramer跃迁率
,进行跃迁切换,
取决于噪声分布和强度。Kramer跃迁率表示仅在噪声作用下,非线性系统的输出从稳定点向不稳定点跃迁的速率。可以证明,在初始时刻
时Brownian粒子位于
,在时刻t时Brownian粒子位于稳态点
,在时刻
时Brownian粒子位于稳态点
。且系统满足绝热近似条件(信号频率
,信号幅度
,噪声强度
)。表达式为:
(3)
表示系统响应时间,是
的倒数。结论为双稳态随机共振系统的输出信噪比:
(4)
分母项数值会随着输入信号幅值的渐渐增大而逐步减小,这意味着双稳态系统的输出噪声能量也在随之减小,并且噪声能量将减小的这部分能量转化到信号能量中去。通常信号功率只占据了总功率非常小的一部分,观察到当周期驱动信号幅值A较小时,SNR可以近似表示为:
(5)
根据公式(5),当噪声强度D非常小时,
,推出
。当噪声强度D非常大时,
,
。仍然有
。在
的前提背景下,SNR取峰值时,噪声强度
是一个非零正数。这一结论从数学理论上证明了最优信噪比是在噪声非零时取得的,双稳态系统中存在噪声增益。特别地,当系统参数
时,有:
(6)
经典随机共振理论论证了在稳态随机共振系统中存在最佳噪声实现信噪比最大化。但实际中在工程上,对待处理信号随意增加噪声可能会带来不确定的结果,而且可控性不明显。Xu提出的参数调节随机共振理论,重新解释了随机共振现象产生的机理,研究了系统输出稳态信噪比和响应速度与系统参数之间的非线性关系。在利用双稳态势阱模型实现随机共振时,基于上述思想,可以固定高斯白噪声的强度D,调节系统参数a,b实现最佳参数匹配的双稳态系统。
4. BPAM驱动的最佳参数匹配双稳态系统
4.1. 流程分析
Figure 2. Each grid represents a pixel position when k = 2, 4, 8 of Hilbert scanning mode
图2. Hilbert扫描模式在k = 2,4,8的情况,每个格子表示一个像素位置
二进制脉冲振幅调制信号(Binary Pulse Amplitude Modulation, BPAM)是一种数字基带信号的表达方式,在图像数字信号处理中有着重要的应用。在数字信号传输时,图像的二维灰度信息会先被转换为一维的数字信号序列[15]。转换分为扫描,编码,调制过程,扫描是通过将图像按行或列进行扫描由
转换为
,常见的方法有Hilbert扫描。给定一个2k阶Hilbert扫描矩阵
,初始矩阵为
。对于生成
,有两种情况:
k是偶数:
k是奇数:
其中
表示矩阵旋转180度,
表示
的转置。编码路径可以简单可视化为图2。
编码则是按照计算机存储图片的内存模式,单个像素的在数字通信中占8 bit,值范围也就是
,将每个像素点的灰度值映射到一个二进制序列
中,映射关系如下:
(7)
二进制序列按照(8)调制,进而实现图像信号的编码和调制为BPAM信号
:
(8)
其中,A表示信号
的幅值,
表示二进制码元序列,取值在一个二元集{0, 1}中,
是一个周期为T的矩形脉冲。在得到系统输出后,则反演上面的过程,即解调,解码,Hilbert反扫描。其中解调信号时已知每个码元
的持续时间为T,此时每个码元的开始时间为
,阵列双稳态模块的输入信号s(t)是经过二进制脉冲振幅调制并且间隔为
的一维非周期信号,下面给出系统输出响应
的解调方案:
(9)
灰度图像的模拟信号调制为BPAM信号,作为参数调制的双稳态随机共振器(Parameter-tuned Stochastic Resonator, PSR)的驱动实现增强,最后经过判决,解码即可获得增强的图像信号。系统流程如下图3:
实现参数调节双稳态系统处理图像数字信号。
Figure 3. Image Transaction and Enhancement System (ITES)
图3. 图像信号传输与增强系统
4.2. 参数分配
在绝热近似理论和参数调制理论的基础上分析,系统响应时间T是粒子由驱动
从一个势阱切换到另一个势阱的时间。确保SR发生的关键是系统响应时间T和符号函数间隔
应满足:
。随机共振发生的参数分配策略对于BPAM输入信号,根据公式(3),确保系统发生随机共振的参数范围为:
(10)
码元间隔
和噪声方差
是在满足绝热近似条件下取的。在PSR系统中,实际数字系统中传输的BPAM信号的码元周期会大量出现
,高斯白噪声强度
不满足在绝热近似理论条件的情况。为了通过绝热近似的理论分析参数,本文对双稳态模型进行归一化尺度变换:
。
。带入(1)得到新的LE方程:
(11)
其中
,方程完成归一化。此时,
。根据公式(6),归一化系统的最优噪声强度
,进而有:
(12)
此时在每一个BPAM驱动的双稳态非线性系统中,参数
能够与实际待检信号达到最佳匹配,现考虑并行系统是否可以共享这个参数。
5. 并行阵列稳态系统
单个参数调制的共振系统虽然在一定程度上实现BPAM信号的增强,但没有充分利用随机共振效应。事实上,Duan等人在非耦合并行阵列双稳态随机共振系统中阐述和论证了阵列随机共振理论,证明了系统信噪比增益可以大于1。这一理论是阵列随机共振理论的重要组成部分。图4作为其中一种朴素的形式的并行阵列双稳态随机共振机制通信系统。
Figure 4. Parallel array bistable stochastic resonance multichannel structure
图4. 并行阵列双稳态随机共振多信道结构
表示原始信号调制成为的BPAM信号。基于参数调制的思想,噪声强度应保持一致,
表示第j个多径子信道相对应的双稳态设备高斯白噪声,保持均值为0方差为
的独立同分布。对于阵列的结构问题,已经被McDonnell等人证明阵列中所有节点结构完全相同时,随机共振效果最好,即并行化阵列处理结构系统响应信号,并行阵列双稳态系统的最优化近似等效于双稳态随机共振子系统的最优化[16]。并行阵列结构相同,故可以在各信道上共享系统参数
分配。阵列响应信号取各信道响应的平均值为:
(13)
阵列响应信号
进过判决得到
,恢复编码为二进制信号。由于各子系统结构相同,参照双稳态随机共振的结构朗之万方程(1) (2),并行阵列双稳态结构形式上与单系统一致,可表示为常微分方程组:
(14)
其中
,
。
是输入多径信道的BPAM信号,信道噪声的自相关性性满足
,
。为狄拉克函数。
关于信道个数N,根据中心极限定理,当阵列数目N充分大时,并行阵列双稳态结构输出
近似服从高斯分布。输入数字噪声强度D,信号振幅A不变时,输入信噪比不变,阵列双稳态系统的信噪比增益是阵列单元的
倍[17]。可以根据需求平衡计算复杂度与增强效果平衡设置N。
针对灰度图像在并行阵列与参数调制的双稳态随机共振系统可以实现较好的效果,但发现直接应用到彩色图像,实现的效果并不理想。将此模型迁移到彩色图像中需要考虑彩色图像的其他物理信息,如光照信息。故光照信息应做额外编码,并对编码信号使用阵列稳态随机共振系统进行增强,结合直接编码的信号,构造信号通信与物理先验的双尺度的系统。
6. 彩色图像特征编码与增强
彩色图像作为高维张量
,相比灰度图像有更丰富的纹理,色彩,光照信息。与灰度图像不同,这些信息从数字信号的尺度是难以感知的。灰度图像的退化的形式往往在数字通信中产生,与有害噪声有关。彩色图像退化产生的原因更为复杂,不仅要从数字信号通信层面增强,也要从实际物理情况来寻找特征编码来增强。
通常来说,研究基于随机共振系统实现彩色图像增强,会对彩色图像
的三通道分解为单通道来处理,流程方法如图5首先将退化彩色图像转换成HSV模型,并提取出明度
分量,然后保持图像的色调
和饱和度
不变,向V分量添加强度为D的高斯噪声,成为单通道,从而可以进行调制,编码。最后输入随机共振系统,反演输出信号,通道融合,实现彩色图像的增强[18]。
Figure 5. A stochastic resonance system based on channel decomposition enhances color images
图5. 基于通道分解的随机共振系统增强彩色图像
然而,这一通道分解统计物理意义并不显著,对于不同程度类型的退化图像并不适用相同的分解方式,需要更细化提取彩色图片光照特征。He [19]等人在研究图像去雾提出了暗通道先验,为处理退化图像并实现增强算法带来新的研究途径和可解释性。这一个发现来源于对带雾图像的统计学观察,在非天空区域的自然图像中,至少有一个颜色通道在某些像素点上的邻域具有非常低的强度值。根据这一先验,对退化彩色图像进行了如下建模:
(15)
其中x表示像素,I是观测图片的像素强度,J是场景实际反射光,A是全局光,与像素无关;t是描述光传输率。图像增强的目标是从I中估计
。从而估计出结果J。这一研究的思想表明退化彩色图像的恢复可以通过估计一个单通道的光照层并处理单通道来实现,相比通道分解更具有实际物理意义。Liu等人[20]基于这一思想研究了图像恢复与增强的秩一正则,对光传输率t做出了更好的估计。对于退化图像,秩一先验基于以下的观察条件:在除光源区域外的大部分区域,成像场景是被空间均匀光覆盖的。那么散射光的强度取决于景物的深度,或光的透射。而传输映射与散射光有很强的相关性。如果给出散射光的光谱,则可以用它们的相关系数来表征传输映射。在均匀光的照片中光传输率可以估计为
(16)
此处
。b作为均匀光照的基向量,与环境介质有关。
。为像素与光照的相关系数。由于
是三维张量不容易处理,可以利用Hilbert扫描对
重构为
。此时
(17)
成为一个秩为1的矩阵,这也是彩色图像信号的在均匀退化下光照信息的信号通道。基于这个思想本文针对彩色退化图像的特征提取设计了新的流程。从而转换为特征信息更能表征图片特点的单通道,用同增强灰度图像信号的流程(ITES)实现信号增强。方法如下:首先估计基向量b,代表环境光照
向量。可以根据观测图像
在每个像素的邻域范围内取平均。即
,单位化s得:
(18)
对
的估计时,要考虑在各种物体上的光照信息,要尽可能与观测图接近。采用最小化
与
距离并采用重采样的策略。首先:
(19)
于是结合(18)和(19),得
(20)
其中
表示投影运算。
作为秩1的矩阵,可以记为分块矩阵
,取一列
即可表征光照信号。信号重构为单通道可以在ITES构成的并行阵列系统实现信号增强,并重排为
。
在光照通道尺度上实现增强的同时,综合考虑观测的
因数字信号通信产生的有害噪声,保持与实际数据传输相同的数据存储形式,考虑直接通道分解为RGB,对各个通道保持同参数的ITES进行处理。进过判决,保持信号数值在
之间,重构后得到。恢复出的
表达式为:
(21)
作为光照通道参数可以根据图像退化情况在
之间调整,实现光照通道的尺度变换。整体算法编码与增强的流程如图6。
综上所述,SR-IEM算法流程可以描述为:在数字信号尺度上,直接按照通道分解RGB,展开为单图层,输入随机共振系统并得到基本输出
;从物理光照映射的尺度上,通过秩一的先验对图像的光照信息估计为一维信号,将此一维信号传入同参数的随机共振系统,光照信息的微弱特征增强,输出
,通过恢复公式融合两个增强的信号,得到最终的增强图像输出结果。
Figure 6. Color image enhancement flowchart based on digital communication and illumination channel biscale array stochastic resonance (SR-IEM)
图6. 基于数字通信与光照通道双尺度阵列随机共振(SR-IEM)的彩色图像增强流程图
7. 仿真实验结果分析
本文算法实验基于MATLAB 2020a实现。数据集选用MEF [21],LIME [22],无原图参考。参数选择上,阵列数
,光照通道参数
,固定输入高斯噪声强度为
。根据输入光照层的信号X,从参数分配(14)出发,线形搜索寻优参数对
,龙格库塔法计算步长
,实现随机共振系统参数的最优控制。以MEF的图片Balloon.png为例,在绝热近似条件下取
,得到最优参数对为
,结合实际编码与公式(12)得到实际最优控制的参数为:
。光照层的编码与增强的结果如图7。
Figure 7. The result of the encoding and enhancement of the light layer
图7. 光照层的编码与增强的结果
图7第一行为图片Balloon.png,光照通道估计,编码为数字信号,调制为BPAM信号,经过系统增强后,反演这个过程,第二行从右到左分别为增强后的调制为BPAM信号,数字信号,光照通道,最终输出。可由彩色图片与数字信号频谱图看出,低光退化的细节得到明显的改善,光照层数字信号的微弱特征被增强。
使用本文提出的算法(SR-IME)与经典方法直方图均衡化(Histogram Equalization, HE)、单尺度Retinex (Single-Scale Retinex, SSR)、多尺度Retinex (Multi-Scale Retinex, MSR)和HSV通道分解的双稳态单系统[4] (Stochastic Resonance in HSV, SR-HSV)进行方法对比,从定性分析和定量数据上进行性能评价。
图8为在室内非自然单一光源下的场景图片的不同算法的增强结果。HE和MSR对于暗区有一定的增强作用,但是增强后图像的色彩较为生硬,且出现了有害噪声,物体轮廓有伪影。SSR与SR-HSV在此场景下对低光细节改善不明显。可以看出本文算法的增强(f),相比(b) (c) (d) (e),在低光处增强的细节更加清晰,墙壁的壁画,装饰,桌子上的书本可见性大大提高。且抑制了有害噪声,色彩更为自然。
(a) 原图 (b) HE算法
(c) SSR算法 (d) MSR算法
(e) SR-HSV算法 (f) SR-IME算法*
Figure 8. Chandelier and lamp image enhancement results of LIME data set by different algorithms
图8. 不同算法对LIME与MEF数据集吊灯与台灯图像增强结果
(a) 原图
(b) HE算法
(c) SSR算法
(d) MSR算法
(e) SR-HSV算法
(f) SR-IME算法*
Figure 9. Different algorithms for office (MEF), community (LIME), Venice (MEF) image enhancement results
图9. 不同算法对办公室(MEF),小区(LIME),威尼斯(MEF)图像增强结果
图9为在自然光场景下,不同算法的增强结果。SR-IME算法在处理纹理较多的部分细节更加丰富,如(f)的户外的树,桌子上的物品,楼面,水面,视觉效果相比传统算法与基于通道的通道分解的随机共振算法有较为明显的提升。与此同时,SR-IME算法有效地抑制了增强图像过程中出现的有害噪声,(e)在天空,建筑,水面虽然增强了一定的可见性,由于单通道处理的局限性,有害噪声未得到抑制。而SR-IME在合理估计光照通道的基础上,从数字信号的维度减少这一影响。
对于量化指标评价,表2展示了不同算法在所有数据的平均输入输出信息熵(Information Entropy, IE),噪声方差(Noise Variance, NV),自然图像质量(Nature Image Quality Evaluator, NIQE)。信息熵体现了算法得到的输入结果相比输出微弱信号增强的效应,噪声方差是图片有害噪声的估计,自然图像质量体现了对纹理,色彩等信息的综合评价效果。
Table 2. The average value of different algorithms in the data set
表2. 不同算法在数据集的指标平均值
|
IE↑ |
NV↓ |
NIQE↓ |
输入 |
0 |
0.0080 |
6.99 |
HE |
7.152 |
0.0082 |
6.86 |
SSR |
6.273 |
0.0055 |
6.75 |
MSR |
7.715 |
0.0016 |
4.97 |
SR-HSV |
7.448 |
0.0025 |
5.08 |
SR-IME* |
7.820 |
0.0004 |
4.89 |
由指标数据结果可以看出,本文提出的算法SR-IME实现彩色图像信号增强提高了输入输出的信息熵,相比传统算法,特别是基于通道分解的随机共振方法除了有信息增益的优势,提高了5%。得益于双尺度的控制,噪声方差也明显减小,自然图像质量上也得到了提升。
8. 结论
本文以增强彩色图像对比度与抑制有害噪声为目的,从绝热近似理论、参数调制理论、阵列随机共振系统理论、光照估计理论出发,设计了全新的算法流程。将数字信号和图像光照特征编码的双尺度处理,不仅有效降低了有害噪声影响,同时实现了良好的低光增强效果。为了使随机共振系统更有效的产生,推导并仿真了最优参数控制,并使用了并行阵列结构。在仿真实验中,通过考察数字信号的细节变化,对比不同算法在单一室内光源与自然光源退化图像的增强效果,从主观分析和客观指标表明了本文算法的优势。本文的工作推进了随机共振在图像增强方面应用的研究,特别是为均匀退化场景下的低光彩色图片提供了新的思路与方法。
致 谢
感谢导师对本文选题、研究与写作的指导。
基金项目
国家自然科学基金(62071248)。