1. 引言
在图像获取的过程中,由于被摄物体和相机之间在曝光的一瞬间产生相对运动,造成图片模糊,称为运动模糊[1]。这种现象在生活中普遍存在,研究模糊图像的恢复技术具有深远意义。在图像处理当中有许多方法。国内外学者一直在着力研究如何恢复模糊图像的技术。在上个世纪六七十年代Nathan等人利用二维去卷积的方法处理太空探索设备拍摄到的图像。随着学者不断改善,逆滤波成为了运动模糊图像处理的一种经典方法。由于逆滤波计算量非常大,逐渐就演生出维纳滤波、Richardson-Lucy迭代复原法等方法[2]。现如今主要的方法是深度学习、Transformer应用、多态融合以及3D场景重建关联等。其中将图像模糊是为一种匀速直线运动非常具有代表性,因为变速的和非直线的运动在成像的一瞬间可视为匀速直线运动。它不同于其他方法从频域角度出发,而是从空域角度出发。不会涉及系统转移函数,只是通过运动模糊逆推导进行恢复。当图像运动位移为整个像素数时,可直接计算,当不是整个像素数时,则需要四舍五入计算。本文通过一种基于像素匀速运动的分析和逆推导恢复方法,从像素运动的角度分析运动图像的模糊过程,并构造模糊模型,得出相应的恢复算法。还用计算机来模拟因运动而造成的图像模糊过程,用该算法进行恢复,验证其正确性。
2. 物体成像降质内在机理分析
在拍摄运动物体成像的那一刹那,可以把物体的运动状态近似地看作是匀速直线运动。若将图像看作是由海量像素点汇聚而成的集合,展开深入剖析[3],只要精准掌握了各个像素点的运动特质,这些像素点的综合表现便能切实反映出目标图像的整体运动态势,为了更为系统、精准地描述相关运动参数,特进行如下变量设定。
设变量X表示在曝光瞬间目标图像所移动的像素数;用W代表图片的宽度(以像素数量计量);以H表示图片的高度(同样以像素数量计量);令A为运动方向与水平方向夹角的正切值的绝对值,即
。
2.1. 一维运动模糊图像降质探究
目标图像的运动在实际中是连续的进程,鉴于图像是由离散的像素点所构成,可将其视为一个个像素点的运动轨迹。基于此特性,每个像素点在运动过程中的经历时间是一致的。在对运动物体成像机制的深入探究中,需要明确:每个像素点在整个运动历程中的经历时间是完全相同的。为了更加直观清晰地理解这一特性,以第i行像素点沿水平方向向右运动作为范例展开详细阐释。假设目标图像于曝光的这一特定时间段内,精准地移动了4个像素的距离。仔细观察表示便能发现,前4行像素点巧妙地依次展现了在五个截然不同时刻下,位置灰度值所发生的动态转变情形。在这一段时间内,截取了五个关键节点,将像素点在这些瞬间的状态变化呈现出来。图示中的第5行像素实际上代表了第i行像素点历经移动4个像素过,所叠加汇聚而形成的等效灰度值。前4行像素逐步展示着过程,第5行像素将之前的所有变化等效出像素点运动结束后的最终状态。
前4行像素逐步展示着过程,第5行像素将之前的所有变化等效出像素点运动结束后的最终状态。详见表1。
Table 1. Comparison of restoration algorithm parameters
表1. 一维像素运动过程分解
(1) |
|
|
|
|
|
|
|
(2) |
|
|
|
|
|
|
|
(3) |
|
|
|
|
|
|
|
(4) |
|
|
|
|
|
|
|
(5) |
|
|
|
|
|
|
|
2.2. 二维运动模糊图像的降质研究
目标图像的方法与一维图像相类似,我们令素运动方向和水平方向的夹角为
,并且
,现在假设
目标图像以夹角为
的二维运动的模糊过程。在目标图像的运动过程中除了位于边界的像素点,其他的每一个像素运动都是相同的,其运动结果如图所示,其中表示原图像第行第列的像素值,表示运动结束后四个像素叠加后的第行第列的像素值
。详见表2。
Table 2. Two-dimensional fuzzy simulation
表2. 二维模糊仿真表
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
3. 动态模糊模
3.1. 水平向右运动的动态模糊
时,所对应的像素值变化过程为
(1)
(1) 由于每移动一个像素所消耗的时间是相同的,所以
(2)
(2) 接下来我们探讨一下关于i和j的取值范围问题。当目标图像朝着水平向右的方向运动时,我们会面临特殊的边界情形。如果出现j − 3 < 0的情况,在计算过程中,按照正常的取值逻辑,是无法取到
,这涉及到了边界以外的区域,边界以外的值是处于不确定状态的。我们采取一种有效的替代策略,使用原有的像素值来进行替代。当我们要求
时
(3)
推广至一般情况,就可以得到如下水平向右运动的模糊模式:
(4)
其中n为像素运动变量。
3.2. 运动方向与水平夹角 < 90˚
情况下,在四段移动的时间内像素值变化为
(5)
所以
(6)
推广至X取整数的一般情况,就可以得到
(7)
其中,n为像素移动变量,
向下取整。综上可推导出运动的模糊模型。
4. 运动模糊图像的递推恢复算法
4.1. 水平向右运动模糊恢复算法
图像的恢复其实就是图像模糊的一个逆推导,假设是处理后的像素点的灰度值,然后分别考虑两种情况:
它不涉及边界,根据试(4)得
(8)
由此可推出
(9)
(1)涉及边界试(4)得
(10)
将其推广可得:
(11)
综合两种情况可得:
(12)
4.2. 向右上方向运动模糊图像算法
处理此类运动模糊图像恢复问题时,同样可定义变量为经过恢复处理后处像素的灰度值处像素的灰度值,以运动方向与水平方向夹角
情况为例来说明该算法。当在非边界情况下,依据运动模型,像素点的位移量以及灰度值变化要结合三角函数等来计算。能根据每个像素点的原始灰度值、运动方向及位移距离,按既定算法步骤,推导出经过恢复处理,由式(7)
(13)
则运动方向与水平方向夹角
度且向右上方运动模糊图像的恢复模型为
(14)
其他方向二维运动图像的模糊模型与恢复算法可按照此方法进行推导。
5. 仿真实验与恢复对比结果与分析
5.1. 图像模糊处理
实验样本选取测试图像plane图,其尺寸为256 × 256像素,如图1所示作为原始清晰图像。
设置一维运动模糊参数:设置在曝光瞬间像素点位移X分别为
像素。设置二维运动模糊参数:设置在曝光瞬间像素点位移X = 30,位移角度参数A = 3。
实验评估指标:(1) 峰值信噪比(PSNR)量化恢复图像与原始图像的像素级差异;(2) 结构相似性指数(SSIM)评估图像结构信息的保留程度;(3) 相关峰值误差:衡量恢复图像与原始图像在像素值峰值方面的偏差程度。
通过本实验可以明显看出当相对位移X越大或A越大时,其模糊程度越好。这充分说明了拍照时图像模糊其内在机理是在曝光的瞬间,物体与摄像机发生相对为造成不同像素点叠加造成图像模糊。
5.2. 恢复算法对比
视觉效果对比:根据现有流行方法对比逆推导算法整体上有一定优势。但是在恢复过程中,是一个理想的状态,未考虑噪声影响在处理时,会夹杂一定噪声。详见图1、图2。
MSE值、PSNR和SSIM值对比:
在运动参数X = 30,A = 1的条件下,逆推导算法的MSE值为0.0096。与其他普遍适用的算法相比,维纳滤波算法的MSE值高达0.0153,盲图恢复的MSE值为0.0066,而Lucy-Richardson算法的MSE值为0.0054。逆推导算法的MSE值不是最低的,相较于维纳滤波算法和盲图恢复,能显著减小恢复图像与原始图像在像素值上的平均差异,逆推导算法在还原图像像素层面有较好的表现,使得恢复图像在像素级别的准确性上更具优势。
PSNR值对比:逆推导算法的PSNR值为21.1889 dB。Lucy-Richardson的PSNR值为22.7151 dB,维纳滤波的PSNR值仅为18.1423 dB,盲图恢复的PSNR值为19.8216 dB。逆推导算法的PSNR值达到最高,盲图恢复和维纳滤波等相比,有明显提升。逆推导算法恢复出的图像在整体质量上,比盲图恢复和维纳滤波等更接近原始图像,能有效改善图像的视觉效果。
Figure 1. One-dimensional fuzzy simulation and restoration comparison chart
图1. 一维模糊仿真与恢复对比图
Figure 2. Comparison diagram of two-dimensional blur simulation and restoration
图2. 二维模糊仿真与恢复对比图
SSIM值对比:逆推导算法的SSIM值为0.6439。维纳滤波的SSIM值仅为0.1363,Lucy-Richardson算法的SSIM值为0.2781,盲图恢复的SSIM值为0.7993。逆推导算法的SSIM值明显高于维纳滤波和Lucy-Richardson恢复图像。这表明在保留图像结构信息方面,逆推导算法表现出色,能够更好地还原原始图像的结构特征,使恢复图像在结构上与原始图像更为相似,这对于许多对图像结构完整性要求较高的应用场景,如医学图像分析、卫星图像识别等具有重要意义。
综上所述,在运动参数X = 30,A = 3的情况下,虽然逆推导算法在各项指标上并非全面超越其他算法,但综合MSE、PSNR和SSIM值来看,它在平衡像素准确性、图像整体质量和结构信息保留方面展现出了独特优势。在结构信息保留和降低像素误差方面,相较于部分常用算法有显著提升,为图像恢复提供了一种更具潜力的解决方案。详见表3。
Table 3. Comparison of restoration algorithm parameters
表3. 恢复算法参数比较
运动参数 |
恢复算法 |
PSNR值 |
SSIM值 |
MSE值 |
X = 15, A = 3 |
逆推导算法 |
21.1889 |
0.6439 |
0.0096 |
X = 15, A = 3 |
Lucy-Richardson恢复图像 |
20.7151 |
0.2781 |
0.0054 |
X = 15, A = 3 |
维纳滤波 |
18.1423 |
0.1363 |
0.0153 |
X = 15, A = 3 |
盲图恢复 |
19.8216 |
0.7993 |
0.0066 |
6. 结论
当本次实验采用理想化恢复模型,仅从像素运动角度揭示运动物体成像模糊机理及恢复方法,未考虑实际噪声干扰。该算法基于既有模糊模型逆向推导,对曝光瞬间像素点位移X干扰抗性强,具有可逆性。
针对二维匀速直线运动设计的恢复算法存在局限,处理复杂动态场景图像时,因物体运动轨迹复杂或光照变化大,会出现恢复效果不佳、图像边缘锯齿、细节丢失等问题。在数字图像复原中,浮点运算精度限制使模糊图像数值预校正面临挑战,通过采用动态补偿机制,但因像素空间相关性缺失难以建立局部修正参数。迭代重建算法中单个像素异常偏移值会产生误差传递[4],在超分辨率计算中误差指数级扩散,导致复原图像出现振铃伪影和频谱失真,当前在误差传播路径建模和迭代稳定性控制方面有待突破。