基于动态虚拟相机的旋转棱镜扫描成像系统运动模糊消除技术研究

Motion Deblurring Technology Research for Risley Prism Scanning Imaging System Based on Dynamic Virtual Camera

摘要: 旋转棱镜–相机成像系统在动态目标识别和跟踪等新兴领域展现了很好的应用前景。然而，其性能受到运动模糊问题的限制。为了解决旋转棱镜–相机成像系统中的运动模糊问题，本文基于运动成像分析方法，建立了动态虚拟相机的运动模糊数学模型，以表征系统的实时成像模糊机制。通过分析动态虚拟相机一阶运动表达式，提出了动态虚拟相机成像的运动模糊核估计方法和运动模糊消除算法。基于所提出的方法，可以获得扫描图像的运动模糊核，然后结合维纳滤波来消除模糊。实验结果表明，所提出的运动模糊消除算法能有效地消除运动模糊，提高实时扫描成像系统的成像质量。

Abstract: The Rotating Prism-Camera Imaging System (RPCIS) demonstrates promising application prospects in the emerging field of dynamic target tracking and recognition. However, its performance is lim-ited by motion blur issues. To solve the motion blur problem in the rotating prism-camera imaging system, developed by motion imaging analysis methods, a motion blurring mathematical model of the dynamic virtual camera (DVC) is established to characterize the real-time imaging blurring mechanism. By analyzing the kinematics of DVC based on first-order motion expression of rotating double-prism scanners, a motion blur kernel estimation method and the algorithm for motion deblurring are proposed. Based on the proposed method, the motion blur kernel of the scanning image can be obtained, and then the wiener filtering is combined to eliminate the blur. Experi-mental results demonstrate that the proposed motion deblurring method effectively eliminates motion blur and improves the image quality of the real-time scanning imaging system.

1. 引言

为了满足各种搜索和跟踪需求，研究人员提出并发展了各种成像系统来实现搜索和跟踪成像 [1] 。这些设备通常使用面阵相机或线扫描相机，并采用基于镜面反射的扫描成像或基于棱镜折射的扫描成像两种扫描方式 [2] [3] 。这些系统旨在实现全景扫描成像，并在搜索后跟踪目标 [4] - [10] 。

旋转棱镜扫描仪因其紧凑结构、低转动惯量和良好的指向性能，已被广泛应用于激光通信、激光雷达和光束扫描等领域 [11] [12] [13] [14] [15] 。通过在相机前安装旋转棱镜，可以精确地改变相机的视轴指向。Lavigne等人利用旋转棱镜构建了一套步进–凝视成像系统，实现了高分辨率和大视场成像 [16] 。基于类似原理，旋转棱镜被用于图像拼接、超分辨率、多视角成像、三维重建和目标跟踪 [14] - [24] 。

对于旋转棱镜扫描仪，先前的研究主要关注动态扫描模式和光束畸变。Marshall等人通系统地研究了旋转棱镜扫描模式，分析了不同旋转速度、不同棱镜楔角下的光束扫描图案 [25] 。Jeno等人探讨了具有任意数量棱镜的棱镜组的扫描轨迹 [26] 。Schwarze等人发现了棱镜光束压缩效应，提出光束压缩系数与出射光和出射面法向量夹角的余弦值成反比 [27] 。Lavigne等人指出旋转棱镜的成像畸变与棱镜形状相似，发现图像畸变的大小可以近似为线性变形 [28] 。Huang等人提出了一种误差源检测方法，用迭代算法消除图像矫正误差 [29] 。之前的这些研究主要集中在静态成像上，很少涉及动态成像，在扫描成像过程中，棱镜是旋转的，这种模式可以看作是相机在动态连续地扫描场景，所以需要考虑运动补偿 [30] [31] 。

在扫描成像应用中，相机曝光时间内被成像物体与相机成像平面之间存在相对运动，这会导致运动模糊和图像退化。因此，研究运动模糊消除技术对解决这个问题至关重要。为此，我们基于旋转棱镜相机成像系统提出了动态虚拟相机成像模型，并基于动态虚拟相机模型进行运动学分析，提出了一种扫描图像运动模糊消除算法，提高了系统成像清晰度。

2. 基于动态虚拟相机模型的运动分析

如图1所示，旋转双棱镜–相机成像系统由一个相机以及一对共轴但是独立旋转的旋转棱镜组成，且相机的光心一般布置在光轴上。通过两个棱镜的独立旋转，相机的视轴可以被调整到一个特定的区域从而改变相机的成像视场，视轴调整后的具体指向取决于两个棱镜的转角。基于这个原理我们提出了一个等效的虚拟相机模型，这个模型可以生动地描述旋转棱镜–相机成像系统的成像特性，如图1所示，旋转棱镜–相机成像系统在特定棱镜角度组合下拍摄的任何图像都可以被视为虚拟相机拍摄的图像。在本节中，我们将进一步探讨虚拟相机的位姿计算方法并对虚拟相机进行运动学分析。

Figure 1. Schematic diagram of the model of the dynamic virtual camera

图1. 动态虚拟相机模型示意图

2.1. 虚拟相机位姿计算

在图1中，A₀、A₁、A₂、A₃和A₄分别定义为实际相机的视轴方向向量、棱镜1入射面的折射光向量、棱镜1的出射光向量、棱镜2入射面的折射光向量、棱镜2的出射光向量。根据折射定律 [12] ，折射光束可以表示为：

$A_{out}=\frac{n_1}{n_2}{A}_{in}+\left(\sqrt{1-{\left(\frac{n_1}{n_2}\right)}^2\left[1-{\left(A_{in}\cdot N_i\right)}^2\right]}-\frac{n_1}{n_2}\left(A_{in}\cdot N_i\right)\right)\cdot N_i$ (1)

其中A_in和A_out分别是入射光束和折射光束的单位方向向量；N_i是棱镜工作面的单位法向量；n₁和n₂分别是入射介质和折射介质的折射率。对于空气，其折射率为1，旋转棱镜的折射率为n。

在图1中，沿Zc正轴的四个平面的单位法向量依次表示为N₁~N₄：

$N_1={\left[x_{N1},y_{N1},z_{N1}\right]}^{\text{T}}={\left[0,0,1\right]}^{\text{T}}$ (2a)

$N_2={\left[x_{N2},y_{N2},z_{N2}\right]}^{\text{T}}={\left[\cos \left({\theta }_1\right)\sin \left(\alpha \right),\sin \left({\theta }_1\right)\sin \left(\alpha \right),\cos \left(\alpha \right)\right]}^{\text{T}}$ (2b)

$N_3={\left[x_{N3},y_{N3},z_{N3}\right]}^{\text{T}}={\left[-\cos \left({\theta }_2\right)\sin \left(\alpha \right),-\sin \left({\theta }_2\right)\sin \left(\alpha \right),\cos \left(\alpha \right)\right]}^{\text{T}}$ (2c)

$N_4={\left[x_{N4},y_{N4},z_{N4}\right]}^{\text{T}}={\left[0,0,1\right]}^{\text{T}}$ (2d)

根据公式(1)和公式(2)，可以得到出射光束矢量A₄的表达式。

如图1所示，定义俯仰角ρ为出射光束A₄与Z_p轴的正方向之间的夹角；方位角φ是出射光束在X_LO_LY_L平面的投影与X_L轴的正方向之间的夹角，假设 $A_4={\left[x_{a4},y_{a4},z_{a4}\right]}^{\text{T}}$ ，则有：

$\rho =\arccos \left(z_{a4}\right)$ (3a)

$\phi =\{\begin{array}{c}\arccos \left(\frac{x_{a4}}{\sqrt{x_{a4}^2+y_{a4}^2}}\right)y_{a4}\ge 0\\ 2\pi -\arccos \left(\frac{x_{a4}}{\sqrt{x_{a4}^2+y_{a4}^2}}\right)y_{a4}<0\end{array}$ (3b)

假设实际相机成像平面上两个像素点在图像坐标系中位置为(x_s1，y_s1)和(x_s2，y_s2)，f是相机的焦距，则这两个像素点在相机坐标系中的坐标分别为(x_s1，y_s1，f)和(x_s2，y_s2，f)。由于相机光学中心作为相机坐标系的原点，我们可以得到两个入射光矢量 ${\left[x_s{}_1,y_s{}_1,f\right]}^T$ 和 ${\left[x_s{}_2,y_s{}_2,f\right]}^{\text{T}}$ 。通过公式(1)~公式(3)，我们可以计算得到图2中S₁、S₂、K₁、K₂。如图2所示，我们可以通过计算两个成像光束 $S_1={\left[a_1,b_1,c_1\right]}^{\text{T}}$ ， $S_2={\left[a_2,b_2,c_2\right]}^{\text{T}}$ 的交点得到虚拟相机的光学中心位置，定义为Ovc (x_vc，y_vc，z_vc)，两个成像光束S₁、S₂分别通过棱镜2表面Σ4上的出射点K₁ (x₁，y₁，z₁)，K₂ (x₂，y₂，z₂)。

Figure 2. Schematic diagram of dynamic virtual camera pose computation

图2. 动态虚拟相机位姿计算原理图

通过计算以下公式得到动态虚拟相机的光学中心位置在实际相机坐标系中的位置：

$\{\begin{array}{c}\frac{x_{\text{vc}}-x_1}{a_1}=\frac{y_{\text{vc}}-y_1}{b_1}=\frac{z_{\text{vc}}-z_1}{c_1}\\ \frac{x_{\text{vc}}-x_2}{a_2}=\frac{y_{\text{vc}}-y_2}{b_2}=\frac{z_{\text{vc}}-z_2}{c_2}\end{array}$ (4)

基于公式(4)可以获得虚拟相机的光心Ovc与实际相机光心之间的平移矩阵 $Tvc={\left[x_{vc},y_{vc},z_{vc}\right]}^{\text{T}}$ 。

虚拟相机与实际相机的相对旋转矩阵Rvc为实际相机视轴到出射光束之间的旋转矩阵，可以根据Rodrigues公式 [32] 求取。

虚拟相机在实际相机坐标系中的位姿可以表示为：

$DV{C}_{RT}=\left[\begin{array}{cc}Rvc& Tvc\\ 0& 1\end{array}\right]$ (5)

基于公式(5)，空间中任意一点在世界坐标系中的坐标与在虚拟相机像素坐标系的坐标之间的转换关系为：

$\left[\begin{array}{c}{u}_v\\ \begin{array}{l}{v}_v\\ 1\end{array}\end{array}\right]=\frac{1}{{\text{z}}_{vc}}\left[\begin{array}{l}\begin{array}{ccc}f& \gamma & 00\\ 0& f& 00\end{array}\\ 000\text{1}\end{array}\right]\left[\begin{array}{cc}Rvc& Tvc\\ 0^T& 1\end{array}\right]\left[\begin{array}{cc}Rwc& Twc\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$ (6)

其中f是相机的焦距，γ是x和y像素轴之间的倾斜系数，Rwc和Twc分别是实际相机坐标系和世界坐标系之间的相对旋转矩阵和平移矩阵，实际相机的内部参数和外部参数可以通过张正友标定法得到。

2.2. 动态虚拟相机运动学分析

虽然虚拟相机的运动与棱镜的旋转之间的关系是非线性的，但虚拟相机的光学中心总是在相机视轴出射光束A₄的反向延长线上，所以首先我们需要将棱镜的旋转速度映射到相机视轴出射光束A₄的运动速度上。为了减少计算的复杂性，将采用一阶近似算法 [33] ：该算法将棱镜看作是一个具有小顶角的光楔，其对光束的偏转角的大小只取决于棱镜的楔角和折射率，出射的光束指向棱镜主截面的厚端。如图3所示，光束在(O)处进入双棱镜系统并从棱镜1处射出。随着棱镜的旋转，偏转矢量δ1的末端沿着半径为δ1的圆π1移动。然后光束入射到棱镜2上，偏转矢量δ2的末端将沿着半径为δ2的圆运动。最后总的偏转矢量δ可以被认为是δ1和δ2的矢量和。

Figure 3. The kinematics analysis of the dynamic virtual camera based on a first-order centering algorithm

图3. 基于一阶近似算法的动态虚拟相机运动学分析

当两个棱镜的参数相同时，我们可以得到成像光轴方位角的一阶近似值，它相当于图4中棱镜扫描仪的等效主截面的旋转角度，其旋转角的表达式为：

$\bar{\theta }=\frac{1}{2}\left({\theta }_1+{\theta }_2\right)$ (7a)

棱镜之间的旋转角度差为：

$\hat{\theta }=\theta 2-\theta 1$ (7b)

在一阶近似算法中， $\bar{\theta }$ 和 $\phi$ 之间的关系为：

Figure 4. Schematic diagram of dynamic virtual camera equivalent main section

图4. 动态虚拟相机等效主截面的示意图

$\bar{\theta }=\phi$ (7c)

对于旋转双棱镜扫描成像系统，出射光束的偏转角为：

${\left|\delta \right|}^2\text{=}{\left|{\delta }_{\text{1}}\right|}^2+{\left|{\delta }_{\text{2}}\right|}^2-\text{2}\cdot \left|{\delta }_{\text{1}}\right|\left|{\delta }_{\text{2}}\right|\cdot \cos \left(\pi -\hat{\theta }\right),\left|\delta \right|>0$ (8a)

两个棱镜的参数是相同的，因此它们具有相同的偏转角，所以：

${\delta }_1={\delta }_2=n\alpha$ (8b)

可以得到：

$\left|\delta \right|=\sqrt{2}n\alpha {\left(\text{1+}\cos \left(\hat{\theta }\right)\right)}^{\frac{1}{2}}$ (8c)

O₂的速度v_o2可以分为沿δ的径向速度v_⊥和沿δ方向的法向速度v_//：

$v_{\perp }=\frac{\text{d}\bar{\theta }}{\text{d}t}=\frac{1}{2}\left({\omega }_1\text{+}{\omega }_2\right)$ (9a)

$v_{//}=\frac{\text{d}\delta }{\text{d}t}=\sqrt{2}n\alpha \left({\omega }_2-{\omega }_1\right)\sin \left(\hat{\theta }\right){\left(1+\cos \left(\hat{\theta }\right)\right)}^{\frac{1}{2}}$ (9b)

O₂的速度为：

$v_{O2}=v_{\perp }+v_{//}$ (10a)

v_o2的方向为：

$\{\begin{array}{c}\beta =\bar{\theta }+\frac{\pi }{2}-\arctan \left(\frac{v_{//}}{v_{\perp }}\right)，v_{\perp }\ge 0\\ \beta =\bar{\theta }-\frac{\pi }{2}-\arctan \left(\frac{v_{//}}{v_{\perp }}\right)，v_{\perp }<0\end{array}$ (10b)

因此，基于一阶运动表达式，我们可以得到视轴指向方位角和俯仰角的变化方程，它同时也描述了动态虚拟相机所在光束的空间运动变化状态。

3. 运动模糊核估计方法及运动模糊消除算法

3.1. 运动模糊核估计

在扫描成像过程中动态虚拟相机与被成像物体之间产生相对运动，引入运动模糊并导致图像退化，运动模糊的图像退化表达方式为：

$\text{g}\left(u,v\right)=f\left(u,v\right)\ast h\left(u,v\right)+n\left(u,v\right)$ (11a)

其中 $h\left(u,v\right)$ 是运动模糊函数，*表示卷积操作 $f\left(u,v\right)$ 为原始图像， $n\left(u,v\right)$ 是噪声函数 [34] [35] ，运动模糊函数的一般形式如下：

$h\left(u,v\right)=\{\begin{array}{c}\frac{1}{L_b}\text{if}\sqrt{u_{}^2+v_{}^2}\le \frac{L}{2}\text{and}\frac{u}{v}=-\tan \left({\theta }_b\right)\\ 0\text{otherwise}\end{array}$ (11b)

在图5中，为了计算动态虚拟相机从t到t + T的运动距离，首先我们需要计算动态虚拟相机的运动速度。一般来说，相机的曝光时间很短，那么动态虚拟相机运动距离S可以近似为图5中的S = V_cT，V_c是动态虚拟相机的运动速度。

Figure 5. Schematic diagram of scanning imaging degradation

图5. 扫描成像图像退化的示意图

为了计算动态虚拟相机的运动速度，首先我们需要计算图5中所示的点Os的位置，Os是出现光束和Zc轴的交点。根据公式(1)、公式(2)和公式(3)，我们可以得到不同棱镜旋转角度下的出射光束S_n (x_n，y_n，z_n)和相应的出射点K_k (x_k，y_k，z_k)，然后我们可以通过计算z_os得到Os的确切位置：

$\{\begin{array}{c}{z}_{os}=\frac{z_n}{y_n}\times \left(-y_k\right)+z_k\\ z_{os}=\frac{z_n}{x_n}\times \left(-x_k\right)+z_k\end{array}$ (12)

图6显示，Os点在Zc轴上的波动 < 0.2%，我们可以把Os视为旋转不动点，Vc和v_o2之间存在线性关系，可以表示为：

$\{\begin{array}{c}{V}_{c\perp }=v_{\perp }\sqrt{x_{o_{vc(t)}}^2+y_{o_{vc(t)}}^2}\\ V_{c//}=v_{//}\left|O_{vc(t)}{O}_S\right|\end{array}$ (13a)

Figure 6. Fluctuation value of point Os on the Zc-axis

图6. Zc轴上Os点的波动值

然后：

$V_c=V_{c//}+V_{c\perp }$ (13b)

其中 $V_{c\perp }$ 和 $V_{c//}$ 是V_c在动态虚拟相机像素坐标中沿u轴和v轴的分量。

如图5所示，基于相似三角形原理， $\Delta O_{vc(t)}Os{O}_{vc(t+T)}\cong \Delta L_{(t)}Os{L}_{(t+T)}$ ， $\Delta O_{vc(t)}Os{O}_{vc}\cong \Delta L_{(t)}Os{O}_L$ ，可以得到：

$\frac{O_{vc(t)}{O}_{vc(t+T)}}{Os{O}_{vc(t)}}=\frac{L_{(t)}{L}_{(t+T)}}{Os{L}_{(t)}}$ (14a)

根据公式(6)、公式(9)、公式(13)和公式(14)，我们可以计算出动态虚拟相机像素坐标中u轴和v轴的模糊长度：

$\Delta u=\frac{z_{os}-z_{ovc}-f}{z_{os}-z_{ovc}}{V}_{c\perp }T$ (14b)

$\Delta v=\frac{z_{os}-z_{ovc}-f}{z_{os}-z_{ovc}}{V}_{c//}T$ (14c)

然后，像素坐标系中的运动模糊长度L_b，以及运动模糊角度θ_b可以按如下方式计算：

$L_b=\sqrt{\Delta u^2+\Delta v^2}$ (14d)

${\theta }_b=\arctan \left(\frac{\Delta u}{\Delta v}\right)$ (14e)

上述表达式表明，运动模糊的长度和方向仅与系统参数、棱镜角度、焦距和动态虚拟相机的光学中心的空间位置Ovc有关。

3.2. 运动模糊消除算法实现

在获得给定图像的运动模糊核的参数后，可以采用维纳滤波法进行运动去模糊处理 [36] 。维纳滤波是一种用于图像去模糊的线性滤波方法，假设扫描图像为 $g\left(u,v\right)$ ，原始图像为 $f\left(u,v\right)$ ，运动模糊核为 $h\left(u,v\right)$ ，以及噪声 $n\left(u,v\right)$ 。在频域中图像模糊过程可以表示为：

$G\left(u,v\right)=F\left(u,v\right)H\left(u,v\right)+N\left(u,v\right)$ (15a)

其中， $G\left(u,v\right)$ ， $F\left(u,v\right)$ ， $H\left(u,v\right)$ 和 $N\left(u,v\right)$ 分别是 $g\left(u,v\right)$ ， $f\left(u,v\right)$ ， $h\left(u,v\right)$ 和加性噪声 $n\left(u,v\right)$ 的傅里叶变换。

维纳滤波器的频域表达式为：

$W\left(u,v\right)=H*\left(u,v\right)/\left({\left|H\left(u,v\right)\right|}^2+K\right)$ (15b)

其中， $W\left(u,v\right)$ 代表维纳滤波器， $H*\left(u,v\right)$ 是复数共轭， ${\left|H\left(u,v\right)\right|}^2$ 是 $H\left(u,v\right)$ 的平方，K是一个可调参数，用于平衡去模糊化和噪声抑制：

$K={\left|N\left(u,v\right)\right|}^2/{\left|F\left(u,v\right)\right|}^2$ (15c)

根据维纳滤波，复原图像 $F^{\prime }\left(u,v\right)$ 可以用以下表达式计算：

$F^{\prime }\left(u,v\right)=W\left(u,v\right)*G\left(u,v\right)$ (15d)

然后，通过对 $F^{\prime }\left(u,v\right)$ 进行傅里叶逆变换，得到复原图像 $f^{\prime }\left(u,v\right)$ ：

$f^{\prime }\left(u,v\right)=IFFT\left(F^{\prime }\left(u,v\right)\right)$ (15e)

基于动态虚拟相机的一阶运动表达式和扫描模糊数学模型，提出了一种实时扫描图像模糊消除算法，如图7所示。

Figure 7. The algorithm of the scanning image deblurring

图7. 扫描图像运动模糊消除算法

4. 实验

实验设备参数如表1所示。

Table 1. The parameter of the prism and camera

表1. 相机棱镜和棱镜的参数

实验中使用的相机焦距为25 mm，相机曝光时间设定为20 ms，通过系统控制器可以获取棱镜1的旋转速度ω₁(t)，棱镜2的旋转速度ω₂(t)，以及棱镜的实时旋转位置θ₁(t)和θ₂(t)。图8(a)和图8(c)是在扫描成像过程中选择的两帧图像。图8(a)所对应的棱镜旋转角度为θ₁ = 30˚，θ₂ = 30˚，棱镜的旋转速度为ω₁ = 30˚/s，ω₂ = 30˚/s。图8(c)所对应的棱镜旋转角度为θ₁ = 320˚，θ₂ = 340˚，棱镜的旋转速度为ω₁ = 40˚/s，ω₂ = 20˚/s。图8(b)和图8(d)分别是图8(a)和图8(c)的运动模糊消除图像。基于所提出的算法，在配置matlab2020a和i7-9750h@4.0 Ghz处理器的计算机上可以在0.0986 s内完成分辨率为1600 × 1200的图像的运动模糊消除。

Figure 8. Scanning image motion deblurring. 1st group: (a) The blurred image, (b) is the motion deblurring image of (a); 2nd group: (c) The blurred image, (d) is the motion deblurring image of (c)

图8. 扫描图像运动模糊消除。第1组：(a) 模糊图像，(b) 为(a)的运动模糊消除图像；第2组：(c) 模糊的图像，(d) 为(c)的运动模糊消除图像

运动去模糊方法的效果可以用清晰度评价指标函数来评价，设定模糊图像图8(b)和图8(d)为是清晰图像，其相对清晰度为100%。表2显示了模糊图像的相对清晰度，实验表明，该方法可以有效地提高旋转棱镜–相机成像系统扫描成像的图像清晰度。

Table 2. The relative clarity of blurred image

表2. 模糊图像的相对清晰度

5. 结论

本文提出了一种旋转棱镜–相机成像系统扫描图像的运动模糊核估计方法和运动模糊消除算法。通过建立动态虚拟相机模型，我们提出了一种基于动态虚拟相机的运动模糊核估计方法：该方法基于一阶近似算法对动态虚拟相机进行运动学分析，得到动态虚拟相机的一阶运动表达式，结合旋转棱镜–相机成像系统的参数来建立运动模糊核的数学模型，基于该模型可以获得图像的运动模糊核，最后使用维纳滤波实现了运动模糊消除。实验结果表明，所提出的运动模糊消除算法能有效地消除运动模糊，提高实时扫描成像系统的成像质量。同时本文也验证了一阶近似算法对于旋转棱镜扫描成像分析的有效性，为动态目标跟踪和实时环境扫描提供了有效的解决方案。

基金项目

国家自然科学基金面上项目“动态虚拟相机变视轴立体成像原理与方法”(编号61975152)。

NOTES

^*第一作者。

^#通讯作者。