基于希尔伯特变换的三频三步相移结构光三维重建方法

Three-Frequency Three-Step Phase-Shift Structured Light 3D Reconstruction Method Based on Hilbert Transform

摘要: 在光学三维重建技术中，当投影仪以恒定的投影速率工作时，减少投影条纹图案的数量是减少投影时间的有效方法。为了提高物体形貌的三维重建的速度，我们提出了基于希尔伯特变换的三频三步相移结构光三维重建方法。我们对最高频率的条纹投影三个条纹图案，条纹之间的相移设计为3π/2，其余两个频率的条纹分别投影一个条纹图案。利用其余两个频率的投影的条纹和背景光强图像获取余弦分量，希尔伯特变换将余弦分量与冲击响应进行卷积，在频率和幅度保持不变的前提下将相位移动π/2。为了提高该方法的准确性和鲁棒性，我们采用了三频外差法来进行相位展开。实验结果表明：该方法在对高精度标准球重建时精度为0.0399 mm，重建精度较高。投影条纹图片由传统的9幅缩减到了5幅，提高了投影效率。

Abstract: In optical 3D reconstruction techniques, when the projector works at a constant projection rate, reducing the number of projected fringe patterns is an effective way to reduce the projection time. In order to improve the speed of 3D reconstruction of object morphology, we propose a three-frequency, three-step phase-shift structured optical 3D reconstruction method based on Hil-bert transform. We project three fringe patterns for the highest frequency fringe, and the phase shift between the fringes is designed to be 3π/2, and one fringe pattern is projected for each of the remaining two frequencies. The cosine components are obtained using the projected fringes of the remaining two frequencies and the background light intensity image, and the Hilbert transform convolves the cosine components with the shock response to shift the phase by π/2 while keeping the frequency and amplitude constant to improve the accuracy and robustness of the method, we use the three-frequency outlier method to perform the phase expansion. The experimental results show that the method has a high reconstruction accuracy of 0.0399 mm when reconstructing the high-precision standard sphere. The projected fringe images are reduced from the traditional 9 to 5, which improves the projection efficiency.

1. 引言

三维形貌重建 [1] 在许多领域中具有广泛的应用，例如工业制造 [2] 、军事 [3] 、医学影像 [4] [5] 等。相移轮廓术 [6] (Phase Shifting Profilometry, PSP)作为一种常用的结构光测量技术，因其测量速度和精度而备受关注。在该方法中，获得绝对相位信息是至关重要的，相位展开则是实现这一目标的关键步骤。包裹相位是通过反切运算得到的，并被限制在区间(−π, π)，而要获取目标表面的准确三维形貌，需要恢复出绝对相位图像。相位展开在许多领域中都扮演着重要角色，如合成孔径雷达 [7] 和磁共振成像。然而，在实际应用中，相位展开常常面临着一些问题，例如部分阴影、低条纹调制质量、表面亮度的不均匀性和边缘不连续性等。

为了解决这些问题，人们一直在致力于提出高效而准确的相位展开算法。王朝旭 [8] 等人提出了一种基于四步相移的快速时间相位展开方法。6幅条纹图得以解相，四步相移条纹图获取包裹相位，2幅相移量相差π的条纹图获得辅助相位，通过上述两个相位共同确定条纹级次。实际测量时，包裹相位和辅助相位同时等于零或者相位间断处将会出现噪点，影响条纹级次确定。何群 [9] 等人提出基于深度学习的结构光包裹相位展开算法。数据集共包含400组数据，12步相移法获得的包裹相位作为输入，多频外差算法计算得出的条纹阶次作为输出，与传统多频外差算法对比，相位展开精度更高，鲁棒性更好。Minghang Li [10] 等人提出一种新型2 + 1时间相位展开的方法。其共享直流分量，提取的包裹相位排除了相位参考平面的贡献，低频条纹投影可以使低频包裹相位在没有相位展开的情况下变为连续相位，在低频解包裹相位的引导下，高频包裹相位被展开。Hechen Zhang [11] 等人提出莫尔轮廓术结合三频外差时间相位展开算法。将三频外差与改进的频率载波莫尔轮廓术相结合，有效地提取频率载波莫尔条纹，利用三频外差算法解开具有最高频光栅的包裹相位，所需的光栅从6帧减少到3帧，有效地避免对物体的非均匀反射率的干扰。刘飞 [12] 等人提出了改进的三频三步相移结构光三维重建方法。采用5张条纹图，最高频率的3张条纹图获取包裹相位，剩余频率的两张条纹图用于对包裹相位进行展开。通过比较斜率的正负特性，将反余弦函数限制的包裹相位变化范围(0, π)转换到(0, 2π)，利用最高频率的包裹相位以及转换后的两个包裹相位通过三频外差算法获得条纹级次得到最高频的展开相位。Chao Zuo [13] 等人提出双频三极脉宽调制条纹投影算法。5张条纹图解相，双频移相算法得到两个不同波长的包裹相位图，双频数字理论方法展开两个相位图，TPWM技术生成具有轻微散焦的理想条纹图案以保证相位展开的鲁棒性和投影图案的高正弦性。夏继隆 [14] 等人提出一种相位展开方法，结合希尔伯特变换和格雷码，通过对希尔伯特变换前后的条纹图像进行处理来求解截断相位。传统的方法需要四幅相移条纹图像，而该方法通过引入希尔伯特变换将原先需要的四幅条纹图像缩减为两幅，显著提高投影效率。

本文提出了一种基于希尔伯特变换的三频三步相移结构光三维重建方法，旨在不损失测量精度的前提下提高测量效率。该方法利用三步相移条纹图作为基础，通过合成两幅新的条纹图来进一步提取信息。具体而言，该方法首先利用三步相移条纹图获取最高频包裹相位。然后，利用增加的两幅条纹图与希尔伯特变换相结合，得到其余两个频率的包裹相位。最后，通过采用时间相位展开方法 [15] (Temporal Phase Unwrapping, TPU)——三频外差法对包裹相位进行展开。所提方法只需5幅条纹图片，测量速度较快，并且算法简单。另外，所提方法基于三步相移算法进行运算，条纹展开不易受到噪声影响，而且可以满足高精度的测量需求。

2. 测量原理

在本节中，我们从四个方面详细介绍我们的技术：首先，我们介绍了测量系统，主要由计算机、投影仪与工业相机3个部分组成。其次，我们介绍了三频相移方法和希尔伯特变换 [16] [17] [18] ，其中仅分析5张条纹图像可以得到三个不同的包裹相位图。然后，我们回顾了最广泛使用的时间相位展开算法——多频外差法 [19] [20] 。最后，我们通过计算机仿真验证该方法的有效性。

2.1. 测量系统

整个测量系统硬件部分主要由计算机、投影仪和工业相机三个主要部分组成，如图1所示。系统的工作原理如下：

Figure 1. Measurement system schematic diagram

图1. 测量系统原理图

首先，需要对系统进行标定，以确定投影仪和工业相机的内部参数以及它们之间的位姿关系，为后续的三维重建提供准确的数据基础。其次，利用计算机编码生成条纹图像，通过投影仪将条纹图像投射到待测物体表面，投影仪的光源发出光线照射条纹图案，使其在物体表面形成变形的条纹图案。与此同时，工业相机对变形的条纹图案进行采集。最后，利用计算机和相关算法对采集到变形的条纹图像进行处理，实现了对待测物体的三维重建。

2.2. 生成条纹图

2.2.1. 三步相移法

PSP已经成为最流行的相位提取方法之一，因为它完全消除了来自环境光和表面反射率的干扰。三步相移法是一种最小条纹数的相位提取方法，相对于其他相移算法，它只需要使用三个相移条纹即可完成相位恢复，这意味着相位提取所需的投影和图像采集时间较短，适用于高速应用。本文选择等相移的三步相移算法，可以描述为：

$\begin{array}{l}{I}_1\left(x,y\right)=A\left(x,y\right)+B\left(x,y\right)\cos \left[{\phi }_1\left(x,y\right)-\frac{3\pi }{2}\right]\\ I_2\left(x,y\right)=A\left(x,y\right)+B\left(x,y\right)\cos \left[{\phi }_1\left(x,y\right)\right]\\ I_3\left(x,y\right)=A\left(x,y\right)+B\left(x,y\right)\cos \left[{\phi }_1\left(x,y\right)+\frac{3\pi }{2}\right]\end{array}$ (1)

其中， $I_n\left(x,y\right)$ 表示第n幅条纹图像像素位置处 $\left(x,y\right)$ 的光强值，这里n = 1, 2, 3， $\left(x,y\right)$ 表示图像平面任意像素位置， $A\left(x,y\right)$ 是与图案亮度和背景照明相关的背景光强， $B\left(x,y\right)$ 是与图案对比度和表面反射率相关的调制光强。 ${\phi }_1\left(x,y\right)$ 是被物体高度调制后的包裹相位，可由以下方程式提取：

${\phi }_1\left(x,y\right)={\tan }^{-1}\frac{\sqrt{3}\left[I_1\left(x,y\right)-I_3\left(x,y\right)\right]}{2I_2\left(x,y\right)-I_1\left(x,y\right)-I_3\left(x,y\right)}$ (2)

由于反正切函数的范围为(−π, π)，因此由等式(2)提供的相位值将会有π个相位不连续点。为了获得一个绝对的相位分布，通常需要一种相位展开算法。绝对相位分布对于具有复杂形状的孤立物体的三维形状测量是必要的。空间相位展开算法不能解决不连续表面的相位模糊和相位变化大于π的变化。为了获得一个变形条纹图案的可靠的绝对相位分布，我们使用了另外两幅条纹图像。

$\begin{array}{l}{I}_4\left(x,y\right)=A\left(x,y\right)+B\left(x,y\right)\cos \left[{\phi }_2\left(x,y\right)\right]\\ I_5\left(x,y\right)=A\left(x,y\right)+B\left(x,y\right)\cos \left[{\phi }_3\left(x,y\right)\right]\end{array}$ (3)

假设相机和投影仪都有相当大的视深，并且物体表面的反射是线性的，所有五张图像中的像素 $\left(x,y\right)$ 的平均强度系数 $A\left(x,y\right)$ 应该是恒定的。它可以使用如下表示：

$A\left(x,y\right)=\frac{1}{3}\left[I_1\left(x,y\right)+I_2\left(x,y\right)+I_3\left(x,y\right)\right]$ (4)

2.2.2. 希尔伯特变换

希尔伯特变换(Hilbert Transform，HT)是一种线性时不变的积分变换，用于在信号处理和数学分析中处理实数函数。它是由德国数学家大卫·希尔伯特(David Hilbert)于20世纪初提出的。通过将一个实函数与一个特殊的核函数进行卷积来生成一个新的函数，这个核函数实质上是具有相移90度的复指数函数。对于实函数 $f\left(t\right)$ 进行希尔伯特变换可以表示为：

$H\left[f\left(t\right)\right]=\hat{f}\left(t\right)=f\left(t\right)\otimes \frac{1}{\pi t}=\frac{1}{\pi }{\displaystyle {\int }_{-\infty }^{+\infty }\frac{f\left(\tau \right)}{t-\tau }\text{d}\tau }$ (5)

从公式(5)可以看出，实函数 $f\left(t\right)$ 的希尔伯特变换等价于信号与脉冲响应1/ 做卷积。对公式(5)进行傅里叶变换(Fourier Transform, FT)得到频域内的输出信号可以表示为：

$\hat{f}\left(t\right)=f(t)\otimes \frac{1}{\pi t}\stackrel{FT}{\to }F\left(t\right)\left[-j\mathrm{sgn}\left(f\right)\right]=\{\begin{array}{l}-jF\left(f\right),f\ge 0\\ jF\left(f\right),f<0\end{array}$ (6)

根据以上公式可以得出结论，希尔伯特变换实际上是对信号作了 $\pm \pi /2$ 相移，对于负频率部分相位移动 $\pi /2$ ，正频率部分移动 $-\pi /2$ 。根据公式(5)可以得到公式(3)的希尔伯特变换结果为：

$\begin{array}{l}{I^{\prime }}_4\left(x,y\right)=H\left[I_4\left(x,y\right)-A\left(x,y\right)\right]=B\left(x,y\right)\sin \left[{\phi }_2\left(x,y\right)\right]\\ {I^{\prime }}_5\left(x,y\right)=H\left[I_5\left(x,y\right)-A\left(x,y\right)\right]=B\left(x,y\right)\sin \left[{\phi }_3\left(x,y\right)\right]\end{array}$ (7)

采用反正切函数得到包裹相位 ${\phi }_2\left(x,y\right)$ ， ${\phi }_3\left(x,y\right)$ 分别为：

$\begin{array}{l}{\phi }_2\left(x,y\right)={\tan }^{-1}\frac{{I^{\prime }}_4\left(x,y\right)}{I_4\left(x,y\right)-A\left(x,y\right)}\\ {\phi }_3\left(x,y\right)={\tan }^{-1}\frac{{I^{\prime }}_5\left(x,y\right)}{I_5\left(x,y\right)-A\left(x,y\right)}\end{array}$ (8)

到目前为止，我们只使用5个条纹图就得到了三个包裹相图： ${\phi }_1\left(x,y\right)$ ， ${\phi }_2\left(x,y\right)$ 和 ${\phi }_3\left(x,y\right)$ 。 ${\phi }_2\left(x,y\right)$ 和 ${\phi }_3\left(x,y\right)$ 不同于 ${\phi }_1\left(x,y\right)$ ，I₄和I₅的条纹频率不等于I₁~I₃，这正是我们想要的，因为他们提供了额外的信息进行相位展开。

2.3. 多频外差原理

其原理是将多个不同频率正弦条纹图案投影到被测物体上，这里以双频为例，即将频率为f₁和f₂，节距为P₁和P₂的正弦光栅的相位做差，将小节距的相位主值转化为大节距的相位差，从而使得相位差信号覆盖整个视场，然后再根据相位差来得到整幅图像的绝对相位分布，原理如图2所示。

对于横向编码的图像可以得出 $x=y$ ，假定投影仪的横向分辨率为w，相移频率为f_i，则节距P_i表示如下：

$P_i=\frac{w}{f_i}$ (9)

对于两者的相位差，有：

${\phi }_{12}=\{\begin{array}{l}{\phi }_1-{\phi }_2,{\phi }_1\ge {\phi }_2\hfill \\ 2\pi -\left({\phi }_2-{\phi }_1\right),{\phi }_1<{\phi }_2\hfill \end{array}$ (10)

考虑到数值计算稳定性的关系，我们做个处理：

$\begin{array}{l}k=round\left[\left(\frac{P_2}{P_2-P_1}{\phi }_{12}-{\phi }_1\right)/2\pi \right]\\ \Phi =2\pi k+{\phi }_1\end{array}$ (11)

而关于节距，假设 ${\phi }_1>{\phi }_2$ (P₁ < P₂)，显然有：

${\phi }_{12}={\phi }_1-{\phi }_2\to \frac{1}{P_{12}}=\frac{1}{P_1}-\frac{1}{P_2}\to P_{12}=\frac{P_1{P}_2}{P_2-P_1}$ (12)

从这个公式看出：用短节距的相移条纹进行叠加，从而获取节距更长的相移条纹，为了能够实现全场无歧义的相位展开，我们必须选择适合的P₁、P₂，使得P₁₂超过整个视场，从而获得唯一相位。

Figure 2. Schematic diagram of multi frequency heterodyne

图2. 多频外差原理图

2.4. 计算机仿真

根据公式(1) (3)，利用计算机仿真生成图像大小为912 × 1140像素、f₃ = 70的条纹图(I₁~I₃)如图3(a)所示，其在100行像素处光栅图像强度分布如图3(d)所示。f₂ = 64的条纹图(I₄)如图3(b)所示，其在100行像素处希尔伯特变换前后光栅图像强度分布如图3(e)所示。f₁ = 59的条纹图(I₅)如图3(c)所示，其在100行像素处希尔伯特变换前后光栅图像强度分布如图3(f)所示。然后按照多频外差方法对所得图像进行相位解包裹，得到包裹相位及解包裹相位计算结果如图4所示。最后求得的最终条纹级次k如图5所示。

Figure 3. Computer generated fringe pattern. (a) fringe patterns I₁~I₃ with frequency of 70; (b) fringe pattern I₄ with frequency of 64; (c) fringe pattern I₅ with frequency of 59; (d)~(f) represent the light intensity of the 100th pixel in Figure 3(a)~(c) respectively

图3. 计算机生成的条纹图。(a) 频率为70的条纹图I₁~I₃；(b) 频率为64的条纹图I₄；(c) 频率为59的条纹图I₅；(d)~(f)分别表示图3(a)~(c)中第100行像素位置的光强

(a)(b)

Figure 4. Calculation results of wrapping phase and unwrapping phase

图4. 包裹相位及解包裹相位计算结果图

Figure 5. Fringe level k

图5. 条纹级次k

3. 实验

3.1. 实验装置

为验证所提方法及系统的有效性，依照测量系统原理图搭建实验装置，相机与投影仪通过外触发线相连，以实现投影仪投影相机同步采集的功能。此外，相机与投影仪分别与将计算机相连，以实现数据传输和同步控制的功能。具体操作步骤为：首先计算机生成大小为912 × 1140像素的条纹图烧录至TIDLPLightCrather4500型投影仪(分辨率为912 × 1140 pixels)，然后投影仪投影至待测物体表面的同时由相机(Daheng MER-502-79U3C，分辨率为2448 × 2048 pixels)对变形的条纹图案进行采集。最后，利用计算机和相关算法对采集到变形的条纹图像进行处理，实现了对待测物体的三维重建。

3.2. 精度验证

为了验证所提方法的测量精度，设定三种条纹投影频率f₃ = 70，f₂ = 64，f₁ = 59，选择对标准球进行测量。实验中采用标准陶瓷球的直径为20.0185 mm，采用GeomagicStudio12软件对生成的点云图进行拟合。图6(d)为所提方法得到的三维重建结果，标准球的重建直径为20.0584 mm，误差为0.0399 mm。图7(d)为传统三频外差法得到的三维重建结果，重建直径为20.0949 mm，误差为0.0764 mm。从图6，图7中可以看出相比于传统方法本文所提方法具有较好的重建效果且投影效率提高了44.4%。

Figure 6. Reconstruction results of this method. (a) The deformation phase shift fringes modulated by objects captured by the camera; (b) Unwrapping phase diagram; (c) Wrap phase diagram with frequency f₃; (d) Geomagic Studio12 software fits a sphere to the generated point cloud image

图6. 本文方法重建结果。(a) 相机采集的由物体调制的变形相移条纹；(b) 解包裹相位图；(c) 频率为f₃的包裹相位图；(d) GeomagicStudio12软件对生成的点云图进行拟合的球体

Figure 7. Reconstruction results of traditional three frequency heterodyne method. (a) The deformed phase shift fringe image modulated by the object captured by the camera; (b) Unwrapping phase diagram; (c) Wrap phase diagram with frequency f₃; (d) Geomagic Studio12 software fits a sphere to the generated point cloud image

图7. 传统三频外差方法重建结果。(a) 相机采集的由物体调制的变形相移条纹图像；(b) 解包裹相位图；(c) 频率为f₃的包裹相位图；(d) GeomagicStudio12软件对生成的点云图进行拟合的球体

3.3. 复杂物体重建

为了验证该算法在复杂物体重建方面的有效性，我们选择了一张折叠了两次后展开的纸张和一个形貌较复杂的娃娃进行重建实验，如图8，图9所示。

根据上一节的精度验证实验，选择合适的条纹频率进行相位展开，将编码图像投影到折叠纸张得到如图8(a)所示的变形相移条纹图像。图8(d)表示在图8(a)中红色划线像素位置处的光强、包裹相位以及条纹级次。通过本文算法计算得到图8(b)折叠纸张的解包裹相位图，对得到计算结果重建得到如图8(c)所示的折叠纸张，其轮廓完整，表面光滑，重建效果较好。

与此同时，我们还重建了由一种乙烯基聚合物聚氯乙烯制成的娃娃，着重选择娃娃眼睛处进行观察。图9(a)所示相机采集的娃娃变形相移条纹图像；图9(b)所示通过Geomagic Studio12软件对生成的点云图进行封装的娃娃重建结果，该实验结果表明该方法能够准确地重建出复杂微小物体的高度信息，进一步证明了该方法在实际应用中具有潜力，并为处理复杂物体的三维重建提供了有力的工具。

(a) (b) (c) (d)

Figure 8. Folded paper reconstruction results. (a) The deformation phase shift stripe images of folded paper collected by the camera; (b) Unfolding phase diagram of folded paper; (c) The reconstruction results of the folded paper encapsulated in the generated point cloud image using Geomagic Studio12 software; (d) The light intensity, wrapping phase, and stripe level at the position of the red underlined pixel in Figure (a)

图8. 折叠纸张重建结果。(a) 相机采集的折叠纸张的变形相移条纹图像；(b) 折叠纸张的解包裹相位图；(c) GeomagicStudio12软件对生成的点云图进行封装的折叠纸张的重建结果；(d) 在图(a)中红色划线像素位置处的光强、包裹相位以及条纹级次

Figure 9. Doll reconstruction results. (a) Phase shift stripe images of doll deformation collected by the camera; (b) Geomagic Studio12 software encapsulates the doll reconstruction results of the generated point cloud image

图9. 娃娃重建结果。(a) 相机采集的娃娃变形相移条纹图像；(b) GeomagicStudio12软件对生成的点云图进行封装的娃娃重建结果

(a) (b) (c) (d)

Figure 10. Reconstruction results of isolated objects. (a) Distorted phase-shifting fringe images modulated by isolated objects captured by the camera; (b) The unwrapping phase diagram of isolated objects; (c) Geomagic Studio12 software encapsulates the isolated object reconstruction results of the generated point cloud image; (d) The light intensity, wrapping phase, and stripe level at the position of the red underlined pixel in Figure (a)

图10. 孤立物体重建结果。(a) 相机采集的孤立物体调制的变形相移条纹图像；(b) 孤立物体的解包裹相位图；(c) GeomagicStudio12软件对生成的点云图进行封装的孤立物体重建结果；(d) 在图(a)中红色划线像素位置处的光强、包裹相位以及条纹级次

3.4. 孤立模型重建

为了验证该算法对表面不连续物体的重建能力，依照前面讲到的方法通过计算机生成5幅光栅条纹，在同一视场内同时对两个孤立模型进行重建。为了清晰显示测量结果，只对模型所处位置的条纹图进行截取计算。图10(a)为相机捕获的条纹图像。图10(b)是本文算法所求得的解包裹相位图，图10(d)表示在图10(a)中条纹图的红色划线部分图像像素位置的光强、包裹相位以及条纹级次，图10(c)表示通过GeomagicStudio12软件对生成的点云图进行封装的重建结果。通过实验结果可以看出，本文提出的算法对于表面不连续物体的重建具有较高的准确性和可靠性。这对于处理实际应用中具有不连续物体的三维重建具有重要意义。

4. 结论

我们提出了一种基于希尔伯特变换的三频三步相移结构光三维重建方法，该方法仅捕获5个条纹就可以获得包裹相位，从而能够对复杂和孤立物体进行精确的三维重建。该方法通过三步相移条纹图获取最高频的包裹相位，利用增加的2幅条纹图结合具π/2信号延迟的希尔伯特变换获取其余两个频率的包裹相位，通过时间相位展开方法——多频外差法实现包裹相位的解。实验结果表明，该方法可以可靠地计算出包裹相位，重建质量与传统三频三步多频外差方法的差异不大，重建精度接近，所需的投影条纹从9减少到5，投影条纹更少，投影速度更快。因此，该技术在快速三维重建中有一定的应用潜力。

NOTES

^*通讯作者。