剪切散斑干涉条纹图像处理技术研究进展

Development of Image Processing Technology for Shearography Phase Fringe Patterns

摘要: 剪切散斑干涉技术是一种高精度、非接触的光学全场测量方法，可对复合材料构件的分层、脱粘、皱折、裂纹、撞击损伤等缺陷进行无损检测，在航空航天复合材料无损检测领域得到了广泛应用。本文从剪切散斑干涉的技术原理和系统结构展开，结合大视场剪切散斑干涉光路结构分析了相移技术的应用，论述了干涉相位条纹图滤波和相位解包裹技术等条纹图像处理过程中的关键算法，最后介绍了深度学习网络在剪切散斑干涉测量中的应用，并分析讨论其优势与不足，对未来研究方向进行了展望。

Abstract: Shearography is a high-precision, non-contact optical full-field measurement method that can perform non-destructive testing of composite material components such as delamination, debonding, wrinkles, cracks, and impact damage. It has been widely used in the field of nondestructive testing of aerospace composite materials. Starting from the technical principle and system structure of shearography, this paper analyzes the application of phase shift technology based on the large field of view shearography optical path structure, discusses the key algorithms in the stripe image processing process such as interference phase fringe map filtering and phase dewrapping technology, and finally introduces the application of deep learning network in shearography, analyzes and discusses its advantages and disadvantages, and looks forward to the future research direction.

1. 引言

剪切散斑干涉技术是结合应用光学、计算机技术和数字图像处理等现代技术发展起来的无损检测技术，是一种高精度、非接触的光学全场测量方法 [1] 。1973年，Hung [2] 和Leendertz [3] 分别独立开始剪切散斑干涉术的研究工作，各自使用不同的剪切装置获得剪切散斑干涉图。Leendertz描述了剪切散斑干涉原理，并讨论了对物体表面变化曲率的测量；Hung则系统介绍了剪切散斑干涉测量离面位移空间梯度、应变以及用时间平均法进行振动分析的原理及方法，对推动剪切散斑干涉术的理论发展以及应用起到了关键作用。剪切散斑干涉技术可直接测量复合材料在加载状态下微小变形导致的离面位移沿剪切方向的一阶导数，并且根据测量得到的条纹图案直观显示出缺陷的形状和位置等信息，其检测灵敏度高，具有干涉光路简单、集成度高、对刚体位移不敏感、对系统的隔振性能和激光光源的相干长度要求低等特点 [4] 。

近年来，随着计算机和数字图像处理技术的进步，剪切散斑干涉技术得到了迅猛发展，国内外研究人员逐渐将深度学习网络应用到干涉条纹图像处理与缺陷识别之中。本文将从剪切散斑干涉技术原理、干涉条纹图像处理及深度学习在剪切散斑干涉技术中的应用等方面进行介绍。

2. 剪切散斑干涉技术原理

2.1. 剪切散斑干涉系统

在剪切散斑干涉系统中，产生干涉的关键是令被测物体在成像面上形成两个带有微小错位的重叠像，因此剪切装置不可或缺。基于不同的光学原理，国内外学者设计出了适用于不同场景的多种剪切装置，根据其工作原理可划分为四种类型，分别是基于振幅分割、波前分割、偏振分割和衍射分割原理 [5] 。剪切装置的功能包括：(1) 能够形成两个振幅相当的重叠像，从而得到较高对比度的干涉相位条纹图；(2) 便于调节剪切量大小和剪切方向；(3) 能够方便地引入相移技术。剪切散斑干涉技术的发展对剪切装置也提出了新的需求，例如扩大视场角、提高光能利用率、能够定量调节剪切量大小等。面向这些需求，剪切散斑干涉系统得到了大幅改进与优化。

迈克尔逊结构基于振幅分割原理，作为当前应用最广泛，也是最早被提出的剪切装置之一，其基本结构包含个分光棱镜和两个反射镜。迈克尔逊结构性能优异、易于实现、方便调节，但也存在光能利用率不高、视场角受限等缺点。为扩大迈克尔逊型结构的视场角，从而扩大检测视场，朱猛等 [6] 利用平凹镜片设计了一种反远距成像迈克尔逊式剪切散斑干涉系统，如图1(a)所示，有效地扩大了成像视场，实现了70˚视场角的散斑干涉检测，且成像视场大小还能通过改变平凹镜片的焦距和数量进行实时调整。冯家亚等 [7] 在成像镜头和CCD传感器之间嵌入4f光学系统，使得剪切散斑干涉检测视场不再受到迈克尔逊结构的限制，而仅取决于成像镜头焦距和CCD靶面尺寸。如图1(b)所示，该系统具有视场角大、便携，且镜头外置、易于更换的优点，同时还能保证检测结果质量。吴敏杨等 [8] 利用改进的迈克尔逊干涉光路，提出基于彩色相机的双波长激光剪切散斑干涉测量方法，实现了变形物体面内和面外位移导数的同时测量。

Figure 1. Schematic diagram of Michelson interferometer with large field of view

图1. 大视场迈克尔逊型数字剪切装置

随着剪切散斑干涉中实时、动态检测需求的出现，需要在系统中引入空间相移技术，而传统迈克尔逊结构难以实现，因此一些学者提出了基于马赫–曾德结构的剪切装置使得两个光臂独立，便于其中一个光臂被空间载波信号调制。钟诗民等 [9] 采用双成像的马赫–曾德干涉系统提出了一种改进的剪切成像装置，将激光经过毛玻璃组扩束后投射到镜面物体表面，利用其反射的散斑来检测缺陷，实现了剪切量大小与载波频率的独立调整，且能扩大测量视场。唐信永 [10] 设计了透镜–光阑组合的双马赫–曾德剪切装置，能够对左右两侧物光的剪切量和载波量进行独立调整，实现了两个散斑干涉场的频谱分离。

双折射晶体是基于偏振分割的理想器件，渥拉斯顿棱镜则是其中最有代表性的一种它和迈克尔逊结构一起，成为目前数字剪切散斑干涉仪中最主要的两种剪切装置。鉴于渥拉斯顿棱镜的偏振分离效果在高强度光源下会产生混淆干扰信号、降低信噪比和图像对比度的透射光，Xu等 [11] 提出了一种改进的基于罗歇棱镜的数字剪切散斑干涉技术，罗歇棱镜的发散角比渥拉斯顿棱镜小，既保证了测量距离，又保证了适当的剪切量，能够避免透射光产生的阴影噪声，提高了剪切精度。王煦 [12] 以罗歇棱镜作为剪切装置进一步优化了剪切干涉光路，并通过温度应力场测量实验证明，使用罗歇棱镜改进后的剪切装置相较于传统的渥拉斯顿棱镜，其离面分量测量系统的最大相对测量误差由6%降至4%，提高了剪切干涉装置在高功率激光下的稳定性。

2.2. 相移技术

在剪切散斑千涉测量中，相移技术作为定量获取相位信息的方法由Creath [13] 首先提出。根据引入相位的性质，可将相移技术分为时间相移技术和空间相移技术两个类别。常用的时间相移技术主要有三步相移算法 [14] 、四步相移算法 [15] 、五步相移算法 [16] 和Carre相移算法 [17] ；空间相移技术包括空间相移法 [18] 、空间载波相移技术 [19] 和空间傅里叶变换法 [20] 。

为了精确、实时地测量物体表面的动态形变，王永红等 [21] 提出了基于狭缝光阑的空间载波剪切散斑千涉系统，在25 frame/s的采集速度下，以43.6˚的视场角实现了动态形变测量，可测形变峰值为0.5~30 µm。郭媛等 [22] 对传统剪切散斑干涉系统加以改进提出一种物体变形动态检测方法，将传统检测系统中的压电陶瓷控制器用参考镜代替，减少了物理装置控制与执行的时间，仅需采集一幅干涉图像即可满足后期计算，加以二维连续小波滤波和最小二乘相位解包算法，能快速可靠地检测出物体动态形变。

针对传统相移方法中极低的信噪比条件下难以进行精确的相位分析问题，Ri等 [23] 提出时空相移法，同时利用空域和时域的二维强度数据来稳健地测量相位信息，通过仿真结果证明了该方法对随机噪声具有很强的耐受性，并且对于系统非线性、强度饱和、环境振动或相移误差等干扰具备自中和功能。

在传统空间载频剪切散斑干涉系统中，剪切量的调整与空间载频并不是完全独立的，往往通过旋转反射镜来调节剪切量和空间载频，而要得到合适剪切量所需的旋转量和空间载流子频率不同，会导致检测结果的准确性降低。Sun等 [24] 提出了一种独立调节剪切量和空间载频的检测方法，通过改变空间光调制器的输入图像来实现剪切量的调整，而空间载频则仅由双光阑之间的相对位置控制。李欢 [25] 以二元光学的衍射原理为基础，实现了在保持光学元件固定的情况下根据测量情况灵活地对剪切量进行调整，通过采用时间序列算法简化了相移装置，可以实现实时的动态测量。王永红等 [26] 构建了一种利用液晶空间光调制器(LC-SLM)来实现剪切量调制的空间载波相移剪切散斑千涉测量系统，通过在LC-SLM中写入周期条纹图像，可以在精确调节剪切量的同时调整空间载波频率，调制速率最高可达31 Hz，具有定量、精确、快速调节剪切量的优势。

3. 干涉条纹图像处理算法研究

3.1. 滤波算法研究

任何测量结果都无法避免误差的干扰，剪切散斑干涉得到的相位条纹图中往往存在大量的散斑颗粒噪声，会直接影响相位解包裹过程，甚至导致解包裹失败，进而影响物体变形量的测量精度 [27] 。因此，相位条纹图中散斑噪声的高效滤除是提高剪切散斑干涉检测精度的关键之一。

为解决上述问题，国内外的专家学者设计出了多种针对相位条纹图中散斑噪声的滤波模型。唐傲 [28] 提出正余弦变换小波平均阈值去噪方法，能够保留相位跳变处的细节信息，提高相位图质量，解决了传统正余弦滤波无法实现自适应的问题。王永红等 [27] 将条纹正余弦分解和频域低通滤波相结合，提高了滤波精度和速度，将传统方法中10%~40%的灰度损耗降低至1%以下。闫恪涛 [29] 提出基于残差学习的包裹相位去噪方法，信噪比值达到−4 dB的包裹相位图利用该方法进行滤波后能够成功完成相位解包裹。蒋汉阳等 [30] 基于正弦/余弦滤波技术，提出了依据条纹方向自动选取滤波窗口大小的自适应滤波方法，能够有效保留条纹中的相位跳变信息。Xu等 [31] 构建了一种自适应形状保持的面向偏微分方程(OPDE)模型，利用该模型对不连续的ESPI条纹图像进行去噪，能够有效保留条纹形状和不连续性。Wei等 [32] 提出了一种基于局部均值的自适应多尺度形态学滤波器，该算法能够在降噪的同时保留条纹边缘信息，实现对变密度条纹图像的降噪处理。刘吉等 [33] 提出基于正余弦分解的自适应全变分去噪方法，与其他方法相比峰值信噪比提高了2.0 dB，不仅有效滤除了噪声，边缘纹理信息也得到了完整的保留。林薇等 [34] 提出了一种基于无监督图像风格转换模型(CycleGAN)的条纹图滤波方法，能够快速实现对噪声的高效滤除，条纹对比度高。

3.2. 相位解包裹算法研究

相位条纹图经过滤波处理之后得到的是分布在区间的包裹相位，当相位变化大于一个波长时，就会出现相位不连续的情况，因此并不能反映真实的相位信息。为获取反映变形量变化的连续相位信息，就需要进行相位解包裹操作。相位解包裹算法发展的两个主要目标是：① 提高解包裹图像质量和精度；② 加快算法运算速度 [35] 。现有的相位解包裹理论与算法主要可以分为两大类：路径跟踪算法和最小范数算法，其中路径跟踪算法主要包括Goldstein枝切法 [36] 、质量图导向法 [37] 、掩膜切割算法 [38] 和Flynn最小不连续性算法 [39] ；在路径无关的最小范数算法中，最常用的是最小二乘算法，易于实现二维相位解包裹，应用较为广泛，主要分为不带权的最小二乘算法和加权最小二乘算法，表1为这些典型相位解包裹算法的优势与不足分析。

Table 1. Analysis of the advantages and disadvantages of typical phase solution wrapping algorithms

表1. 典型相位解包裹算法的优势与不足分析

基于这些典型的相位解包裹算法，国内外众多专家学者开展优化研究和创新工作。

赵硕 [40] 提出了基于DCT域掩膜的相位解包裹方法，实验证明与其他算法相比，该算法使包裹相位差从各个方向都逼近真实相位差，解包裹相位更准确，效果良好。王子硕等 [41] 基于傅里叶变换解包裹算法，利用复振幅中相位信息的完整性，提出了数字差分–积分的快速解包裹算法，在保持恢复质量和精度与传统算法相当的基础上，大幅提升了算法运行速度。吴旭辉等 [42] 为兼顾测量的实时性和精确性，在光强度图的高、低质量区域分别采用无权最小二乘法和枝切法来展开相位，并通过实验证明了该算法具有较强的抗噪性，同时对残差点也具有一定的抗干扰性。李梦霞等 [43] 利用包裹相位不同级次间存在明显边界的特点，提出数学形态学区域分割的快速相位解包裹算法，该算法不受相位自身边界、无效区域和噪声等的影响，具有较强的适用性，且算法运行速度快。

王硕等 [44] 基于深度学习神经网络，提出了一种融合注意力机制的相位解包裹算法，并利用随机矩阵来生成大量模拟相位图作为数据集进行训练，实验结果表明该方法得到的展开图像清晰且边缘平滑。陈翠茹等 [45] 基于Unet网络框架设计了UMnet神经网络，并融入了轻量级注意力机制和多尺度卷积来增强网络精度和泛化能力，快速高效地实现高精度相位解包裹。

4. 深度学习在剪切散斑干涉中的应用

深度学习因提取特征能力强，识别精度高，实时性快等优点被广泛应用，特别在人脸识别、医学图像识别、遥感图像识别等方面取得了不俗的效果 [46] 。尤其在图像分类、检测和分割领域，基于深度学习的方法和模型的效果和性能均超过传统的目标检测算法 [47] [48] 。近年来，已有一些研究将深度学习应用到条纹图像处理和剪切散斑干涉检测中，为实现缺陷的高效、自动化检测提供了可能。

Hao等 [49] 提出了一种新的计算机模拟ESPI条纹图方式并将其运用到卷积神经网络，利用降噪网络模型对ESPI条纹图进行降噪处理，该方法适用于对大量图像进行快速降噪。Chen等 [50] 提出了一种通过构建聚类框架滤除ESPI图像中噪声的方法，对低密度和高密度条纹图像分别进行降噪处理，效果得到了提升。邢颖 [51] 将块匹配三维滤波(BM3D)–自适应全变分算法和卷积神经网络(CNN)模型相结合，提出了改进的基于BM3D–自适应全变分滤波的CNN去噪模型，有效改善了传统方法中存在噪声残留的问题，对于较高程度的噪声也能取得较好的降噪效果。

Rivenson等 [52] 提出了一种基于神经网络的深度学习方法来实现相位恢复和全息影像重建，CNN在经过适当的训练后，可以通过单张全息图快速消除孪生图像和自干涉相关的空间伪影，为全息影像重建提供了一个的全新框架。与现有方法相比，该算法运行速度非常快，且对测量的需求量更少。基于一种CNN方法，Wu等 [53] 仅用单张全息图同时实现了自动对焦和相位恢复，该方法不仅在重建过程中显著扩展了景深，而且明显改善了算法的时间复杂度。Feng等 [54] 首次证明了深度神经网络可以被训练来执行条纹分析，大大提高了从单幅相位条纹图进行相位解包裹的精度，与傅里叶变换轮廓法和窗口傅里叶变换轮廓法这两种具有代表性的单幅图像相位解包裹方法相比，该方法在高精度和边缘保持方面具有显著优势。

Ye等 [55] 首次将深度学习应用到剪切散斑干涉条纹缺陷识别，利用Faster R-CNN模型提出了一种基于深度学习识别典型蝶形条纹图来定位缺陷的方法，其识别过程如图2所示。为利用剪切散斑干涉技术进行自动化缺陷在线无损检测提供了可能，与传统的人工检测方式相比，提高了检测效率和准确性。Chang等 [56] 采用一种独特的卷积神经网络与高性能快速区域卷积神经网络集成混合方法检测轮胎剪切散斑干涉图中的气泡缺陷。该模型减少了人为误差引起的误判，并在气泡缺陷检测质量上实现了高一致性。结果表明，该模型除了能彻底识别轮胎气泡缺陷外，还能将轮胎无气泡缺陷的误报率从20%降低到18%。刘朋浩 [57] 应用YOLO算法对隐身材料中不同大小和形状脱粘缺陷的散斑干涉条纹图像进行缺陷识别与定位，验证了YOLO算法对基于激光剪切散斑干涉的隐身材料脱粘缺陷识别的有效性。Chow等 [58] 应用AI机器学习来对剪切散斑干涉图像数据中的裂纹进行自动检测与分类，实现了在80%至95%的置信区间内所有裂纹的全覆盖。此外，研究还表明，标记区域的位置对结果会产生显著影响。

Figure 2. Automatic defect recognition process based on Faster R-CNN network

图2. 基于Faster R-CNN网络的自动缺陷识别过程

综合上述算法与应用，深度学习网络在剪切散斑干涉技术中的应用能够有效提升相位图像处理和缺陷识别检测速率，为实现快速、高效的剪切散斑干涉测量提供了新的思路，也为拓宽剪切散斑干涉技术的应用范围提供了新的可能。但神经网络模型的使用也存在一定的局限性，即依赖于构建样本数量多、种类全的数据集进行训练，而这在剪切散斑干涉测量中往往难以实现。此外，针对不同类型的样品，剪切散斑干涉测量相位图也可能存在较大差异，导致模型训练失效。

5. 总结

剪切散斑干涉技术经过几十年的发展，其全场、非接触、实时、高精度等独特优势在无损检测应用中得到了充分体现。随着计算机技术和数字图像处理技术的发展，大视场动态剪切散斑干涉检测技术不断提高，深度学习网络也将在干涉条纹图像处理和缺陷识别检测等方面得到更为广泛的应用。但仍存在一些问题有待进一步研究。① 剪切散斑干涉技术测量的是物体变形的一阶导数，因此对于没有自发产生变形的物体就需要施加载荷作为辅助，降低测量的实时性，且不同物体对不同载荷的敏感程度不同，如何对被测物体快速、有效、均匀地施加载荷成为一大挑战。② 由于剪切散斑干涉测量精度高，因此极易受到环境噪声的干扰，限制该技术的使用。③ 深度神经网络的使用依赖于大量的数据集，现有算法大多利用模拟数据进行训练，后续需要针对不同材质、不同缺陷类型、施加不同载荷的样本进行大量测量，从而丰富数据集，提高模型可信度。