遮挡人脸识别技术综述
A Review of Occluded Face Recognition Techniques
DOI: 10.12677/csa.2025.155137, PDF, HTML, XML,    科研立项经费支持
作者: 王晓彤, 韩金颖*, 王俊兴, 李振乾:北华航天工业学院计算机学院,河北 廊坊
关键词: 遮挡人脸识别深度学习特征提取遮挡修复Occlusion Face Recognition Depth Learning Feature Extraction Occlusion Repair
摘要: 人脸识别作为一种非接触、便捷的生物识别技术,在安防、金融、身份认证等领域得到广泛应用。然而,面部遮挡会导致关键特征丢失,严重影响识别性能,成为该领域的重要挑战。针对这一问题,当前研究主要从两个方向展开:一是改进人脸识别算法本身,使其对遮挡具有更强的鲁棒性;二是通过遮挡修复技术还原完整人脸,再执行识别。本文系统综述了遮挡人脸识别技术的最新进展,首先分析直接识别方法,接着探讨基于遮挡修复的方法,并对比两种策略的优缺点及适用场景。最后,本文展望了未来研究方向,为遮挡人脸识别技术的进一步发展提供参考。
Abstract: As a non-contact and convenient biometric technology, face recognition is widely used in security, finance, identity authentication and other fields. However, facial occlusion will lead to the loss of key features, which will seriously affect the recognition performance and become an important challenge in this field. To solve this problem, the current research mainly focuses on two aspects: one is to improve the face recognition algorithm itself to make it more robust to occlusion; The second is to restore the complete face through occlusion repair technology, and then perform recognition. This paper systematically summarizes the latest progress of occluded face recognition technology. First, it analyzes the direct recognition methods, then discusses the methods based on occlusion repair, and compares the advantages and disadvantages of the two strategies and their applicable scenarios. Finally, this paper looks forward to the future research directions and provides a reference for the further development of occluded face recognition technology.
文章引用:王晓彤, 韩金颖, 王俊兴, 李振乾. 遮挡人脸识别技术综述[J]. 计算机科学与应用, 2025, 15(5): 651-659. https://doi.org/10.12677/csa.2025.155137

1. 引言

人脸识别是一种基于个体面部特征进行身份鉴别的生物识别技术。与指纹、虹膜等其他生物特征相比,人脸识别具有非接触、自然、方便的优点,因此在许多领域得到广泛应用,如安防监控、人证合一、移动支付等。随着人工智能和深度学习的发展,人脸识别技术取得了长足进步,识别精度不断提高。

尽管人脸识别技术不断发展,但面部遮挡仍然是一个亟待解决的问题。在实际应用中,人脸经常被眼镜、口罩、围巾等物体部分遮挡,或者因姿态变化、光照不均匀而出现自遮挡。这些遮挡会导致面部信息的丢失,给人脸识别系统带来巨大挑战,严重影响识别性能。因此,如何提高人脸识别算法在遮挡情况下的鲁棒性,成为了人脸识别领域的一个重要研究课题。

针对面部遮挡问题,研究者主要从两个角度进行攻关。第一种思路是精化人脸识别算法本身,使其能够从遮挡的面部图像中提取到足够的判别信息,从而实现遮挡人脸的识别。第二种思路则是先对遮挡部分进行修复和还原,得到完整的面部图像,再进行识别。这两种方法各有优劣,适用于不同的应用场景。

本文将全面综述遮挡人脸识别技术的最新研究进展。首先介绍第一种思路,即直接进行遮挡人脸识别的相关方法,再介绍第二种思路,即基于遮挡修复的人脸识别方法,之后讨论两种方法的优缺点和适用场景,并对未来的研究方向进行展望,并总结全文。

2. 直接进行遮挡人脸识别技术相关方法

2.1. 基于局部特征和深度学习的遮挡人脸识别

基于局部特征和深度学习的遮挡人脸识别是一种常用的人脸识别技术,它通过提取人脸图像中的局部特征来识别人脸,即使人脸被部分遮挡也能取得较好的识别效果。

He L等人[1]提出了一种动态特征匹配方法,用于基于局部特征的遮挡人脸识别,通过预训练的卷积神经网络提取人脸图像的深度特征,将提取到的特征划分为若干个局部特征块。对于每个局部特征块,通过特征匹配的方式在库中的人脸图像中找到最相似的特征块。将所有局部特征块的匹配结果进行加权融合,得到最终的人脸识别结果。在特征匹配过程中,采用一种动态权重调整策略:对于被遮挡的局部特征块,其权重会被动态地调低,从而减小其对最终识别结果的影响。这种动态特征匹配方法可以有效地提高遮挡人脸识别的准确率。

Marco Huber等人[2]采用一种新的知识蒸馏方法,再模板级别上蒸馏知识,并进行迁移学习,采用一种新的对比损失函数,促进迁移学习的适应情况,并使用数据增强技术,在多个公共数据集上进行实验,在佩戴口罩的人脸识别任务中取得了显著的性能提升,证明了其有效性和实用性。

Abdulaziz Alashbi等人[3]提出一种基于级联卷积神经网络(Cascaded CNN)的人脸定位和检测方法。采用多个CNN阶段负责检测和过滤候选人脸区域。通过逐步筛选,可以有效地定位和检测出高度遮挡和非约束环境下的人脸。通过将人脸划分为多个部分,并为每个部分学习独立的表示,可以有效地捕捉局部的面部特征。这种表示方式对遮挡具有更好的鲁棒性,因为即使某些部分被遮挡,其他未遮挡的部分仍然可以提供有用的信息。采用了硬负挖掘的策略来改进训练过程。通过挖掘那些难以区分的负样本(即非人脸样本),并将其用于训练,提高模型的判别能力。减少阳性检测,提高检测精度。采用了多尺度检测的方法,通过在不同尺度下对图像进行扫描和检测,可以有效地定位和检测各种尺寸的人脸。提高算法在不同场景下的适应性和鲁棒性,在多个具有遮挡和非约束特点的人脸数据集上进行了实验,实验结果表明,该方法在高度遮挡和非约束环境下取得了优异的人脸定位和检测性能,证明了其有效性和实用性。

Lingxue Song等人[4]提出了一种基于成对差分孪生网络(Pairwise Differential Siamese Network, PDSN)和掩码学习(Mask Learning)的方法来处理人脸部分遮挡的问题。PDSN由两个共享权重的子网络组成,用于提取面部特征,通过比较两个子网络的输出差异,PDSN可以学习到对遮挡鲁棒的面部表示。通过生成一个掩码表示遮挡区域,网络可以显式地学习如何关注未遮挡的面部区域,从而提高识别性能,掩码学习通过一个附加的分支网络实现,该分支网络与主干网络并行。并提出了一种新的损失函数,称为成对差分损失(Pairwise Differential Loss),该损失函数鼓励PDSN对同一个体的面部特征具有较小的差异,而对不同个体的面部特征具有较大的差异,即使存在遮挡。为了增加训练数据的多样性,论文采用了遮挡数据合成的方法。通过在未遮挡的人脸图像上随机添加不同类型和位置的遮挡,可以生成大量的合成遮挡人脸数据。这有助于提高网络对各种遮挡模式的适应能力。上述方法总结及对比如表1所示。

Table 1. A summary and comparison of occluded face recognition methods based on local features and deep learning

1. 基于局部特征和深度学习的遮挡人脸识别方法总结及对比

算法名称

模型网络特点

优势

局限性

Dynamic Feature Matching for Partial Face Recognition

卷积神经网络,局部特征匹配,加权融合,动态权重调整

① 局部特征匹配有效地处理人脸部分遮挡的情况。② 动态权重调整可以自适应地降低被遮挡区域的影响。③ 深度卷积进行特征提取,人脸表示更加鲁棒和有判别力。

① 对光照变化和表情变化等因素的鲁棒性还有待提高。② 特征匹配的计算量较大,实时性能有待优化。③ 在特征提取时使用了预训练的卷积神经网络,其性能受制于网络的泛化能力。

Mask-invariant Face Recognition through Template-level Knowledge Distillation

知识蒸馏方法,迁移学习,对比损失函数,数据增强

① 实现了口罩遮挡下人脸识别。② 模板级知识蒸馏的思想新颖,可以有效地进行迁移学习。③ 对比损失函数和数据增强技术的使用进一步提高了模型的性能和鲁棒性。

① 依赖于大量的未佩戴口罩和佩戴口罩的人脸数据进行训练。② 主要关注口罩遮挡,对其他类型的遮挡(如墨镜、面纱等)的适用性有待进一步研究。③ 模板级知识蒸馏的计算开销较高,在实时应用效率不高

Human face localization and detection in highly occluded unconstrained environments

级联卷积神经网络,硬负挖掘,多尺度检测

① 级联CNN的设计有效地处理了高度遮挡和非约束环境下的人脸定位和检测问题。② 遮挡感知的人脸表示提高了对遮挡的鲁棒性,能够更好地利用局部面部特征。③ 硬负挖掘策略提高了模型的判别能力。④ 多尺度检测增强了算法对不同尺寸人脸的适应性。

① 级联CNN的计算复杂度较高,影响实时性能。② 遮挡感知的人脸表示需要更多的训练数据和标注信息,增加了数据收集和标注的成本。③ 论文主要关注人脸定位和检测,对于进一步的人脸识别任务,还需要与其他技术相结合。

Occlusion Robust Face Recognition Based on Mask Learning with Pairwise Differential Siamese Network

成对差分孪生网络(PDSN),掩码学习,成对差分损失,遮挡数据合成

① PDSN和掩码学习的结合有效地解决了遮挡人脸识别的问题,提高了识别精度。② 成对差分损失函数促进了网络学习对遮挡鲁棒的面部表示。③ 遮挡数据合成增加了训练数据的多样性,提高了网络的泛化能力。

① 论文主要关注单一类型的遮挡(如太阳镜、围巾等),对复杂遮挡场景的适用性有待进一步研究。② 遮挡数据合成可能无法完全模拟真实世界中的遮挡情况,存在一定的领域差异。③ PDSN的训练过程可能需要较长时间和较大的计算资源,在实际应用中需要权衡效率和性能。

通过表格我们可以清楚的看出,动态特征匹配方法通过预训练的CNN提取局部特征块,并采用动态权重策略降低遮挡区域的影响。该方法计算效率高,适用于小范围分散遮挡(如口罩、眼镜等),但其性能依赖于分块精度,可能因遮挡边界不匹配而受限。相比之下,基于知识蒸馏的方法利用对比损失进行模板级知识迁移,能够在小规模数据集上快速适应新遮挡模式,但其性能受限于模型的泛化能力。

对于重度遮挡场景,级联CNN方法表现出更强的鲁棒性。该方法通过多阶段检测和硬负样本挖掘减少误检率,但计算成本较高,难以满足实时性需求。而基于孪生网络和掩码学习的方法通过显式遮挡定位和差分损失优化,显著提升了遮挡无关特征的判别性,适用于需要精准遮挡定位的任务(如部分遮挡下的身份认证),但其训练过程依赖大量合成数据,计算开销较大。

综合来看,不同方法在计算效率和适用场景上各有优劣。动态特征匹配适合轻量级应用,知识蒸馏适用于数据稀缺场景,级联CNN在极端遮挡下表现优异,而孪生网络 + 掩码学习则在精度优先任务中更具优势。

2.2. 基于字典学习的遮挡人脸识别

而另一类重要的方法是基于字典学习的遮挡人脸识别。字典学习方法旨在学习一个紧致的字典,使得人脸图像能够被字典中的原子很好地表示。通过在字典上施加结构化的稀疏约束,可以提高字典的判别能力和对遮挡的鲁棒性。

代表性工作如路杨[5]等人提出了一种基于分块稀疏表示的人脸识别方法。该方法首先对人脸图像进行分割,独立地对每个子块进行稀疏表示分类,再通过对所有子块的分类结果进行投票确定测试人脸的类别。它在稀疏分解字典中引入了遮挡字典,使其对遮挡图像有了较好的鲁棒性。

梁久祯等人[6]提出基于局部特征的遮挡人脸识别方法。该方法首先进行多角度人脸重构,经过mtcnn人脸对齐和裁剪;然后引入遮挡字典与训练数据共同对测试样本编码,增强字典对样本的表达能力;接着用求解出的字典重构测试样本;根据重构误差矩阵进行样本分类,由重构误差得到测试样本的标签分类。其中利用Gabor遮挡字典重构因物理遮挡导致的噪声特征,在一定程度上弥补了遮挡带来的信息缺失。

狄岚等人[7]提出一种稀疏综合字典学习模型。该模型有效利用和生成人脸变化,以镜像原理及Fisher准则扩充训练样本多样性,包括类共享字典、类别特色字典、干扰字典以及低秩字典四项。通过学习这些字典,保留类间共性与类别特殊性的字典,并利用低秩字典保留增强模型对异常情况的处理能力。在实验中,为探究该算法对复杂变化人脸如墨镜遮挡、围巾遮挡等的处理能力,在相关数据库上进行了实验。上述方法总结及对比如表2所示。

Table 2. Summary and comparison of occluded face recognition methods based on dictionary learning

2. 基于字典学习的遮挡人脸识别方法总结及对比

算法名称

模型网络特点

优势

局限性

分块稀疏表示的人脸识别研究

分块稀疏表示,分割,分类,投票,遮挡字典

① 提高识别率:通过分块处理,减少了高维数据带来的计算 复杂度,同时提高了识别率。②鲁棒性强:对遮挡和光照变化具有较好的鲁棒性,能够有效处理局部遮挡问题。

① 计算复杂度:虽然分块处理降低了维数灾难问题,但稀疏编码和字典学习的计算复杂度仍然较高。② 遮挡字典的局限性:文中提到的遮挡字典是单位矩阵,维数常比训练样本字典的高,增加了稀疏分解耗时,并且由于其没有冗余度,也在一定程度上削弱了SRC算法的分类优势。

稀疏综合字典学习的小样本人脸识别

Fisher准则,类共享字典,类别特色字典,干扰字典,低秩字典

① 对于小样本以及存在遮挡等复杂变化的人脸数据具有较好的处理能力,能够在保证算法识别率的同时保持较高的性价比。② 通过多种字典的组合学习,能够更好地提取人脸的局部特征和共性特征,提高识别的准确性。

① 该方法对于字典的学习和构建依赖于大量的训练数据和复杂的算法,在实际应用中可能存在计算资源消耗较大的问题。② 对于极端的遮挡情况,例如完全遮挡住脸部关键部位的情况,该方法的识别效果可能会受到较大影响。

一种基于人脸重构和Gabor遮挡字典的人脸识别方法

Mtcnn,遮挡字典,重构误差矩阵,Gabor遮挡字典

① 重构多角度人脸,弥补姿态遮挡人脸中的不可见部分,使得在姿态变化导致部分脸部信息被遮挡的情况下,仍然能够获取较为完整的人脸信息用于识别。② 将Gabor遮挡字典与传统人脸识别过程相结合,增加了对遮挡人脸识别的精度,能够更好地处理遮挡问题,提高识别准确率。

① 对于复杂的遮挡情况,例如大面积的不规则遮挡或者多种遮挡物同时存在的情况,该方法可能无法完全准确地重构人脸信息,导致识别效果受到一定影响。② 该方法的计算复杂度可能较高,在实际应用中对硬件设备的性能要求较高。

根据对比可以看出,基于字典学习的遮挡人脸识别方法呈现出三个显著趋势:在稀疏表示方面,从全局表示向结构化局部表示演进;在字典设计方面,由单一字典发展为专用遮挡字典和多字典协同体系;在特征优化方面,实现了从原始像素到手工特征再到深度学习特征的跨越。这些方法虽然在结构化遮挡处理方面取得显著进展,但仍面临数据依赖性较强、计算复杂度较高、动态适应性不足等共性问题,特别是在处理非刚性遮挡和实时性要求高的场景时表现受限。

3. 基于遮挡修复的人脸识别方法

与直接进行遮挡人脸识别不同,基于遮挡修复的人脸识别方法首先对遮挡部分进行修复和重建,得到完整的人脸图像,然后再进行识别。本章将介绍几种代表性的遮挡人脸修复技术。

3.1. 基于低秩表示的遮挡修复

低秩表示是一种常用的矩阵补全技术,可以用于修复不完整或缺失的数据。在遮挡人脸修复中,人脸图像可以被看作一个低秩矩阵,遮挡部分则对应于矩阵中的未知元素。通过最小化矩阵的秩,可以恢复出完整的人脸图像。

Gao G等人[8]提出了一种鲁棒且具有判别性的低秩表示(RDLRR)方法。通过引入低秩假设来同时表征表示和每个误差项,RDLRR能够捕捉数据的全局结构以及每个误差图像的整体结构。此外,通过添加理想码正则化项和分类误差约束,学习到的低秩表示更具判别性,从而提高分类性能。

Zhang W等人[9]提出了一种鲁棒判别性非负对称低秩表示(RDNSLRP)模型。该模型利用低秩系数矩阵作为图矩阵来学习投影矩阵,并引入判别项以增强模型对噪声的鲁棒性以及提取特征的判别性。通过这种方式,RDNSLRP充分利用了原始数据的全局和内在结构,同时有效分离了噪声和离群点的影响。

Gao G,Huang P,Zhou Q等人[10]提出了一种低秩表示和局部约束回归(LLRLCR)方法。通过双重低秩表示揭示画廊集的底层数据全局结构,并考虑低分辨率探针图像中的遮挡,对误差项施加核范数约束,并引入局部约束表示以学习鲁棒且具有判别性的表示特征。最后,使用基于稀疏表示的识别引擎预测人脸标签。上述方法总结及对比如表3所示。

Table 3. Summary and comparison of occlusion repair methods based on low-rank representation

3. 基于低秩表示的遮挡修复方法总结及对比

算法名称

模型网络特点

优势

局限性

Learning robust and discriminative low-rank representations for robust face recognition

RDLRR,低秩假设,理想码正则化项,分类误差约束

① 能够同时处理训练和测试图像中的遮挡问题,具有较强的鲁棒性。② 通过低秩表示和误差项的联合优化,能够更好地恢复被遮挡的图像特征。

① 当遮挡区域较大或遮挡模式复杂时,恢复效果可能会受到影响。② 计算复杂度较高,尤其是在处理大规模数据集时效率较低。

Robust Discriminative Non-Negative and Symmetric Low-Rank

RDNSLRP,低,系数矩阵,图矩阵,投影矩阵,判别项

① 在多个基准数据集上表现出色,优于其他现有方法,例如在PIE数据集上提高了8.556%的识别率。② 能够有效处理噪声和离群点,提高特征提取和图像识别的性能。

① 在保持全局结构信息方面存在不足,可能无法完全恢复被遮挡区域的细节。② 对于极其大规模或复杂结构的数据集,处理能力有限。

Low-Rank Representation and Locality-Constrained Regression for Robust Low-Resolution Face Recognition

低秩表示,LLRLCR,双重低秩,核范数约束,局部约束表示

① 能够有效处理低分辨率图像中的遮挡问题,提高了识别的鲁棒性。② 结合了低秩表示和局部约束回归,能够更好地捕捉图像的局部特征。

① 对于高分辨率图像的处理效果可能不如专门针对高分辨率图像设计的方法。② 在处理大规模数据集时,计算效率可能较低。

从对比中可以看出,现有方法在平衡修复质量与计算效率方面仍面临挑战。RDLRR方法具有较好的通用性但计算成本较高;RDNSLRP在标准数据集表现优异但扩展性不足;LLRLCR专攻低分辨率场景但泛化能力有限。这些局限性为未来研究指明了改进方向:一方面需要开发更高效的优化算法以降低计算复杂度;另一方面应该探索自适应机制来处理不同尺度和类型的遮挡。

3.2. 基于深度学习的遮挡修复

近年来,深度学习技术在图像修复领域取得了巨大成功。与传统方法相比,深度学习方法可以学习更加强大和灵活的映射函数,从而现高质量的图像修复。在遮挡人脸修复中,研究者们设计了各种基于深度学习的方法。

Li, H等人[11]提出了一种基于身份保持修复(Identity-Preserving Inpainting)的方法,用于遮挡人脸识别。该方法通过生成对抗网络(GAN)架构,结合编码器–解码器结构,利用身份损失(Identity Loss)来保持面部的身份信息。具体来说,该方法在训练过程中引入了感知损失(Perceptual Loss)和身份特征损失(Identity Feature Loss),以确保生成的面部图像在结构和风格上与真实图像保持一致。

Man, Q等人[12]提出了一种基于Transformer模块的生成对抗网络(T-GANs),用于高效修复人脸区域的遮挡。该方法通过Transformer模块提取全局特征,并结合生成对抗网络生成修复后的面部图像。在训练过程中,使用了FID (Frechet Inception Distance)、PSNR (峰值信噪比)和SSIM (结构相似性指数)等指标来评估生成图像的质量。

Xu X等人[13]探讨了在遮挡存在的情况下提高人脸识别泛化能力的方法。作者提出了一种基于多上下文注意力(Multi-Context Attention)的模型,通过学习人脸的多个上下文特征来提高对遮挡的鲁棒性。该方法结合了深度学习技术和注意力机制,以更好地处理遮挡问题。

上述方法总结及对比如表4所示。

Table 4. Summary and comparison of occlusion repair methods based on deep learning

4. 基于深度学习的遮挡修复方法总结及对比

算法名称

模型网络特点

优势

局限性

Recovery-Based Occluded Face Recognition by Identity-Preserving Inpainting

RIdentity-Preserving Inpainting,GAN,Identity Loss,Perceptual Loss,Identity Feature Loss

① 能够有效恢复被遮挡的面部区域,同时保持面部的身份信息。② 在多个数据集上表现出色,尤其是在处理小面积遮挡时效果显著。

① 对于大面积遮挡的处理效果可能有限,因为生成的图像可能与真实图像存在结构偏差。② 需要大量的训练数据来学习身份分布,否则可能导致生成的图像偏离真实分布。

Efficient Face Region Occlusion Repair Based on T-GANs

Transformer,T-GANs,FID,PSNR,SSIM

① 通过Transformer模块能够更好地捕捉全局特征,提高修复效果。② 使用了多种评估指标,确保生成图像的质量和一致性。

① 对于复杂的遮挡模式(如大面积遮挡或复杂背景)可能效果有限。② 训练过程需要较高的计算资源,可能不适合实时应用。

On Improving the Generalization of Face Recognition in the Presence of Occlusion

Multi-Context Attention,深度学习技术

① 通过多上下文注意力机制,能够更好地处理不同类型的遮挡。② 提高了模型在遮挡情况下的泛化能力。

① 对于极端遮挡情况(如大面积遮挡)可能效果有限。② 模型的复杂度较高,可能需要较长的训练时间和较高的计算资源。

详细对比了三种深度学习修复方法。可以看出,身份保持方法在身份信息保持方面表现最优,T-GANs在图像质量指标上领先,而多上下文注意力模型则在泛化能力方面更具优势。这些方法共同面临的挑战包括:计算资源需求大,训练成本高;对极端遮挡情况修复效果有限;实时性能有待提升。

3.3. 基于语义引导的遮挡修复

尽管深度学习方法取得了良好的修复效果,但它们主要依赖于图像级别的特征,缺乏对人脸语义结构的理解和利用。为了进一步提高修复质量,一些研究者开始探索基于语义引导的遮挡修复方法。

此类方法通过语义解析网络(如BiSeNet) [14]提取人脸的语义信息(如轮廓、面部部件等),并将其作为先验信息输入到修复网络中。这些语义信息可以帮助修复网络更好地理解遮挡区域的结构和内容,从而提高修复的准确性。在修复网络中引入注意力机制,使网络能够更聚焦于遮挡区域,同时保持与周围区域的一致性。例如,通过注意力金字塔结构,网络可以在不同层级上提取和利用语义信息,从而更好地重建遮挡区域。采用多尺度特征融合,扩大网络的感受野,增强对遮挡区域的特征提取能力。这种方法可以有效处理不同尺度的遮挡,并提高修复图像的整体质量。通过设计特定的损失函数(如身份距离保持损失),确保修复后的图像在身份信息上与原始图像保持一致。

基于语义引导的遮挡修复人脸识别方法在近年来取得了显著进展,通过引入语义信息、注意力机制和多尺度特征融合,显著提高了遮挡修复的效果和人脸识别的准确性。然而,这些方法在处理复杂遮挡、实时应用以及数据依赖性方面仍存在一定的局限性。

此外,一些研究者还探索了将3D人脸模型引入遮挡修复。通过拟合3D人脸模型,可以得到人脸的姿态和形变信息,从而更好地引导遮挡区域的修复。例如,Yuan等人提出了一种基于3D人脸模型的遮挡修复方法。该方法首先拟合输入人脸图像的3D模型,然后利用3D模型引导2D图像的修复过程,从而实现了更加准确和自然的修复效果。

4. 未来展望

尽管遮挡人脸识别取得了长足的进步,但仍面临诸多挑战。未来可以从以下几个方面展开深入研究,以提高算法的性能和实用性:

(1) 优化模型结构与计算效率:现有深度学习模型往往计算复杂度较高,难以在资源受限的设备上高效运行。未来可探索更精简的网络结构,例如通过模型压缩、量化或动态计算策略,在保证准确率的前提下减少参数量和计算量。同时,研究自适应推理机制,根据输入图像的遮挡程度动态调整计算资源,可进一步提升实时性。

(2) 增强数据集的多样性与泛化能力:未来可构建更全面的数据集,结合合成数据生成技术来扩充训练样本。构建涵盖更多遮挡类型、光照变化、种族和年龄差异的大规模高质量数据集,促进模型的泛化能力提升。此外,研究数据增强和域适应方法,以提升模型在未知场景下的适应能力。

(3) 跨模态融合:单一视觉模态在复杂环境下容易失效,未来可探索多源数据的协同分析方法,如结合3D人脸重建、红外成像等技术,建立更全面的识别模型。通过多模态信息的融合,可以提升模型在复杂场景下的识别性能。例如,3D人脸重建技术[15]可以提供更丰富的几何信息,红外成像则可以在低光照条件下提供补充信息。

(4) 提升安全性与隐私保护:随着人脸识别技术的广泛应用,隐私泄露和对抗攻击风险日益突出。一方面,需增强模型对对抗样本的鲁棒性,例如针对恶意设计的遮挡图案(如对抗性贴纸或特殊纹理干扰)开发有效的防御策略,防止识别系统被欺骗;另一方面,应探索隐私保护技术,如基于联邦学习的分布式训练框架或差分隐私算法,确保模型优化过程中不直接接触原始人脸数据,从而在提升识别性能的同时保障用户隐私安全。通过这两方面的协同改进,可推动遮挡人脸识别技术更可靠、合规地应用于实际场景。

5. 总结

本文综述了基于深度学习的遮挡人脸识别技术,分析了遮挡对人脸识别性能的影响,并探讨了深度学习如何解决这一问题。传统人脸识别方法在面对遮挡问题时表现出明显的局限性,主要源于其对完整面部特征的依赖性。相比之下,深度学习方法通过多层次的特征学习和强大的表征能力,在部分特征缺失的情况下仍能保持较好的识别性能。特别是基于注意力机制和局部特征提取的深度网络架构,在遮挡人脸识别任务中展现出了显著优势。

尽管深度学习方法在处理遮挡人脸识别方面展现出明显优势,但仍存在一些挑战,如计算资源消耗大、对训练数据的依赖性强等。未来的研究可以探索更高效的网络结构、多模态识别技术,以及提高模型的泛化能力。通过轻量化网络设计、数据集的丰富与多样化、跨模态融合和实际应用拓展,遮挡人脸识别技术将在更多实际场景中发挥重要作用。

总之,遮挡人脸识别具有重要的研究意义和应用价值。随着深度学习和人工智能技术的进一步发展,相信在不久的将来,遮挡人脸识别的性能将得到更大的提升,相关技术将更加成熟和完善,为社会带来更大的便利和安全保障。

基金项目

北华航天工业学院2023年硕士研究生科研创新项目(项目号:YKY-2023-32)。

NOTES

*通讯作者。

参考文献

[1] He, L., Li, H., Zhang, Q. and Sun, Z. (2019) Dynamic Feature Matching for Partial Face Recognition. IEEE Transactions on Image Processing, 28, 791-802.
https://doi.org/10.1109/tip.2018.2870946
[2] Huber, M., Boutros, F., Kirchbuchner, F. and Damer, N. (2021) Mask-Invariant Face Recognition through Template-Level Knowledge Distillation. 2021 16th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2021), Jodhpur, 15-18 December 2021, 1-8.
https://doi.org/10.1109/fg52635.2021.9667081
[3] Alashbi, A., Mohamed, A.H.H.M., El-Saleh, A.A., Shayea, I., Sunar, M.S., Alqahtani, Z.R., et al. (2025) Human Face Localization and Detection in Highly Occluded Unconstrained Environments. Engineering Science and Technology, an International Journal, 61, Article 101893.
https://doi.org/10.1016/j.jestch.2024.101893
[4] Song, L., Gong, D., Li, Z., Liu, C. and Liu, W. (2019) Occlusion Robust Face Recognition Based on Mask Learning with Pairwise Differential Siamese Network. 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, 27 October 2019-2 November 2019, 773-782.
https://doi.org/10.1109/iccv.2019.00086
[5] 路杨, 康瑞梅, 张芳君. 分块稀疏表示的人脸识别研究[J]. 软件工程与应用, 2016, 5(5): 277-284.
[6] 王海. 基于分块稀疏表示的部分遮挡人脸识别[J]. 信息与电脑, 2019, 31(22): 64-65.
[7] 狄岚, 矫慧文, 梁久祯. 稀疏综合字典学习的小样本人脸识别[J]. 智能系统学报, 2021, 16(2): 218-227.
[8] Gao, G., Yang, J., Jing, X., Shen, F., Yang, W. and Yue, D. (2017) Learning Robust and Discriminative Low-Rank Representations for Face Recognition with Occlusion. Pattern Recognition, 66, 129-143.
https://doi.org/10.1016/j.patcog.2016.12.021
[9] Zhang, W. and Chen, X. (2025) Robust Discriminative Non-Negative and Symmetric Low-Rank Projection Learning for Feature Extraction. Symmetry, 17, Article 307.
https://doi.org/10.3390/sym17020307
[10] Gao, G., Huang, P., Zhou, Q., Hu, Z. and Yue, D. (2017) Low-Rank Representation and Locality-Constrained Regression for Robust Low-Resolution Face Recognition. In: Lu, H. and Xu, X., Eds., Studies in Computational Intelligence, Springer International Publishing, 17-26.
https://doi.org/10.1007/978-3-319-69877-9_3
[11] Li, H., Zhang, Y., Wang, W., Zhang, S. and Zhang, S. (2024) Recovery-Based Occluded Face Recognition by Identity-Guided Inpainting. Sensors, 24, Article 394.
https://doi.org/10.3390/s24020394
[12] Man, Q. and Cho, Y. (2023) Efficient Face Region Occlusion Repair Based on T-GANs. Electronics, 12, Article 2162.
https://doi.org/10.3390/electronics12102162
[13] Xu, X., Sarafianos, N. and Kakadiaris, I.A. (2020) On Improving the Generalization of Face Recognition in the Presence of Occlusions. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Seattle, 14-19 June 2020, 3470-3480.
https://doi.org/10.1109/cvprw50498.2020.00407
[14] Yu, C., Wang, J., Peng, C., Gao, C., Yu, G. and Sang, N. (2018) BiseNet: Bilateral Segmentation Network for Real-Time Semantic Segmentation. In: Ferrari, V., Hebert, M., Sminchisescu, C. and Weiss, Y., Eds., Lecture Notes in Computer Science, Springer International Publishing, 334-349.
https://doi.org/10.1007/978-3-030-01261-8_20
[15] 罗健, 郝泳涛. 基于GAN的人脸图像三维重建[J]. 电脑知识与技术, 2022, 18(23): 71-73+83.