手指静脉特征的图表达与识别方法

Representation and Recognition Method of Finger-Vein Features Based on Graph

摘要: 本文提出了一种手指静脉特征图表达与识别方法。首先，构建轻量型卷积神经网络用于提取手指静脉特征。然后，根据一定的生成规则将手指静脉特征转化为图网络结构，实现手指静脉特征的图表达。最后，构建图卷积神经网络用于手指静脉特征图数据的分类识别。实验结果表明，该方法的识别准确率能够达到92.35%，说明我们提出的方法能够完成手指静脉特征的有效识别。

Abstract: This paper proposes a finger-vein features representation and recognition method based on graph. First, a lightweight CNN model is constructed to extract finger-vein features. Then, feature maps output from CNN are transformed into graph network complying with generation rule. Finally, a graph convolutional neural network is constructed for classification of graph which is from finger-vein features. The experimental results show that the recognition accuracy of this method can reach 92.35%, indicating that the proposed method can effectively recognize finger-vein features.

1. 引言

有效的身份认证机制对于信息安全至关重要，生物特征识别技术因其安全性高和使用便捷在安防业务中日益普及。生物特征识别包括指纹识别、人脸识别、语音识别、虹膜识别和静脉识别等[1]。手指静脉是手指内部的活体特征，不受手指表面状态如湿度，清洁度等因素的影响，具有更高的安全性和防伪性，而且手指在使用配合度与便捷性方面优于其它人体生物特征载体。近年来，手指静脉识别技术的发展备受关注[2]。

手指静脉识别技术依据人类手指静脉血管中流动的血液可以吸收特定波长光线的原理，使用特定波长的光照射手指，利用CCD摄像头获取手指静脉的图像[3]。由于受手指内部生物组织和现有技术水平的影响，采集到的手指静脉图像有时存在对比度低、灰度分布不均匀等问题，这会降低静脉特征提取的准确性，进而影响手指静脉识别系统的准确率和效率[4]。手指静脉识别包括图像采集、图像预处理、特征提取、特征表达、特征匹配等流程，其中，有效的特征提取和表达方法是保证手指静脉识别高准确率的关键因素。2019年，杨等人提出了基于Hessian矩阵和Gabor滤波的手指静脉特征提取方法，该方法将不同尺度下的Hessian矩阵的特征值应用于静脉增强函数中进行图像增强，然后再通过Gabor滤波进行特征提取[5]。基于手工设计的局部二值特征提取方法(如LBP、LLBP、PLLBP等)，具有简单、高效、对光照变化不敏感和对局部噪声鲁棒等优点，所以近年来得到了广泛研究，并成功应用在手指静脉识别任务上[6]。文献[7]提出了一种通过使用从不同位置开始的线进行跟踪以实现从清晰度较低的图像中提取手指静脉特征的方法。文献[8]提出了一种手指静脉特征深度表达方法，该方法可以有效获取手指静脉特征的深度表达，提高了手指静脉识别的准确率。文献[9]详细介绍了一种用于从手指静脉图像中提取非手工特征的深度学习模型。文献[10]提出了一种手指特征粒的鲁棒性内涵表达方法，该方法能够得到手指特征的稳定表达。随着深度学习技术的不断发展，神经网络模型已经广泛地被应用于计算机视觉和模式识别领域，它们在各类任务上的性能已经超越人类水平[11]。应用于手指静脉识别领域的神经网络模型性能也非常突出，大大超越了传统生物特征提取与识别算法。文献[12]提出了一种用于实现手指静脉识别的卷积神经网络框架，能够准确高效地完成个体识别任务。文献[13]提出了一种基于半监督卷积神经网络的手指静脉识别方法，解决了因为标签数据较少而无法对网络进行有效训练的难题。深度学习技术是以大数据为引擎的，通过大量样本数据训练模型，以量换优，才能够保证模型的鲁棒性、稳定性与实用性。但是，使用深度学习模型直接处理手指静脉图像以实现手指静脉识别具有一定的局限性，无法完全释放出深度学习模型的强大能力。另外，由于手指静脉图像的采集设备没有统一标准，采集的手指静脉图像尺寸各异，这就导致训练好的手指静脉识别模型不具备可移植性，针对不同的数据库需要重新训练模型，造成了资源浪费。另外，使用多种特征来表示一张手指静脉图像可以增加数据的多样性，进而可以提升神经网络模型的性能，这种方法对特征要求较高，需要特征能够真实地表现出个体的唯一性。图是由节点集和边集构成的一个网络结构[14]。通过把对象抽象为节点，对象之间的关系抽象为边，我们可以建立一个超越对象量纲属性的图网络，从而可以解决因手指静脉图像尺寸差异引起的模型应用困难问题[15]。

综上，我们提出了一种手指静脉特征图表达与识别方法，首先，基于卷积神经网络强大的特征提取能力，构建轻量型卷积神经网络用于提取手指静脉特征。然后，依据一定的图生成规则构造手指静脉特征的图表达。最后，利用空间域图卷积神经网络实现手指静脉特征图数据的分类识别。该方法在提取特征阶段使用卷积神经网络作为特征提取器，其中避免了人为因素的加入，提取的特征更符合图像本身，而且将提取的手指静脉特征以图的数据模式进行表达避免了由于原始图像数据尺寸不一致导致的特征维度不同等问题，本文提出的这种手指静脉特征表达和识别方法能够有效提升手指静脉识别精度。

2. 手指静脉特征的图表达

图是由原始数据抽象而来的，能够有效克服原始图像中存在的尺寸不一、姿态不一等差异对识别效果的影响。手指静脉图像数据转换为图数据是一个较新的研究课题，现有的算法多是对图像进行暴力划分，直接将图像切分成规则的小图像块。然后，将划分的小图像块抽象为图的节点，从图像块中抽取特征作为节点特征。这种方法只是图像与图的物理近似，仅仅考虑了局部特征，放弃了手指静脉特征的完整性，对手指静脉特征的表达会有失真。本节提出了基于卷积的手指静脉特征提取方法，能够从手指静脉原始图像中提取出完整且有效的手指静脉特征，然后根据一定的规则构建手指静脉特征的图表达。

2.1. 基于卷积的手指静脉特征提取

卷积神经网络因其强大的特征提取能力被广泛地用于图像和视频识别、分类以及相关的视觉任务中。卷积神经网络是基于人脑处理视觉信息的方式进行工作的，特别是仿照视觉皮层中神经元的层次结构和连接模式，更适合进行图像特征提取。卷积神经网络的核心是卷积层和池化层，卷积是利用某些设计好的参数组合(卷积核)提取图像空域上相邻的信息，利用了相近像素之间的相互关联性，考虑了图像的空间结构信息。池化层运算符是由一个固定形状的窗口组成，该窗口根据其步幅在输入上滑动，为遍历的每个位置计算一个输出。为了从手指静脉的原始图像中提取有效的手指静脉特征，同时为了降低计算复杂度，我们通过堆叠卷积层和池化层，以实现手指静脉特征的有效提取。图1中(a)和(b)分别示意了训练时该模型的结构和使用时该模型的结构。

Figure 1. Diagram of process of finger vein feature extraction

图1. 手指静脉特征提取过程示意图

如图1所示，左侧(a)图中，训练时在模型的最后添加一个全连接层，用于将卷积操作提取的特征图展开为一维向量以实现分类。右侧(b)图中，训练完成后，使用该模型进行特征提取时，去掉最后一个全连接层，用于输出手指静脉的特征图。

2.2. 图数据生成

简单的无向图可以用两个二维数组来表示，一个数组中存储顶点特征，另一个二维数组存储图中边的信息。根据2.1中的介绍，基于卷积的手指静脉特征提取模型得到的特征是一些特征图，具体的数据表现形式为一些二维矩阵。首先，将特征图看作是表示手指静脉特征的图的节点，将二维特征图转变为一维向量作为该节点的特征，得到图的特征矩阵。然后，计算特征向量之间的相似度，当相似度大于阈值时两节点之间存在边，当相似度小于阈值时，两节点之间不存在边。最后，根据节点之间是否存在边的情况生成该图的邻接矩阵。如图2为根据手指静脉特征提取模型输出的特征图构造手指静脉特征图表达过程的示意图。

Figure 2. Diagram of generating graph

图2. 图数据生成示意图

一张手指静脉图像通过卷积神经网络模型提取到了m张特征图，每个特征图的尺寸为$l\times r$ 。则由该手指静脉图像特征生成的图网络具有m个节点，每个节点的特征的长度为$l\times r$ 。邻接矩阵的尺寸为$m\times m$ ，邻接矩阵中的元素根据该位置上两个特征向量的相似度生成，相似度计算方法如公式(1)所示。

$$ $\text{Similarity}=\frac{A\cdot B}{\left|A\right|\left|B\right|}=\frac{{\displaystyle {\sum }_1^{l\times r}\left(a_i{b}_i\right)}}{\sqrt{{\displaystyle {\sum }_1^{l\times r}{a}_i^2}}\sqrt{{\displaystyle {\sum }_1^{l\times r}{b}_i^2}}}$ (1)

其中，$\text{S}imilarity$ 为相似度，A，B为一维向量，向量的长度为$l\times r$ ，$a_i$ 和$b_i$ 分别为两个一维向量中的第i个元素。

公式(2)表示了图网络结构的邻接矩阵中元素的生成规则。

$i_{(x,y)}=\{\begin{array}{c}\begin{array}{cc}1& Similarit{y}_{(x,y)}>T\end{array}\\ \begin{array}{cc}0& Similarit{y}_{(x,y)}<T\end{array}\end{array}$ (2)

其中，$i_{(x,y)}$ 表示邻接矩阵中位置为$\left(x,y\right)$ 的元素的值，$Similarit{y}_{(x,y)}$ 为手指静脉图像的第x个特征图和第y个特征图之间的相似度，T表示根据一定规则设置的阈值。

3. 基于图的手指静脉特征识别

图卷积神经网络(Graph Convolution Neural Network, GCN)是卷积神经网络在图结构的非欧式数据上的应用。类比卷积神经网络的结构，图卷积神经网络模型也可以看作是多层堆叠的。为了完成手指静脉特征图数据的识别任务，我们构建了图卷积神经网络模型，如图3所示。该模型中，输入是整张图，在卷积层里，对每个节点的邻居节点进行一次卷积，并用卷积的结果更新该节点，然后经过激活函数(Relu)层，以完成节点特征的非线性变化，提高网络捕捉图结构数据中的复杂模式和特征的能力。如此反复，堆叠三层，计算过程如公式(3)所示。后面添加全局平均池化层完成图读出操作，为最后的分类做输入准备。模型最后添加一层线性分类层，用于实现图结构数据的分类任务。

Figure 3. Architecture of GCN

图3. 图卷积神经网络模型结构

对于一个图结构数据集G，其中有N个节点，每个节点都有自己的特征，我们设这些节点的特征组成一个$N\ast D$ 大小的矩阵X，D表示每个节点隐藏状态维度(每层中节点的特征)。另外各个节点之间的关系用$N\ast N$ 大小的邻接矩阵A表示。X和A就是GCN模型的输入。一个基于分层传播的L层GCN，其层与层之间的传播方式如公式(3)所示：

$H^{\left(l+1\right)}=\sigma \left({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}{H}^{\left(l\right)}{W}^{(l)}\right)$ (3)

其中，$H^{\left(l\right)}$ 表示第l层的节点特征矩阵，$H^{(0)}$ 就是X，$\tilde{A}$ 是添加了自环并归一化的邻接矩阵，$W^l$ 是第l层的权重矩阵，$\sigma (\cdot )$ 是非线性激活函数。

4. 实验与分析

本文中实验所用数据来自于由自制手指静脉图像采集设备采集的图像库，该图像库由584个手指的静脉图像组成。针对584个手指对象，分不同时期对每个手指进行图像采集，共采集10张图像。图像的尺寸为91 × 200像素，深度为8，格式为bmp。

4.1. 手指静脉特征提取

为了验证本文提出的手指静脉特征提取算法的有效性，我们构建了轻量型卷积神经网络模型，该模型的结构如表1所示。具体任务中，需要根据实际情况构建卷积神经网络模型用于提取特征。

Table 1. Hyperparameters of CNN

表1. 卷积神经网络模型的超参数

层	卷积核尺寸	卷积核数量	激活函数
Conv1	3 * 3	32	Relu
Conv2	3 * 3	64	Relu
Conv3	5 * 5	128	Relu
Conv4	5 * 5	256	Relu
全连接层	-	-	Softmax

本文中，使用上述模型提取的手指静脉特征图的热力图如图4所示，观察热力图可以发现，通过神经网络模型提取的特征图中手指静脉特征得到了明显加强，与背景区域的对比非常明显。对比图中(a1)和(a2)，同一个手指不同图像的对应特征图相似度很高，对比(a2)和(b)不同手指图像的特征图之间的差异较为明显，说明利用本文提出的手指静脉特征提取方法得到的手指静脉特征更接近手指静脉的真实特征，具有较强的区分能力。

Figure 4. Heatmap of finger vein features

图4. 手指静脉特征的热力图

4.2. 手指静脉特征图数据的识别

为了验证图卷积神经网络对手指静脉特征图数据分类的有效性，我们进行了如下实验。首先，为了使实验数据的特性能均匀地分布在数据集内，将转化完成的图数据及标签进行随机化处理。然后，将数据分为训练集和测试集，使用训练集对构建的图卷积神经网络模型进行训练，训练过程如图5所示。观察图5可知，随着训练过程的不断进行，损失函数不断下降，最终稳定在较小的值，识别正确率逐渐增大。最后，利用训练完成的图卷积神经网络模型对测试数据进行分类，分类结果为92.35%，说明该方法能够有效地实现对手指静脉特征图数据进行分类的任务。

Figure 5. Training process of graph convolutional neural network

图5. 图卷积神经网络训练过程

5. 结论

随着人们生活方式的改变，手指静脉识别技术不仅可以应用于安防业务，更多的被应用于便捷支付、智慧通行等领域，这就要求手指静脉识别技术拥有更高的识别正确率和效率。为此，本文提出了一种卷积神经网络与图卷积神经网络相结合的方法，该方法利用了卷积神经网络高效的特征提取能力，从手指静脉原始图像中提取有效的静脉特征，得到手指静脉特征图后根据一定的规则将其转化为简单图网络，最后利用图卷积神经网络对手指静脉特征进行识别。实验结果证明，本文提出的特征表达方法能够解决因手指静脉图像尺寸不一致导致的已训练模型无法泛化使用的问题。基于图神经网络的手指静脉特征图数据分类方法具有较高识别正确率的前提下也能得到较高的识别效率。