基于特征选择和幻象残差网络的在线手写签名认证

Online Handwritten Signature Verification Based on Feature Selection and Ghost Residual Network

摘要: 为了解决当前在线手写签名认证(online signature verification, OSV)模型无法从有限的签名样本中提取稳定的签名特征以及模型参数量大问题，本文提出了基于特征选择和一维幻象残差网络(1D-GRNet)的在线手写签名认证方法。首先，采用随机森林特征选择算法对各个签名的全局特征集进行筛选，获得足够稳定的签名特征，以此来提高签名认证的准确率；然后，采用幻象模块对标准残差结构进行改进，构建一维幻象残差模块，降低整体网络模型的参数量，同时为签名小样本训练提供可能，提高了模型的实用性。最后，本文方法在数据集MYCT-DB1和SVC2004-task2上进行验证。当采用5个真伪签名进行小样本进行训练时，在两个数据集上的等错误率分别为3.21%和4.57%。当采用10个真伪签名进行训练时，在两个数据集上的等错误率分别为1.53%和2.93%。实验结果表明所提方法能够有效提高签名认证精度。

Abstract: In order to solve the problem that online signature verification (OSV) model cannot extract stable signature features from limited signature samples and have a large number of model parameters, this paper proposes an online handwritten signature verification method based on feature selection and one-dimensional ghost residual network (1D-GRNet). Firstly, the random forest feature selection algorithm is adopted to screen the global feature set of each signature to obtain sufficiently stable signature features, so as to improve the accuracy of signature verification. Then, the ghost module is adopted to improve the standard residual structure, and a one-dimensional phantom residual module is constructed to reduce the number of parameters of the overall network model, and at the same time provide the possibility for signature small sample training, which improves the practicability of the model. Finally, the method is verified on the datasets MYCT-DB1 and SVC2004-task2. When 5 genuine and forged signatures are adopted for small sample training, the equal error rates (EERs) on the two datasets are 3.21% and 4.57%, respectively. When 10 genuine and forged signatures are adopted for training, the EERs on the two datasets are 1.53% and 2.93%, respectively. The experimental results represent that the proposed method can effectively improve the accuracy of signature verification.

1. 引言

近年来，信息技术逐渐步入人们的生活中，但也带来了一些安全问题。因此，为了保护网络用户的个人隐私以及财产安全，生物特征识别技术开始扮演重要角色。在线手写签名认证(online signature verification, OSV)作为生物特征识别技术的一种，已经在银行、政府机关、电信等领域得到了广泛的应用和研究。然而，由于签名在书写过程中极易受到书写者心理、生理以及周围环境的影响，这使得在线手写签名认证技术仍面临着巨大的挑战。因此，深入研究在线手写签名验证技术具有一定的科研意义和应用价值。

目前，在线手写签名认证的方法可以分为两个方向：基于全局特征和基于局部时序特征。

基于全局特征的签名认证方法是从签名整体或者部分采样点的时间序列特征数据从提取固定维度的签名全局特征来对签名进行认证，此类方法的关键点在于提取的特征是否足够稳定。Ibrahim等人 [1] 提取了签名的最大签名速度，落笔次数，签名长宽比等35个全局特征来对签名进行认证，该签名认证方法的整体性能尚可，然而会出现部分签名认证精度不高的问题。Babtia [2] 提取了签名时长，平均加速度，X-Y坐标标准差等13个签名全局特征来对签名进行认证，减少了签名认证过程的计算量，但认证精度有所下降。沈等人 [3] 首先提取签名的47个全局特征作为备用集，之后使用稀疏自编码器将其降至16维，再使用注意力机制Bi-GRU模型从全局特征中提取8维特征，最后将两者进行融合后再对签名进行认证。该方法在多样本训练条件下的签名认证精度较好。王等人 [4] 提出了一种基于DTW的注意力机制BLSTM在线手写签名认证方法，通过注意力机制BLSTM获得签名的稳定笔段，之后提取签名的22个全局特征来对签名进行认证。该方法依然在样本训练量较大的情况下进行实验，小样本实验结果并不充分。

基于局部时序特征的签名认证方法是直接使用签名的整体或者部分采样点的时间序列特征数据来对签名进行认证。但值得注意的是，此类方法在计算真伪签名差异时需要一定数量的真实签名参考集，这在实际场景下具有弊端。Saleem等人 [5] 在降低硬件设备采样频率后对签名的时间序列数据进行重采样，再使用动态时间规整(dynamic time warping, DTW)算法对待测签名和模板签名进行匹配，计算相似距离来确定待测签名的真伪。此方法过于依赖硬件条件，可移植性较差。Song等人 [6] 选取签名x轴速度、y轴速度，压力，y轴加速度，向心加速度五个稳定局部时序特征，并使用DTW-SCC算法对待测签名进行认证。Ahrabian等人 [7] 使用自编码器(Auto Encoder, AE)对签名的12种局部特征序列进行降维，得到一组固定长度的特征向量，并使用连体网络(Siamese Neural Network, SNN)对模板签名和待测签名进行认证。Lai等人 [8] 提出一种基于RNN和签名长度路径归一化(Length-Normalized Path Signature, LNPS)描述符的在线手写签名认证方法，为签名长度不一致问题提供了新的解决方案，并引入迁移训练策略，提高了签名的认证性能，然而模型计算量庞大，同时训练需要实际难以获得的大量签名样本。

从以上的研究可以看出，在线手写签名认证技术取得了丰硕的成果，但仍然存在一些问题。首先，如何提取签名的稳定特征一直是研究的重点。当前OSV方法都是在获取签名的固定特征后直接对签名进行认证，未考虑到众多特征之间的冗余影响。其次，在线签名认证技术常被部署于小容量便携式设备中，轻量化模型的设计依然是一项挑战。同时，很少有研究人员进行签名认证的小样本训练。为了解决这些问题，本文提出了基于特征选择和幻象残差网络的在线手写签名认证。主要的贡献如下：

首先，本文使用随机森林特征选择算法从签名的全局特征集中筛选出稳定的特征，来提高签名认证的准确度。然后，使用幻象模块对标准残差结构进行改进，构建幻象残差网络，在不影响签名认证精度的同时，降低模型整体参数量，构建轻量化模型。同时，为模型进行小样本训练提供可能性，提高模型的实用性。

2. 方法

2.1. 数据预处理

本文在实验过程中主要使用西班牙语MYCT-100和中英文SVC2004-task2两个数据集，以便更好的验证本文方法的有效性。其中，MYCT-100西班牙语数据集共有100个用户签名，每个用户分别有25个真伪签名样本。签名特征信息包括横坐标、纵坐标、笔尖压力值、笔水平偏角、笔垂直偏角五个时间序列特征。SVC2004-task2中英文数集的签名量较少，其共有40个用户签名，每个用户分别有20个真伪签名样本。签名的特征信息包括签名的横坐标、纵坐标、压力、时间、笔水平偏角、笔垂直偏角、抬落笔标志七个时间序列特征。考虑到模型的通用性，本文方法不使用该数据集的时间和抬落笔两个时序特征。

由于在签名的特征在采集过程中会存在硬件设备的影响。因此，在预处理过程中需要对签名进行平滑和规范化操作，以消除其影响。本文采用五点三次平滑滤波器对签名进行平滑处理，再对其进行规范化，将签名的大小缩放在[0,1]。

2.2. 方法总体框架

所提出的基于特征选择和一维幻象残差网络(one-dimensional ghost residual network, 1D-GRNet)的在线手写签名认证方法的总体框架如图1所示，主要分为特征选择和幻象残差模型认证两部分。特征选择部分主要是使用随机森林特征选择算法从各个签名的40维全局特征集中筛选出签名的稳定特征，来保证特征的有效性，降低特征冗余的影响。第二部分是1D-GRNet模型签名认证，将第一部分输出的签名稳定特征作为网络的输入，之后通过4个一维幻象残差模块(one-dimensional ghost residual block, 1D-GR)进行特征建模，最后将其输入到全连接层和SoftMax函数组成的分类器中完成认证工作。所提方法的每一部分将在后面介绍。

Figure 1. The overall framework of the proposed model

图1. 所提出方法总体框架

2.3. 基于随机森林的特征选择

签名的全局特征，比如签名宽高比、平均加速度、平均压力等，其反映的是签名的整体特征，对于异常点不敏感，能够有效保存签名的稳定信息，因此本文采用签名的全局特征作为特征选择的备选集。本文选择数据集MYCT-100和SVC-2004 task2中共有的横坐标( $X_t$ )、纵坐标( $Y_t$ )、压力( $P_t$ )、笔倾斜方位角( $E{L}_t$ )以及笔倾斜高度角( $A{Z}_t$ )五个时序特征来提取全局特征，例如签名平均压力( $Avg.p$ )、签名宽高比( $W/H$ )、平均水平偏角( $Avg.el$ )等。具体的全局特征信息如表1所示。

Table 1. The global features of the signature

表1. 签名全局特征

在使用多种特征过程中难免会出现特征与特征之间的冗余问题，这些冗余特征在增加模型训练成本的同时，甚至会影响模型对真伪签名的认证效果。因此，本文采用基于集成学习策略的随机森林特征选择方法 [9] 对获得的全局特征集进行特征选择处理，以此来获得有效特征。随机森林特征选择算法相比较于皮尔逊相关系数、卡方分布等特征选择方式，因其集成策略具有更好的稳定性，随机采样让样本更具分散性。随机森林的原理是从原始数据集中重复有放回的采样获得m个子集，并根据这些子集构建相应的决策树，然后将所有决策树的预测结果进行综合考虑，得到最终统一的分类结果。而随机森林特征选择算法就是在决策树构建时，由各个特征作为树结点，根据特征的基尼指数进行分裂，直至所有决策树建成，最后再计算各个特征在所有决策树上的平均误差，根据误差大小确定其重要程度。随机森林特征选择方法主要有以下三个步骤：

1) 随机采样

随机有放回的从一个包含N个样本的原始数据集D采样，每次选择m个样本放入集合D'。在每次取样过程中，D中未被采样到的样本，则作为当前样本中的测试集(袋外数据)。重复执行上面操作K次。

2) 决策树构建

需要使用随机采样获得的集合D'搭建K棵决策树，即 $tree\_1,tree\_2,tree\_3,\cdots ,tree\_K$ 。

首先，构建单个决策树。假设每个样本共有特征c个，则每次选择基尼指数最小的特征进行分裂，直到样本中所有特征节点分裂完成。集合D'中的样本重复这一过程K次，构建所有决策树，组成随机森林。其中，特征节点n的Gini指数为：

$Gini\left(n\right)=1-{\displaystyle \underset{i=1}{\overset{I}{\sum }}{P}_i^2}$ (1)

上式中，I表示特征节点n的子节点个数， $P_k$ 表示子节点k的频率。

3) 特征选择

首先，计算K个决策树所对应测试样本的平均误差。即将每棵决策树采样过程中得到的测试集样本输入到对应的决策树中，求得平均误差。为方便理解，将由K棵决策树构成的随机森林平均误差，记作

$\frac{1}{K}{\displaystyle \underset{i=1}{\overset{K}{\sum }}err\_OO{B}_i}$ 。

其次，对测试集样本的特征值 $X_1$ 进行改变，再重复第一步的操作，求得预测结果的平均误差，记作

$\frac{1}{K}{\displaystyle \underset{i=1}{\overset{K}{\sum }}{X}_1\_eer\_OO{B}_i}$ 。重复执行这一过程直到获得所有特征的平均误差。

最后，计算出特征的误差变化值 $\Delta E_j$ 。由于随机森林是一种有监督的分类模型，那么特征误差变化值越大，则说明该特征对结果的影响越大。因此，当变化值 $\Delta E_j$ 越靠近1，说明当前特征的重要性越高。

$\Delta E_j=\frac{1}{K}{\displaystyle \underset{i=1}{\overset{K}{\sum }}\left(X_{j\_}eer\_OO{B}_i-eer\_OO{B}_i\right)}$ ，j表示特征的序号。 (2)

图2表示全局特征经过特征选择后，不同特征重要性阈值下所对应的签名认证精度曲线。由图可知，本文分别在0到0.9阈值区间内进行实验。当阈值在0到0.2区间时，签名认证的等错误率由5.83%下降到4.57%。阈值在0.2至0.4区间时，签名认证的等错误率波动较小。阈值在0.5至0.9区间时，由于存在此阈值范围内的特征减少，签名认证的等错误率整体呈现上升趋势，由4.65%上升到6.71%。因此本文从签名全局特征集中选择重要性程度大于0.2的特征作为网络的输入。

Figure 2. EER curves of signature verification with different dimensional features

图2. 不同阈值下签名认证EER曲线

2.4. 基于残差结构的幻象网络

早期的网络结构都是层与层之间进行连续堆叠而成，当网络层数过多时经常会出现梯度消失的问题，导致网络无法有效训练。因此为了预防这一问题的出现，本文引用何凯明等人 [10] 提出的残差结构，如图3所示，残差结构由映射和残差两部分组成，那么网络在更新过程中梯度的值一直在1附近波动，有效解决了普通结构网络在训练过程中的梯度消失问题。然而，考虑到在线手写签名认证技术常被部署到小容量的嵌入式设备中，因此大量参数和计算量的模块在实际应用过程中具有一定的困难。因此，本研究采用幻象模块代替残差结构中的标准卷积，以此来降低模型的整体参数，提高模型的实用性。同时，为手写签名认证的小样本训练提供可能性。假设残差结构的输入为x，那么输出 $y\left(x\right)$ 可由下式表示：

$f\left(x\right)=Ghost\left(\max \left(0,Ghost\left(x\right)\right)\right)+Ghost\left(x\right)$ (3)

$y\left(x\right)=relu\left(f\left(x\right)\right)=\max \left(0,f\left(x\right)\right)$ (4)

Figure 3. Ghost residual structure

图3. 幻象残差结构

幻象模块(Ghost Module) [11] 是一种即插即用的轻量化卷积模块，能够帮助网络模型在更少的参数量和更低的训练成本的情况下达到和标准卷积相当的性能，其结构如图4所示。Ghost模块主要将卷积过程分为标准卷积和变换两部分：第一部分标准卷积，这部分会对卷积生成的特征图通道数量进行控制，从而减少计算量。第二部分变换也生成一些特征图，这部分通过深度卷积来完成。深度卷积是一种特殊的分组卷积，它将特征图逐个通道进行拆分，每个通道的特征图都是用一个卷积核单独的进行卷积操作，并且卷积过程中的步长均为1。在这个过程中可以通过深度参数来调整输出特征图的通道数。当输入输出特征图维度相同时，Ghost模块中所需的参数量和普通卷积相比大幅下降。在轻量化模型的构建过程中，Ghost模块是合理的选择。因此，本文采用幻象模块代替残差结构中的标准卷积层，减少网络模型的整体参数量。

为了方便计算模拟，本研究将1 × w × c设置为模块输入特征图，1 × w' × n设置为输出特征图，标准卷积的卷积核为1 × k (本研究k = 5)。变换操作中每组特征图维数为m，变换组数为s (本研究s = 2)，深度卷积的卷积核大小为1 × d (d = 3)，那么标准卷积和Ghost卷积模块的参数量如下：

标准卷积参数量：

${\partial }_1=c\ast k\ast n$ (5)

Ghost模块参数量：

${\partial }_2=c\ast k\ast m+m\ast \left(s-1\right)\ast d$ (6)

$\frac{{\partial }_1}{{\partial }_2}=\frac{c\ast k\ast n}{c\ast k\ast m+m\ast \left(s-1\right)\ast d}$ (7)

由上式可知，输入特征图的通道数c远大于s，那么Ghost模块卷积的参数量近似于标准卷积的1/s。Ghost模块的引入可以有效减少1D-GRNet模型的整体参数量，降低训练成本。

Figure 4. Examples of standard convolution and ghost module

图4. 标准卷积和幻象模块示例

2.5. 分类器

由图1可知，1D-GRNet网络的分类器主要由Reshape层，Dropout层，Relu激活函数层以及三个全连接层[128,32,2]组成。Reshape层将经过4个幻象模块输出的特征重塑成一维，之后输入到全连接层中。由于前端网络已经使用最大池化层捕获了对签名认证有效的特征信息，本文仅在第一层全连接层中加入一个Dropout (0.5)，过滤掉冗余特征信息，之后的全连接层中不再使用Dropout，避免损失过多特征信息。最后使用SoftMax作为激活函数来预测每个签名样本的真伪性。

3. 实验及分析

3.1. 评价指标

本研究采用准确率(Accuracy, ACC)、误拒率(False Reject Rate, FRR)、误识率(False Accept Rate, FAR)、等错误率(Equal Error Rate, EER)、受试者工作特征曲线(Receiver Operating Characteristic Curve, ROC)来评估方法。公式如下：

$Acc=\frac{TP+TN}{TP+TN+FP+FN}$ (8)

$FAR=\frac{FP}{TN+FP}$ (9)

$FRR=\frac{FN}{TP+FN}$ (10)

$ERR=FA{R}_T=FR{R}_T$ (11)

其中，TP，TN，FP和FN分别表示“正确接受”，“正确拒绝”，“错误接受”和“错误拒绝”，T表示FAR和FRR相等时的阈值。

3.2. 参数寻优

本研究主要使用python3.8，tensorflow2.3深度学习库来对模型进行训练，并进行超参数寻优。如表2所示，本研究采用Adam优化器，采用交叉熵损失函数，并通过epsilon和decay控制学习过程，其次使用L2正则化进行权重约束，防止过拟合。在1D-GRNet模型进行多轮次迭代训练后，在不过拟合的前提下，选择签名认证精度最高的网络权重作为最终的超参数结果。

Table 2. The hyper parameter optimization results

表2. 超参数寻优结果

3.3. 模型性能分析

本小节主要在MYCT-100和SVC2004-Task2数据集上进行方法的整体和各个用户的签名认证性能分析，更全面的验证方法的有效性。实验过程中特征选择之后的特征集作为网络的输入，并且采用5个真伪签名进行训练。

首先，本小节在两个数据集上进行了整体性能实验，实验结果如表3所示。在MYCT数据集上，本研究方法的等错误率为3.21%，准确率为96.13%。在SVC数据集上，本研究方法等错误率为4.57%，准确率为95.08%。同时，由图5的混淆矩阵可知，在MYCT数据集上，有105个真签名被误识为假签名，仅有50个假签名被误识为真签名，误识率为2.50%。在SVC数据集上，有36个真签名被误识为假签名，有23个假签名被误识为真签名，误识率为3.83%。

Table 3. Signature verification results of the two datasets

表3. 两个数据集的签名认证结果

Figure 5. Confusion matrix of two datasets. (a): MYCT dataset; (b): SVC dataset

图5. 两个数据集的混淆矩阵。(a): MYCT数据集；(b): SVC数据集

为了进一步验证所提方法对各个用户签名认证的有效性，本研究对MYCT和SVC数据集上各个用户签名进行认证。SVC数据集上部分用户签名认证结果如表4所示。在SVC数据集上，仅有用户3的准确率为76.67%，用户6，8的准确率为83.33%，剩余用户精度均在90%及以上。MYCT数据集上部分用户签名认证准确率结果如表5所示，仅有用户45、53和71的签名认证准确率为80%，用户4，8，95的签名认证准确率为85%，用户21，46，63，67，85的签名认证准确率为87.5%，剩余九成用户的签名认证精度在90%及以上。实验结果表明，本研究方法对各个用户签名的认证性能良好。

Table 4. The verification results of each user signature on the SVC dataset

表4. SVC数据集上各用户签名认证结果

Table 5. The verification results of each user signature on the MYCT dataset

表5. MYCT数据集上各用户签名认证结果

3.4. 消融实验分析

为了评估所提方法各个部分的有效性，本小节分别对特征选择和幻象模块进行消融实验。实验均在MYCT和SVC数据集上进行，并且采用5个真伪签名进行小样本训练，并使用ROC曲线进行结果评估。

如何提取签名稳定的特征一直是在线手写签名认证研究重点，所提方法采用随机森林特征选择算法从签名的全局特征中筛选有效特征。因此，需要对随机森林特征选择算法进行实验验证，判断其是否能够有效提高签名的认证精度，实验结果如图6所示。在MYCT数据集上，未使用特征选择算法的等错误率为4.63%，使用特征选择算法的签名认证的等错误率为3.21%，相较于前者等错误率降低了1.42%。在SVC数据集上，未使用特征选择算法的等错误率为5.83%，使用特征选择算法的等错误率为4.57%，相比较于前者下降了1.27%。

Figure 6. ROC curves on the two datasets. (a): MYCT dataset; (b): SVC dataset

图6. 两个数据集上的ROC曲线。(a): MYCT数据集；(b): SVC数据集

使用幻象模块代替标准卷积在理论上能够有效降低模型的参数量，但是否会大幅度降低模型的签名认证精度需要进一步验证。表6表示标准卷积残差结构和幻象模块残差结构的实验结果，标准卷积网络的参数量为278,574，幻象模块网络的参数量为140,487，相比较于前者的参数量下降了49.57%。并且，使用幻象模块的网络在两个数据集上的签名认证平均精度仅下降0.2%。这表明幻象模块在降低模型参数量的同时，签名认证的精度并未出现大幅下降。

Table 6. Signature verification results of the two datasets

表6. 两个数据集的签名认证结果

3.5. 相关工作对比

为了进一步验证所提方法的有效性，本节将所提方法与其他优秀方法性能表现进行了对比。表7给出了不同方法在数据集MYCT-DB1和SVC2004-task2上的实验结果。在SVC数据集上，当采用5个真伪签名进行训练时，本文方法的等错误率为4.57%，均好于其他方法。当采用10个真伪签名进行训练

时，Okawa等人提出的基于签名全局特征融合的认证方法和本文所提方法相当。在MYCT数据集上，当采用5个真伪签名进行训练时，本文所提方法好于Tan等人提出的基于曲率特征和扭转特征认证方法和基因特征表示认证方法。当采用10个真伪签名进行训练时，所提方法相比较于其他方法依然性能最优。

与他人工作相比，所提方法不论在小样本训练还是较多签名样本训练条件下都具有一定优势，这证明了所提出的基于特征选择和幻象残差网络的在线签名认证方法的有效性。

Table 7. Comparison between the proposed method

表7. 相关工作对比

4. 总结

本文提出了一种基于特征选择和幻象残差网络的在线手写签名认证方法，这是幻象模块构建轻量化模型在该领域的首次尝试。基于随机森林的特征选择方法有效筛选出签名中稳定的全局特征，提高了签名认证的精度。同时，基于幻象模块的残差网络大幅降低了模型的参数量，提高了模型的实用性。实验结果表明，在MYCT-100和SVC2004-task2数据集上进行小样本训练时，本研究的等错误率分别为3.21%和4.57%；在两个数据集上采用10个真伪签名进行训练时，本研究的等错误率分别为1.53%和2.93%。相较于前人的工作，所提方法性能也有所提升，进一步证明了该方法的有效性。

基金项目

国家自然科学基金面上项目(62073227)。

NOTES

^*通讯作者。