基于表情识别技术的独居老人智能监护系统

Intelligent Monitoring System for the Elderly Living Alone Based on Facial Expression Recognition Technology

摘要: 本文简要介绍了基于表情识别技术的独居老人监护系统。该监护系统主要由摄像头、电脑两部分组成，它的开发思路是用摄像头捕获画面；用电脑控制整个系统和操作流程，旨在通过表情实时测量老人日常精神状态。本项目开发的独居老人监护系统是能够通过面部特征点变化判断其是否需要医护人员帮助的智能监护系统。测试结果表明，该系统能准确识别被监护者表情变化并立即发出报警信号，解决了老人痛苦或失去意识时的急切的监护需求，甚至还因及时预警从而增加了抢救时间，为老人提供了多重安全防护。

Abstract: This paper briefly introduces a monitoring system for the elderly living alone based on facial expression recognition technology. The monitoring system is mainly composed of a camera and a computer. Its development idea is to use the camera to capture the picture; use the computer to control the entire system and operation process, aiming to measure the daily mental state of the elderly in real time through facial expressions. The monitoring system for the elderly living alone developed in this project is an intelligent monitoring system that can judge whether they need the help of medical staff through changes in facial feature points. The test results show that the system can accurately identify the change of the person’s expression and send an alarm signal immediately, which solves the urgent monitoring needs of the elderly when they are in pain or lose consciousness, and even increases the rescue time due to timely early warning, providing multiple Security.

1. 研究背景

1.1. 技术背景

21世纪以来，随着计算机和人工智能及其相关技术的迅速发展，人类对计算机的认识和要求也越来越高。人们不仅希望计算机可以像人类那样，会听会说会看，还迫切地希望计算机可以更好地理解和表达一些属于人类自身的想法，更加智能化，从而帮助人们更快速便捷地完成工作 [1]。面部表情是最有力、最自然的非语言情感交流方法，因而识别面部表情能够使得人机交互的模式更加人性化。目前，人脸表情识别技术已经在刑事侦查、医疗系统、电子商务等领域得到了广泛的应用 [2]。

1.2. 社会背景

独居老人是指与赡养其的孩子分开居住的老年人。随着中国老龄化程度的不断加深以及在我国前期“计划生育”政策的影响下，我国家庭结构逐渐小型化，慢慢形成了以“421”结构为主的家庭结构，使得传统家庭养老功能不断减弱。而在以后，独居老人群体数目将会不断增加，独居老人的护理、照料的需求就会不断提升。

2030年到2050年将会是中国人口老龄化最为严峻的时期，促进经济发展的低抚养比时期将会在2033年结束，届时老年人口抚养比将保持在40%~50%之间 [3]。面对如此庞大的老年人群体，在庞大的医疗需求催生下，我国的医疗系统存在着严重的人力不足问题，安排同样数量的老年人护工群体进行1对1的监护显然不可能，因此自动化的独居老人智能监护系统便有了存在的必要。

目前，人工智能领域在医疗方面有着广泛的发展前景。人工智能可以极大程度地提高医生的诊断质量和工作效率，填补目前医护人员人力资源漏洞，因此很多研究人员将目光放在独居老人的智能监护上，为独居老人的护理提供了安全便捷的服务。此外，借助大数据分析和深度学习，以及计算机24 h不知疲倦等运转优势，人工智能可以大大降低医护人员监护失误率，在独居老人智能监护领域中将描绘出一片宏伟的蓝图。

2. 研究现状

国内独居老人智能监护系统的研究刚刚起步，国家支持并吸引行业内的研究人员才加入开发创新的队伍，从而使国内独居老人智能监护系统技术的发展稳步前进。例如：2020年山东建筑大学高倩对老年人的身体机能、内心活动特点及日常生活方式等方面进行分析，研究这些特点后确定伴老机器人在具备自主导航和定位避障等基本功能的基础上，配备紧急报警和安全预警等功能。2021年张赫以伴老家庭服务机器人为研究对象，针对现有家庭服务机器人无法有效监控老年人异常疼痛状态的实际问题，重点对老年人痛苦表情识别展开研究 [4]。相比于上诉研究成果，此次研究的创新之处在于利用表情识别技术，并将其引进独居老人监护系统，建立表情识别－智能报警这一新型报警方式的智能监护系统，解决了独居老人的最大监护需求，为其提供了多一重安全防护。在某些特殊情况下，能够让老人得到及时的救治，增加了抢救时间，具有重大意义。

3. 设计制作

3.1. 设计思路

本系统的主要使用场景为养老院、医院等。摄像头对准老人的面部，系统接受器——摄像头采集老人的面部图像，借助WI-FI传输到处理器——Visual Studio，在进行数据分析后判断此时老人的精神状态，并通过可视化页面反馈给医护人员。

表情识别的设计思路如图1所示：

Figure 1. Design ideas

图1. 设计思路

3.2. 系统结构单元

系统架构如图2所示：

Figure 2. System architecture diagram

图2. 系统架构图

1) 识别模块：通过摄像头对被监测者面部特征进行监控识别，当识别特征与系统设定相匹配时，向处理器模块发送信号，再向反馈模块发送相应命令。

2) 监测模块：此模块由多个小模块组成，对人体及周围环境各项指标进行监测，并通过无线模块和短信模块将数据发送至教师。

3) 反馈模块：接受处理器获得的传感器信息在信息交互显示屏上显示或以语音播报的形式反馈给医护人员。

4) 处理器模块：用于接收摄像头与传感器的数据，处理后发送给显示模块与执行机构。

3.3. 核心技术

根据老人眼睛、眉毛、嘴巴等特征的变化来研究分析老人精神状态，并以此为基础设计研发了基于表情识别技术的独居老人智能监护系统。该系统基本的工作流程是：首先通过摄像头获取老人日常表情视频图像，然后进行图像预处理、人脸识别，定位眼睛、眉毛、嘴巴等特征点位置，并设计算法计算相应表情状态变化的特征参数值，最后通过参数变化分类与监测老人的精神状态，并将其归类为痛苦、疲劳和失去意识三种状态。本文的主要研究内容与工作包括：

3.3.1. 采用改进的AlexNet网络进行人脸识别

在AlexNet算法提出之前，传统的图像分类方法错误率高的问题始终存在。该算法作为图像领域重要的里程碑，通过应用深度学习网络，使得错误率得以降至16.4%。其具体优点在于：① 通过选用ReLU函数解决了梯度消失的问题；② 选用Dropout以及重叠最大池化层，防止模型过拟合；③ 局部相应归一化，增强系统模型泛化能力；④ 双GPU加速简化网络结构。

采用改进的AlexNet网络进行人脸识别，分别对网络结构中的卷积层和全连接层进行优化处理，目的是为了提高算法识别的精准度以及缩短人脸识别的时间，以满足独居老人智能监护系统实时性高的要求 [5]。

3.3.2. 采用AAM算法定位和跟踪人脸特征点

主动外观模型(即AAM)有活动轮廓模型基础上所提出的ASM模型衍生而来，唯一区别在于前者结合纹理与形状信息描述模型 [6]，适用于人脸特征识别，而后者仅考虑目标局部形状信息。

AAM模型是对象的表观模型，是建立在对象的形状模型之上。基于AAM的人脸特征点提取算法先根据人工标记的数据集训练构建表观模型，再以训练的模型与目标图像作差取平方和来建立能量损失函数模型，以能量值的大小来作为拟合程度的评价指标。在拟合的过程中，通过拟合算法来改变模型参数，参数改变引起形状控制点改变，使模型实例与目标图像完成拟合 [7]。

AAM算法的提出是人脸特征点定位领域的一个重要里程碑。AAM模型方法首先对拟建模对象采集一定的样本图像，通过对样本图像提取有效的形状信息和纹理信息进行训练建立对应的子模型，最后将形状和纹理的模型进行有效的融合建立能够反映目标对象形状和纹理整体变化的统计模型。

人脸中主要特征点的位置包括眉毛的形状、眼睛、耳朵、下巴、鼻子以及上下嘴唇的轮廓等，本文使用AAM算法构建人脸的AAM模型，定位和跟踪了人脸部68个关键位置的特征点来描述人脸部的形态。采用P80标准的PERCLOS方法和眨眼频率判断老人的疲劳程度，结合嘴巴的高宽比和嘴角弧度的变化，判断老人的精神状态 [7]。

在AAM模型中目标对象形状和纹理模型的建立过程都可以概括为样本的数据采集，对采集到的样本数据进行标准化处理以及统计分布建模三部部分。

处理流程如图3所示：

Figure 3. Processing flow

图3. 处理流程

对人脸面部进行建模的第一步是选择合适且足量的训练样本集。为了能够让后续建立的形状模型能够更好的对目标图像的形状进行搜索拟合，这里我们制定了一定的样本采集规格。人脸样本图像中关键特征点的选取规格及标记顺序人脸中主要特征点的位置包括眉毛的形状、眼睛、耳朵、下巴、鼻子以及上下嘴唇的轮廓等地方，对于采集到的每一个人脸样本图需要记录下选取的68个面部关键特征点的坐标数据，并将这些数据保存在文本文件中用于后续的模型训练中。这里可以采用MATLAB里面的ginput函数或其他工具来获取样本图像中关键特征点的坐标数据，人脸样本图像特征点标定前后的对比。

3.3.3. 使用支持向量机分类器识别并分类老人的精神状态

对计算得到的嘴巴高宽比、嘴巴弧度值、PERCLOS值、眨眼频率、眼睛高宽比等参数进行归一化处理，作为特征输入向量，使用支持向量机分类器识别并分类对老人精神状态，并对结果进行监测。

在临界位置函数点处指示的面部图像的情况下，形状矢量可以由形状矢量形成，并且可以描述面部的原始图像。用 $x_i$ 来表示形状向量，则有：

$x_i=\left(x_{i1},y_{i1},x_{i2},y_{i2},\cdots ,x_{i68},y_{i68}\right)$

这里 $x_{ik}$， $y_{ik}$ 的分别表示第k个特征点对应的横坐标值和纵坐标值。

标有关键位置特征点的面部图像是由于样本大小，方向角度和绝对位置之间的差异，并且不能使用直接面部形状统计建模，如果未加工的图像样本直接用于形状建模，则它无法有效地反映人脸变化规则的模型。这里我们需要通过对采集到的人脸样本进行旋转、平移以及缩放等操作来对所有人脸样本图像进行形状的归一化处理，一般选用普鲁克斯分析(Procrustes Analysis)方法来对上式中的形状向量进行归一化操作。普鲁克斯分析方法的主要思想是使得建模对象的所有形状样本到平均形状的距离的叠加值最小化，即使得 $D={\displaystyle {\sum }_{i=1}^n\left|x_i-\bar{x}\right|}$ 的值最小。

运用普鲁克斯分析法对人脸的所有形状向量进行归一化具体的步骤如下：

1) 将所有的人脸形状向量 进行平移、旋转及缩放操作对齐到第一个形状向 $x_1$ 量；

2) 经过第一步的变换，计算对齐后的新的平均人脸形状向量 $x_i$ ；

3) 将所有的形状向量 $x_i$ 对齐到新的平均人脸形状向量 $\bar{x}$ ；

4) 重复(2)和(3)步的步骤直到平均人脸形状向量 $\bar{x}$ 收敛为止(即两次计算的得到平均人脸形状向量 $\bar{x}$ 变化不大)。

动作表情判断如图4所示：

Figure 4. Action expression judgment

图4. 动作表情判断

4. 作品演示

操作流程

连接好装置并安装好程序，启动程序后，初始化参数。

1) 电源开启，系统参数初始化；

2) 开启摄像头；

3) 加载Dilb数据库；

4) 系统是否检测到服务对象，若是，执行步骤(5)；若否，则延迟5秒语音提醒：当前老人外出；

5) 读取人脸面部表情特征点，显示人脸数量；

6) 检测服务对象是否眉间距缩短，若是，返回痛苦数据，并且语音提醒护士台：有老人痛苦；若否，则执行步骤(7)；

7) 检测服务对象是否张嘴，若是，执行步骤(8)；若否，则执行步骤(9)；

8) 检测服务对象是否长期无眨眼，若是，执行步骤(10)；若否，返回失去意识数据，并且语音提醒护士台：有老人失去意识；

9) 检测服务对象是否眯眼，若是则返回困乏数据，并且语音提醒护士台：有老人犯困；若否，返回自然数据；

10) 按s键截图保存；

11) 按q键退出软件。

5. 应用前景

现人工智能逐渐运用、渗透到各个领域，其中的表情识别技术作为人工智能研究的新突破，有助于进一步察觉被识别对象的心理情绪，帮助计算机加深对人脸表情的识别和理解，受到了许多消费者与国内外科学研究人员的青睐，具有较高的研究价值与应用前景。基于此，针对医护人员难以及时监护独居老人的身体和精神状态等社会问题，本文综合分析建立独居老人智能监护系统，利用Visual Studio软件，通过Wi-Fi传输数据，使得系统具有较好的兼容性和较低的使用门槛，可用于不同医院和养老院的场所，满足老年人监护需求。

独居老人智能监护系统的功能分为包含视频采集、图像处理、表情分析、视频调取在内的多个功能模块，运用改进的AlexNet网络、AAM算法定位、跟踪人脸特征点、支持向量机分类器等技术，对独居老人日常的表情进行有效识别，监控老年人的精神状态，为当下老人智能监护系统填补空白。