基于人脸视频的非接触式心率测量研究

Non-Contact Heart Rate Measurement Based on Face Video

摘要: 心率是脉搏波的最基本信息，是人体健康的一项重要生理指标。传统的心率检测多与人体有直接接触，而长时间的接触会造成被试者的不适，因而不适合长时间的心率测量。因此本文提出了利用摄像头实现非接触式对被测者的光电容积脉搏波(RPPG: remote Photo Plethysmography)的提取和分析的方法。即基于人脸识别技术，实现从摄像头中自动分割被测试者的面部信息，选取感兴趣区域(ROI: Region of Interest)，使用计算机视觉技术和独立成分分析算法(ICA: Independent Component Analysis)，从摄像头视频中提取被测者的光电容积脉搏波信号。本文设计实现了非接触式测量心率，提供了一种较为准确的心率测量方法。

Abstract: Heart rate is the most basic information of pulse wave and an important physiological index of human health. Traditional heart rate measurement is mostly in direct contact with the human body, and prolonged contact will cause discomfort to the subjects, so it is not suitable for long-term heart rate measurement. Therefore, this paper proposes a method for the extraction and analysis of non-contact Remote Photo Plethysmography (RPPG) of the subject using the camera. That is, based on face recognition technology, the facial information of the testee can be automatically segmented from the camera, and Region of Interest (ROI) can be selected. In this paper, computer vision technology and Independent Component Analysis (ICA) are used to extract the photoelectric volume pulse wave signal of the subject from the camera video. The design realizes the non-contact heart rate measurement and provides a more accurate heart rate measurement method.

1. 引言

随着社会的发展，人们对于生活的追求不断提高，重视日常生活中对疾病影响与预防事项。这样就让人体各种的日常生理信息检测比例变得十分重要。而在大多人体健康方面的信息中，心率是最重要也是最基本的，是人体日常新陈代谢的重要生理参数，在健康指标的层面上有着重要的意义，如静息心率如果过高被认为是会突发引起心血管疾病等。以往对心率的检测是物理接触式，存在不易携带与不便捷等问题。为了寻求更便捷、舒适的检测方法，人们的研究更加倾向于非接触式的方法来测量生理参数。如激光多普勒速度测速来测量红血细胞，用微波系统(微波多普勒雷达)技术来检测呼吸率等。本文基于人脸视频的非接触式心率测量主要研究的是一种非接触式基于光电容积生物光学原理，运用计算机视觉技术，对摄像头拍摄的视频在R、G、B彩色空间模型中，对感兴趣区域进行三通道的分离，接着将空间平均值作为原始的数据。然后使用独立成分分析，提取出源信号，最后通过频谱分析计算得到心率，实现非接触式心率的测量与研究。

2. 理论研究

2.1. 光电容积原理

当一定波长的光照到活体皮肤的表面，光将通过反射或透射传送出人体皮肤表面。在这个过程里，光因为受了血液、组织、肌肉和皮肤的吸收，强度会发生减弱。皮肤、组织、肌肉对特定的波长光的吸收在血液的循环中保持恒定不变，仅由皮肤内血液容积随心脏跳动导致光强的吸收呈现出搏动性的变化。由于人体组织所吸收的光没有血容量对光的吸收多，因此血容量的变化将由从皮肤表面反射或透射出来的光强度变化来反映。假设实验环境的光照强度恒定，设为常量c，血液容积对自然光强度的吸收量为x，通过摄像头拍摄观测得到的光强度为f(x)，可以得到 [1] ：

$f\left(x\right)=c-x$ (1)

f(x)和x具有相同的周期和频率，所以理论上可以通过摄像头检测人脸区域特定波长的光强度的周期性变化，实现人体脉搏的测量 [2] 。

2.2. RGB通道分离

1) RGB空间模型

RGB颜色空间以红、绿、蓝三种基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色，所以俗称三基色模式。在大自然中有无穷多种不同的颜色，而人眼只能分辨有限种不同的颜色，RGB模式可表示一千六百多万种不同的颜色，在人眼看来它非常接近大自然的颜色，故又称为自然色彩模式。红绿蓝代表可见光谱中的三种基本颜色或称为三原色，每一种颜色按其亮度的不同分为256个等级。当色光三原色重叠时，不同的混色比例能产生各种中间色。RGB彩色空间模型如图1所示：

Figure 1. RGB color space model

图1. RGB彩色空间模型

2) RGB通道信号的生成

使用摄像头拍摄人脸视频，对每一帧视频中的人脸感兴趣区域进行RGB三色通道分离，并对每一通道取空间均值。设人脸区域的尺寸为M*N，在RGB色彩空间模型中，每一个像素点用一组(R,G,B)向量表示，RGB通道的分量为(R,0,0)，(0,G,0)，(0,0,B)。每一帧中，任意通道均值 $\overline{x_k}$ 的数学表达式为：

(2)

其中 $\overline{x_k}$ 为对应分量的有效值，其中t为视频帧的时间序列。进而得到观测到的信号 ：

$X\left(t\right)=\left(\overline{x_1}\left(t\right),\overline{x_1}\left(t\right),\overline{x_3}\left(t\right)\right)$ (3)

2.3. 独立成分分析

独立成分分析(ICA: Independent Component Analysis)，也称为独立元分析法。ICA是在信号处理领域发展起来的一种崭新的信号处理与数据分析的方法。ICA在盲源分离理论上，去除高阶统计量的相关性，加上了先验条件，即源信号中至多存在一个高斯信号且信号间相互统计独立。在信号处理过程中，该先验条件基本适用于任意不同的源信号。因此，ICA作为一种新的信号处理方法。在空间里的单个向量更加局部化，从而增加了识别的准确性。

ICA是假设有n个相互独立的s(t)统计源信号，观测信号x(t)是源信号各分量的线性组合。这里的t是时间或者也可以是样本标号。其中A是未知非奇异混合矩阵。

ICA数学描述为：

$x\left(t\right)=As\left(t\right)$ (4)

其中，列向量 $x\left(t\right)={\left[x_1\left(t\right),x_2\left(t\right),x_3\left(t\right)\right]}^{\text{T}},s\left(t\right)={\left[s_1\left(t\right),s_2\left(t\right),s_3\left(t\right)\right]}^{\text{T}}$ 。

ICA的另一种表达形式为：

$y\left(t\right)=Wx\left(t\right)$ (5)

其中，列向量 $x\left(t\right)={\left[x_1\left(t\right),x_2\left(t\right),x_3\left(t\right)\right]}^{\text{T}},s\left(t\right)={\left[s_1\left(t\right),s_2\left(t\right),s_3\left(t\right)\right]}^{\text{T}}$ 。通过该矩阵W得到相互独立的信号y(t)，从而获得脉搏波源信号，矩阵W也称为解混矩阵。

从式中知道，若矩阵G里的每行每列都只有一个元素最接近1，其它的元素是都接近或者是等于0，此时的估计信号也就是比较准确的对信源信号s(t)的估计。这样我们就可以说称是对ICA比较成功地分离出源信号。实际中，我们可调节分离矩阵W确保源信号的统计独立，进一步保证可以实现源信号的估计。RGB通道分离和ICA处理人脸视频过程如图2所示：

Figure 2. RGB and ICA processing

图2. RGB和ICA处理过程图

2.4. 周期分析

心脏的周期性收缩和舒张，引起血管中的血液的周期性流动，在采集过程中会受到其他信号的干扰，但仍然可以近似看作是周期信号。由于任何一个周期信号都可以用它的直流分量、基波分量和各次谐波分量表示，即它由这些频率分量构成，且周期信号与其各频率分量存在着一一对应的关系，因此，对周期信号的时域分析转化为频域分析。通过频谱分析的方法对PPG信号滤波后得到的心率信号进行周期分析。由于周期运动在频谱中对应尖峰，因此需要从频谱图中找出频谱尖峰所对应的频率值。

一般来说，可以将心率信号看作是一种振动信号。离散频谱分析即对信号进行傅里叶变换后得到频谱的一种信号处理方法。FFT是数字信号分析的基础，在工程技术的各个领域得到了广泛的应用。事实上，心率信号是一种微弱的、非平稳信号，但在实际应用中，常将其作为一种线性的、平稳信号来处理。因此，本文采用振动信号处理中应用最广泛的离散频谱分析方法对其进行处理，即借助傅里叶变换，采用功率谱估计的方法得到它的频谱图。

3. 实验过程

采用神州z6-kp5d1笔记本电脑、锐尔威视USB摄像头和脉搏仪。实验过程中摄像头设置视频格式为MP4格式，帧率为30帧/s，分辨率为1280 × 720。实验系统示意图如图3所示。首先拍摄人脸视频，在拍摄视频时选择上述成形信号稳定照射在人脸视频拍摄位置；其次将采集到的视频存储后进行人脸区域的选取，确定ROI区域，再通过RGB三通道分离、ICA变换、滤波处理和周期分析，测量得到心率。要求测试时间为60 s，被测试者面对摄像头0.3 m外坐直，为提高测量精度，被测者尽量保持头部无大范围移动。由于人脸区域中额头血管丰富 [3] ，因此实验选取人脸额头部位为感兴趣区域(ROI)进行研究。实验流程图如图4所示。

Figure 3. The experimental device

图3. 实验系统示意图

Figure 4. Experimental flow chart

图4. 实验流程图

4. 结果分析

为了较好地进行数据分析，采用滑动时间窗的方法进行数据采集。摄像头拍摄60 s共采集1800帧图像数据，每一个时间窗的采集时长为30 s，共900帧图像的数据，相邻窗口时间间隔为1 s，因此共可以采集到31个时间窗的数据。下面以最后一个时间窗的数据处理为例，首先进行R、G、B三通道分离，分离结果如图5所示。

Figure 5. RGB channel signal

图5. RGB三通道分离

上图从左到右依次代表R、G、B三个通道的分离信号，其中横坐标代表帧序列，纵坐标代表光强信号值。可以看出具有信号中含有较为明显的低频基线漂移和高频噪声，可能是由于环境光强的局部变化，以及人体呼吸或者拍摄过程中人脸移动等原因造成。为提取出源信号并去除部分伪动噪声，对RGB通道分离信号进行ICA变换和中值滤波处理，结果如图6所示。

Figure 6. ICA transformed signal components

图6. ICA变换后成分图

通过ICA变换及滤波处理后，分离出来的成分信号信噪比有较大的提高，且滤除了部分噪声，从图中可看出G通道的脉动效果明显优于R，B通道，更符合心电波的特征，因此选取成分2作为脉搏波源信号进行周期分析，结果如图7所示。

Figure 7. Spectrum map

图7. 频谱图

从图7中可观察到，经过快速傅里叶变换后，将信号分析从时域转化到频域中，频谱图中尖峰所对应的频率为1.0267 Hz，因此第31窗测量得到的心率为1.0267*60 = 61.6 bpm。同理可以得到其它30个窗口频谱图的尖峰对应频率及心率结果。通过脉搏仪测量10组被测者心率，每组测量时间30秒，由于心率波动较小，取10组测量心率的平均值74 bpm作为对照数据，将周期分析得到的心率数值与74 bpm作差取绝对值后与74 bmp的比值作为测量准确率，最终整理得到31个时间窗的心率测量数据如表1所示。

Table 1. Heart rate measurement data of 31 Windows

表1. 31个窗的心率测量数据

5. 结论

本项目采用基于人脸视频的非接触式测量方法实现心率测量，且使用人脸视频的方式进行图像采集，具有无创性，使用较传统方式更加简便，适用范围更加广泛，为非接触式生理信号测量提供了一种新的解决途径和方案。该方法测量心率的准确率较高，但存在个别时间窗测量准确率小于70%，可能是由于人脸移动或者环境，光强变化等原因造成测量结果存在误差，可以通过减少人脸移动和选择环境光强更加均匀的环境等方法来减小误差，如何选择或设计合适的滤波算法最大化去除信号噪声以提高非接触式心率测量精确度将成为下一步的研究目标。