基于面部表情的术后疼痛人工智能评估系统研究进展

Research Progress of Artificial Intelligence Assessment System for Postoperative Pain Based on Facial Expression

摘要: 目前，中国近一半的患者术后仍出现中度至重度疼痛。术后疼痛对医疗保健系统和患者满意度构成了重大挑战，人们仍无法对术后疼痛管理的质量进行系统性的评估。疼痛评估是一个复杂的任务，很大程度上依赖于患者的自我报告。然而一些人无法自我报告以及医疗专业人员评估不能保证连续性和客观性，所以对于疼痛自动识别的需求很大。这篇综述旨在提供基于面部表情的术后疼痛人工智能评估系统目前的技术现状，以及用于疼痛检测的技术基础。该综述还强调了人工智能评估系统对临床实践中疼痛评估的潜在影响，在提高疼痛识别效率，分析自我疼痛报告数据，预测疼痛，帮助临床医生有效管理术后疼痛方面提供了更多临床证据，为该领域的进一步研究奠定了基础。

Abstract: Currently, almost half of patients still suffer from moderate-to-severe pain after surgery in China. Postoperative pain poses a significant challenge to the healthcare system and patient satisfaction. However, systemic assessment of the quality of postoperative pain management in China remains unavailable. Pain assessment is a complex task largely dependent on the patient’s self-report. However, some patients can not self-report pain, and professional assessment can not guarantee continuity and objectivity. As a result, there is a growing demand for automatic pain recognition systems. This review aims to provide current state as well as the technical foundations used in pain detection designed to improve pain assessment and management for adult patients. The review highlights the potential impact of AI on pain assessment in clinical practice. This review provides evidence that automatic pain recognition systems were used to improve efficient pain recognition and pain assessment, analyze self-reported pain data, predict pain, and help clinicians and patients to manage chronic pain more effectively and lays the groundwork for further study in this area.

1. 引言

手术后疼痛不仅影响患者术后康复，还可能增加术后并发症、延长住院时间、加重经济负担，给医疗保健系统带来了重大挑战 [1] [2] 。据中国急性术后疼痛研究(China Acute Postoperative Pain Study, CAPOPS)收集的数据统计，有48.7%的患者在术后第一天出现中度至重度疼痛，许多患者报告了对疼痛管理的不满 [3] 。

准确的疼痛测量有助于早期诊断，监测疾病进展和评估治疗效果 [4] 。目前，患者的自我疼痛评估仍然是医疗实践中疼痛评估的黄金标准 [5] ，其中数字等级评分量表(Numerical Rating Scale, NRS)和视觉模拟量表(Visual Analogy Score, VAS)是临床上使用最广泛的两种定量疼痛量表 [6] 。然而，由于自我评估的性质，疼痛评分易受到患者的心理、社会状况的影响。而且婴幼儿、精神病患者和老年人等无法进行自我评估 [7] 。对上述人群常根据临床医生的观察测量疼痛强度，即观察者疼痛强度评估(Observers Rated Pain Intensity, OPI)，但这种方法严重依赖于医生的主观判断 [8] 。因此，研究者们一直在探索评估疼痛的客观指标，以尽量减少患者的报告偏倚和观察医生的主观偏倚。

疼痛的识别可以基于多个方面，基于行为可以是和语言相关的(如自述疼痛和婴幼儿啼哭)以及非语言的(如身体姿势和面部表情)；可以是基于一些生理参数的变化，如皮肤电反应、瞳孔反射、血压、心率变异性，以及激素和生化标志物 [9] 。这其中，基于面部表情识别疼痛是研究疼痛客观评估方法最常用的方式。

2. 基于面部表情的疼痛人工智能(AI)评估系统的技术现状

在过去的十年里，人工智能(Artificial Intelligence, AI)的研究人员一直致力于创建能够赋予机器认知能力的模型和算法，以识别疼痛。特别是近年来，随着深度学习方法的发展，许多研究人员正在使用这种方法进行自动疼痛评估，其结果往往优于传统的机器学习方法 [10] [11] 。

有研究者设计了面部动作编码系统(Facial Action Coding System, FACS) [12] ，一种将面部表情分解为组成动作，即动作单元(Action Units, AU)的技术，该系统根据潜在肌肉活动产生的46个AU来描述面部运动。当有疼痛刺激时，可以观察到一组高度一致的AU，证明了疼痛的核心表达(Core Expression of Pain, CEP)这一概念。但是该系统依赖于高水平的观察者来标记面部AUs，这是一项耗时的任务，不适合实时疼痛评估 [13] 。

深度学习是一种通过多层神经网络对信息进行抽取和表示，并实现分类、检测等复杂任务的算法架构，是对人脑处理信息时所采用方法的抽象总结和模拟 [14] 。目前已广泛用于人脸识别、面部表情识别和情感检测 ，近几年很多研究人员将深度学习应用到疼痛识别领域 [15] 。

许多疼痛面部识别AI系统的建模都采用了深度学习的方法，具体的模型建立过程如下：首先进行疼痛相关的特征提取，作为传入信息，目前的研究大多采用基于视觉的面部表情，用照相机记录受试者与疼痛相关的面部表情视频数据，再根据计算机算法(FACS、深度学习)分析提取的面部特征，投入到数据集训练过的模型进行预训练，输入到分类器中进行二分类(Support Vector Machine, SVM; K-Nearest Neighbor, KNN)和多水平分类(随机森林、神经网络)，最后输出的结果是检测到是否发生疼痛或检测疼痛强度，这样就建立了一个自动检测面部疼痛表情进行疼痛评估的AI系统模型。

虽然现有的多模式自动疼痛评估研究在高度控制的实验室环境中使用了良好控制的刺激性疼痛，但在临床急性术后疼痛领域的研究还属于起步阶段。

3. 基于面部表情的术后疼痛AI评估系统研究

3.1. 基于面部表情的新生儿术后疼痛AI评估系统研究

新生儿在住院期间平均每天要经历7.5~17.3次操作性疼痛刺激 [16] ，新生儿在术后不同时间可能经历各种类型的疼痛，控制不足可导致一系列近期及远期影响，如生命体征波动、行为改变、疼痛敏感性增加、认知及神经功能障碍等 [17] [18] 。Zamzmi等建立了第一个多模式新生儿疼痛评估数据集(University of South Florida Multimodal Neonatal Pain Assessment Dataset, USF-MNPAD-I)，记录了在坦帕综合医院(美国佛罗里达州)新生儿重症监护病房58名新生儿住院期间的刺激性疼痛(足跟采血、耳廓检查、免疫接种和疫苗接种)和术后疼痛。手术类型包括胃造瘘管、肠梗阻、腹裂、插管、脐膨出修复、腹股沟疝修补术。记录的数据包括行为(面部表情、身体运动、哭泣)和生理(生命体征和皮质活动)反应 [19] 。Md Sirajus Salekin基于多模式新生儿疼痛评估数据集提出了一种多通道深度学习框架，用于评估新生儿疼痛。所提出的框架使用卷积神经网络(Convolutional Neural Network, CNN)整合来自面部表情和身体运动两个疼痛指标的信息，同时使用循环神经网络(Long Short Term Memory, LSTM)集成时间信息，由新生儿重症监护室使用(Neonatal Infant Pain Scale, NIPS)疼痛量表作为真实标签，最终实现了91.41%的平均准确率和0.89 AUC [20] 。他们后续提出了一种基于深度学习的全自动方法(双线性卷积神经网络(Bilinear Convolutional Neural Network, B-CNN)循环神经网络(Recurrent Neural Network, RNN)长短期记忆网络LSTM使用新生儿疼痛评估数据集，来评估新生儿术后疼痛的强度。结果显示急性操作刺激性疼痛病例的准确率高于术后疼痛，这可能是由于与急性期相比，术后疼痛数据中受试者数量少，疼痛强度变化小，而急性期受试者数量多，变化大。双线性CNN比普通CNN模型更能代表面部疼痛强度特征，建议使用双线性CNN和LSTM结合评估术后疼痛强度 [21] 。

3.2. 基于面部表情的儿童术后疼痛AI评估系统研究

许多儿童在手术后会经历中度至重度疼痛 [22] 。疼痛会对孩子的睡眠和饮食模式产生负面影响，延长住院时间，增加对医疗程序的抵抗力，并导致儿童出现疼痛敏感性和创伤 [23] 。Ayla İrem Aydın等采集了布尔萨一所大学医院的小儿外科诊所接受手术年龄在7~18岁之间的83名患者样本。使用Python中的器学习算法在手术后进行两次随访(前12小时内和第24至36小时之间)进行疼痛评估。机器学习算法估计的疼痛强度与儿童根据WBS和VAS报告的疼痛强度评分之间存在显著一致性。机器学习算法评分最接近儿童评估的疼痛严重程度 [24] 。Wenao Wu提出了一种包含多头注意力机制的疼痛检测网络，以实现对儿童术后的面部疼痛表情实时自动监测，在术后复苏室收集了15名儿童有明显疼痛症状的图片26,070张，均有临床专家标注的四类标签，分别为无痛、轻度疼痛、中度疼痛和重度疼痛，称为儿童面部疼痛表情数据集(FPE-C)。实验结果表明，所提网络的评估准确率高于未经培训的志愿者，且与临床专家的结果相当 [25] 。Sikka等认为目前的青少年疼痛评估方法并不理想，容易出现对临床疼痛的偏见和认识不足。计算机视觉(Computer Vision, CV)和机器学习(Machine Learning, ML)技术，能够从视频中可靠、有效地测量与疼痛相关的面部表情，所以开发并评估了一种CVML方法来测量青少年与疼痛相关的面部表情，用于自动疼痛评估。他们从50例腹腔镜阑尾切除术后5~18岁青少年典型内源性/持续和外源性/短暂疼痛的视频中，建立了一个基于CVML的儿童术后疼痛评估模型，评估了儿童自我报告的疼痛评分和模型准确性，根据疼痛严重程度的模型检测显示，两种疼痛条件下存在中到强度的相关性(r = 0.65~0.86; r = 0.47~0.61) [26] 。Jihong Fang等纳入了2020年1月至2020年12月在安徽省儿童医院收集的4104名儿童(0~14岁)的4104个术前视频和4865个术后视频，建立了一个大规模的儿童临床疼痛表达(Clinical Pain Expression of Children, CPEC)数据集，用于儿童术后疼痛评估。同时开发了一种基于深度学习的儿童术后疼痛评估神经网络(Children Pain Assessment Neural Network, CPANN)，可以根据儿童的面部表情自动评估术后疼痛。使用CPEC数据集对CPANN进行训练和评估，结果取得了82.1%的准确率和73.9%的F1值。与根据具体类型的疼痛或儿童状况使用疼痛量表相比，CPANN更快，更方便，更客观 [27] 。此研究证明了基于深度学习方法用于儿童疼痛的自动评估系统的有效性 [28] 。Busra T. Susam等使用儿童腹腔镜阑尾切除术术后恢复的数据，通过可穿戴生物传感器和面部表情录像对儿童术后疼痛进行自动评估，研究参与者的非惯用手记录皮肤电活动(Electrodermal Activity, EDA)，疼痛评分阈值4分是用于区分临床显著性疼痛和临床非显著性疼痛常用的疼痛评分标准，利用加权贝叶斯融合EDA与面部表情视频，将疼痛评分为0~3的EDA和视频表示为临床无显著性疼痛，将疼痛评分为4~10的EDA和视频表示为临床有显著性疼痛。用线性支持向量机(linear SVM)分类器分别获得EDA和视频数据得分。融合后，观察到临床显著疼痛与临床不显著疼痛的分类准确率为90.91%，敏感度为100% (显著性疼痛检测的准确率)，特异性为81.82% (无显著性疼痛检测的准确率) [29] 。

3.3. 基于面部表情的成人术后疼痛AI评估系统研究

Denys Fontaine等训练和外部验证了深度学习系统(ResNet-18卷积神经网络)，识别和分类1189名患者手术前和手术后的2810个面部表情，根据NRS自我报告疼痛强度，通过准确性、敏感性和特异度来评估AI模型表现。最终，深度学习系统在训练/验证数据集中分类疼痛强度的准确率为45%。在外部测试集中准确率为53%，平均绝对误差为2.4分。评估重度疼痛(NRS ≥ 7/10)的敏感性和特异性分别为77.5%和45%，评估中重度疼痛(NRS ≥ 4/10)的敏感性和特异性分别为89.7%和61.5% [30] 。Hieh-Liang Wu等于2020~2021年在台中荣民总医院收集危重病人为研究对象，采集基于面部表情(如放松(0)、紧张(1)和扭曲(2))的疼痛评分的视频。采用三种卷积神经网络CNN模型与RNN模型集成，建立一个基于面部表情的危重患者疼痛自动化评估工具。测试数据集中分类器的性能由准确性、敏感性和F1值决定。基于视频的疼痛分类器对区分0分和1、2分以及0分和2分的分类准确率分别约为0.81和0.88。基于图像和视频面部表情的疼痛分类器，0分相比于1、2分以及0分相比于2分的分类精度分别为0.8和0.9 [31] 。

4. 结语

目前，基于面部表情的术后疼痛人工智能评估系统在术后急性疼痛的应用仍处于探索阶段，并且在成人术后疼痛领域研究较少，国内外需进行大规模高质量的观察性研究，为提高其灵敏度和特异度并优化术后疼痛管理效能提供更多临床证据。目前公开发布的疼痛数据库极大地推进了疼痛自动识别领域工作，但也存在一些问题，例如收集的大多是健康参与者的刺激性疼痛数据库，不是自发引起的疼痛数据库，同时性别、年龄和疼痛设置之间的差异需要在大量的数据库中进行验证，所以我们需要开发真实的临床术后疼痛数据库，同时设置一些关键的疼痛数据集，如癌症疼痛和原发性慢性疼痛，还应该收集来自老年人、痴呆患者或危重病人的数据。样本量不足也是疼痛自动识别临床应用的制约条件之一，可以通过数据增强方式有效地扩充训练样本数量，从而提高疼痛自动识别系统的性能。未来的研究应该着眼于通过扩大样本量，细颗粒度划分疼痛评分等级以及考虑人口学因素等方面提高AI评估系统的准确率、灵敏度、特异度，使其能够广泛应用于临床术后疼痛。总的来说，基于面部表情的术后疼痛人工智能评估系统提供了客观和准确的疼痛强度测量工具，改善了疼痛评估方法，提高了疼痛预测能力，优化疼痛自我管理，促进临床决策实施，使临床医生能够对疼痛的诊断和治疗做出更明智的决定。

NOTES

^*通讯作者。