1. 引言
随着移动互联网时代的发展,互联网用户的数量急剧增加。互联网行业竞争亦十分激烈。移动终端要想在众多的竞争对手中脱颖而出,获得用户的喜爱,必须要对其用户的使用感受有一个深入的了解。这就使得网站设计和运营人员要能够及时了解用户情感需求,根据用户情感动态调整网站设计和运营方案。在不影响用户浏览和操作体验的情况下,如何测量并预测移动互联网用户情感状态,是目前情感测量领域的热点与难点问题 [1]。
2. 文献综述
Picard在1995年率先采用了血容量脉搏、呼吸信号、皮肤电信号和肌电信号4种生理信号,并证明了通过提取生理信号特征进行情绪识别的可行性。其中,脉搏信号是一种较弱的生物电信号,蕴含了人体的多种生理及病理信息。相比于其他生理信号,脉搏信号的噪声较少且易采集 [2]。目前,在情绪识别研究领域,用脉搏信号识别情感的研究较少,因此研究脉搏信号的情感识别具有重要意义。
于目前用于情感识别的其它分类器,支持向量机因其优秀的小样本分类效果,被广泛使用 [4]。朱菊霞,吴小培 [3] 等人利用支持向量机作为分类器,以语音信号特征参数作为依据,对高兴、愤怒和悲伤4种情感进行识别,识别率比人工神经网络等分类算法均高了7%以上。实验表明了支持向量机算法具有高效性和更高的准确性。杜昭慧,司玉娟在解决随着情感种类增加而增加的支持向量机的个数时,运用层次SVM分类在保证分类准确率的同时,提高了分类速度。本文构建的二重SVM采用了偏二叉树 [5] 构造从而达到了分类三大情感的设计目的,分类速度快且容易实现。
3. 实验设计
本实验研究目的是测量被实验者在观测不同内容时心率波动数据以及主观评测情绪变化,通过对数据的分析处理,探讨情绪变化对心率波动的影响。
3.1. 实验对象
本研究采取随机抽样法,抽取某高校在校大学生40名,男性、女性各20名,被试者均为健康状态,拥有充足的睡眠,无疲劳症状,在进行实验前24小时内没有进行药物治疗、没有进行高强度的训练,自愿参加实验。实验环境:室内照明125 LX,声环境30 dB,温度24℃,空气湿度60%。
3.2. 实验过程
首先,开始试验前,记录被试者的第一次心率数据。试验过程,根据个人喜好,给予不同被试者观看事先收藏且尚未观看的不同内容的短片,试验过程为30秒,将每个实验过程按照总持续时间截取相应片段:0~10 s、10~20 s、20~30 s,记录三个时间段各自的平均心率数据。试验结束后,调查被试者的主观情绪感知,记录主观数据。
4. 数据分析
为了便于接下来的数据收集与分析工作,把40个被试分别以{P1, P2, P3, …, P40}表示,将每个实验过程按照总持续时间截取相应片段:0~10 s、10~20 s、20~30 s共三段,分别用{T1, T2, T3}表示,实验前与实验后的静息时间用T0和T4表示。在剔除部分因人为因素导致心率波动较大以及缺少部分片段平均心率的数据后,收集到15份主观情绪为开心,10份难过和5份中性的问卷以及对应的心率波动数据。
通过对开心情绪的心率变化幅度进行描述分析可以得出实验前T0的静息心率与实验开始后T1的心率差距较小,变化幅度约为1%。而在实验开始后的T1与T2有较大的变化幅度,总体呈现上涨的势态,上涨幅度差超过3%,T2与T3的平均心率也变化较大,总体表现出下降的趋势,降低幅度达到3.5%。中性情感的心率变化幅度较低,保持稳定,这与实际相符,同时再次验证了情感会影响心率变化的假设。T3与T4波动幅度约降低了1%,本文认为是实验后平静状态下心率自发的轻微降低。难过情感的心率变化幅度总体呈现降低趋势。第一次心率波动表现轻微的上涨,上涨幅度约为1%,第二次心率波动幅度为−5.5%,可以看出实验开始后的10秒与10到20秒之间心率明显降低。第三次心率降低幅度几乎为0,本文认为这是因为第二次心率降低幅度较大使第三次心率降低的空间大大减少导致的。
由于三种情感第一次心率波动情况无明显差异,故本文猜测情感的变化与心率对应发生变化存在延迟,为验证这一猜测,选取3名被试在心率平静的情况下立刻做急速的俯卧撑,记录心率仪检测到心率上升所需时间,取3名被试心率上升所需时间平均值,初步发现剧烈运动后的12秒左右才会被心率仪检测到心率上升。初步认为该原因是由于运动开始与心率开始上升之间存在时间差,且此次实验采用的心率仪是基于光电容积脉搏波描记法原理的测量仪器,实时检测数据与心率的变化存在一定的时间差 [6] [7]。故可以初步认为实验开始的T1内被试虽然受到不同的刺激,但心率依然处于静息心率,在12秒后心率的变化才被体现出来。实验前T0与实验开始的T1心率都处于静息的状态,故第一次心率波动表现出整体变化幅度较小且与情感无关的现象,后文的研究将跳过实验前10秒的心率测量和第一次心率变化结果。
采用独立样本T检验 [8] 分析比较心率波动是否存在显著性差异。结果表明中性与开心的心率波动不存在显著差异(p = 0.14);难过与中性、难过与开心的第二次心率波动幅度存在显著性差异(p = 0.044)。虽然第三次心率波动开心与难过、中性与难过的p值大于0.05,但心率波动情况总体均值存在较大差距,实验结果为后文二重SVM情绪识别分类的构建提供了依据。
5. 基于二重SVM的情感识别
根据前文的研究结果,开心与难过、难过与中性均存在显著性差异,故本文构建“开心鉴定”的SVM和“难过鉴定”的SVM。鉴定开心、中性与难过情感的过程如图1。
与之前实验类似(不同的是省去实验前10秒静息心率的测量与处理,理由见前文解释),再次收集6组开心、4组难过和两组中性心率每10秒的平均值及两次心率波动幅度数值。首先根据前文收集到的30组数据作为训练样本,依次构建能最优划分开心与非开心、难过与中性的超平面 [9]。然后将新收集的12组数据作为测试样本检验SVM分类的精确度。从30组已分类样本的分类结果可以看出“开心鉴定”SVM对原始样本的分类精度为76.67%。分类结果可以发现“开心鉴定”SVM在对开心的判断上较主观判断更为严苛,使得它将被试主观认为开心的结果分到非开心类别中去,相对的,对于非开心的情感分类准确度就非常高(准确度86.67%)。“开心鉴定”SVM测试样本的分类结果如图2。

Figure 1. Dual SVM emotion recognition logic diagram
图1. 二重SVM情感识别逻辑图

Figure 2. The SVM classification results of “happy”
图2. “开心”SVM分类结果对比图
可以看出验证样本分类准确度为83.33%。对于非开心类别的样本(与主观分类不同的是将样本1、2、3、4、6停止分类,将样本11进一步分类),再代入“难过鉴定”SVM,分类情况如图3。

Figure 3. The SVM classification results of “sad”
图3. “难过”SVM分类结果对比图
结合原始的15组非开心样本的主观分类结果相统计,“难过鉴定”SVM精度为80%,12个测试样本基于二重SVM对三种情感的分类准确度高达75% (图4)。

Figure 4. The SVM classification results of “double”
图4. 二重SVM分类结果对比图
6. 结论与展望
本研究提出利用心率变化构建移动互联网用户的二重SVM预测模型。研究结果发现,开心情绪、中性情绪和难过情绪的情绪变化与机体心率变化存在一定的相关关系。总体来看心率变化与开心情绪表现为增强关系,与难过情绪表现为抑制关系。这一结果符合情绪的生理机制 [10]。由于主流心率测量仪是通过检测组织中血液容积变化来间接测量心率变化的,这种检测方法对于心率的变化在时间上受制于机体血液循环的影响 [10],即数据变化对于心率变化因机体不同存在12到20秒的时间差。所以测得心率数据变化对于情绪变化的反映上存在不可避免的误差。在以后的研究中可以从测量原理和机体血液循环时间上研究数据结果误差,在情绪测量上也要从更多的生理数据及角度来观察和研究。本研究的不足之处在于,中性静息心率的数值也不是一直保持不变的,在研究开心和难过的情感时没有成功消除静息心率波动的干扰;使用被试的主观情感感受带入到SVM进行监督式学习并检验分类准确度的过程无法发现并剔除被试的错误主观感受和异常心率波动;只凭借心率指标识别用户情感的准确度依然是有限的。
未来研究将收集更多的样本数据,同时采取多种非监督式的分类方法互相比较和验证,提取分类精确度最高的模型;后续的研究将不仅仅局限于心率指标,还将研究其他生理指标、微行为以及绩效,从而达到进一步提高检测器识别准确度的目的。情感的划分也不再是开心难过和中性简单的三类,将更加细分,做到更加全面的分类。
基金项目
安徽省大学生创新创业训练计划项目“基于多模式情绪测量的移动互联网用户情绪检测器研究”(201810363208),教育部产学合作协同育人项目“基于ErgoLAB人机环境同步平台的人因工程课程设计”研究(201901024006),国家级大学生创新创业训练计划项目“基于kano模型和机器学习的智能家居用户体验优化研究”(202010363072)。
致谢
感谢操雅琴老师对论文选题、实验设计、数据分析以及论文写作和修改提供的指导和帮助。感谢所有实验参与者的参与。
参考文献
NOTES
*通讯作者。