1. 引言
在全球化浪潮下,语言作为跨文化交流的核心工具,其表达流畅性不仅关乎信息传递效率,更深刻影响个体的社交自信与学习成效。在口语表达过程中,情绪始终扮演着隐性却关键的角色,然而传统研究多依赖主观量表或行为观察推断情绪与口语流利度的关联,但这类方法易受社会期望偏差、自我认知局限等因素干扰,难以捕捉情绪波动的瞬时性与真实性。
随着生理信号监测技术的发展,皮肤电反应(EDA/GSR)为破解这一难题提供了新的视角。皮肤电信号能敏锐捕捉情绪的细微变化,其与汗腺活动紧密关联更使其具备低“欺骗性”的优势。基于此,本研究聚焦于“如何通过皮肤电反应捕捉情绪影响口语表达流利度的关联”,旨在通过皮肤电反应技术构建“情绪–口语表达关联图谱”。
研究借助机器学习技术,结合现有数据集与自主设计的情绪影响口语表达实验,系统探究不同情绪状态下皮肤电信号特征与口语流利度指标的映射关系。这不仅可为语言教学提供科学的情绪干预依据,助力学习者提升表达自信,更能拓展生理信号在情绪与语言交互领域的应用边界,为心理学、教育学交叉研究提供新的方法论参考。
2. 皮肤电反应测试情绪的研究价值与可行性
2.1. 皮肤电的优势
“皮电反应(EDA)”是人体皮肤表面导电能力随生理或心理状态变化的现象,也是通过皮肤导电性变化反映人体情绪或生理唤醒状态的一项重要信号指标。EDA通过监测皮肤导电性的瞬时变化(GSR),间接反映人在口语表达时的情绪特征(如紧张、兴奋或压力等),为情绪识别提供生理层面的客观数据支持,进而深度推动针对口语表达的心理学研究。
生理学中,皮肤电是指产生在皮肤上的电现象,简称皮电,它是随汗腺活动而出现的一种电现象(谷莉,白学军,王芹,2014),其本质上属于一种生理现象,而这个特征也使其“欺骗性”大大降低,而这也使其在用于测谎、心理咨询、疏导等工作时常具有更高的准确性,能够更加精确地反映受试者的真实心理状态,从而取得更好的工作效果。林晓玲、宋鲁平(2016)的研究团队将抑郁症状与皮电反应情况建立了联系,并通过皮电反应来检测患者的抑郁状态,从而能实时、准确地了解治疗效果,并及时修改治疗方案,更有益于抑郁患者的治疗,体现了皮电反应的准确性优势。
2.2. 皮肤电情绪测试研究的可行性
情绪测试领域中,传统上以伍德沃斯发明的传统的基于自我报告的自陈量表法为主,量表虽具有设计严谨、考察全面、适合团体测试且结果简单清晰等优点,但由于其本质上仍是以自我陈述来展开,所以会受到社会期望偏见的影响:即受试者可能会根据社会接受度来回答问题,而不是真实的自我状态,因此而影响受试的结果;并且,以此种方式不可避免地受到受试者自我认知清晰程度与诚实度等问题的影响,存在许多作伪的可能性,所以在某种程度上无法全面且真实地反映受试者的情绪。
而皮电反应测试作为新的情绪测试手段,可以直接通过生理信号捕获情绪变化的信息,而不是依赖个人主观描述。它不受个体自我认知、记忆偏差或社会期望的影响,因此能够提供更加客观、可靠的数据。这种方法能够捕捉到情绪反应的瞬时变化,而不像传统的自陈量表法那样会出现由于个体行为而影响测试结果的情况。皮电反应测试为情绪测试研究领域提供了新的发展方向,具有独特的意义。沈国华、姚亚彤(2024)的研究团队即运用皮电反应测试了观众对于面对外部电影刺激时情绪的变化,体现了皮电反应用于情绪测试方面的可行性。
而据相关调查显示,在不同情绪状态下,由于不同情绪所引起的交感神经系统工作与否以及神经肌肉的紧张与放松状态不同,所以会导致口语表达流利度呈现出相应的变化;因此,可以将口语流利度与情绪状态建立相应的数据关系,利用皮电反应测试,测试出受试者的准确情绪,通过构建情绪-流利度映射模型,反应情绪对口语表达流利度的影响,为语言教学提供科学依据,帮助学习者增强语言表达的自信心和流畅性,从而获得更好的语言学习效果。
2.3. 提供情绪研究新思路
传统的情绪研究方法主要都是以焦虑、无聊、愉悦等具体情绪为研究对象进行研究,而我们打破了这种传统的研究模式,我们的研究将情绪总结为“baseline”、“amusement”、“stress”三个大方向,根据受试者感受到轻松或压力的程度来分配到三个区间中,从而更加全面地进行情绪研究,并获得更加全面的情绪测试数据,为情绪研究领域提供了新的研究思路与发展方向。
3. 皮肤电反应检测情绪研究现状与挑战
3.1. 皮电反应技术的发展
皮电反应(Galvanic Skin Response, GSR),又称皮肤电活动(EDA),其原理是通过测量皮肤电导变化来反映自主神经系统活动的生理指标。早在1888年,法国神经学家费尔南德和俄国生理学家伊万·塔卡诺夫两人分别独立地发现:情绪或感官刺激会引发皮肤电导变化,即可以在一定程度上通过观察皮肤电的变化来推断情绪和刺激的变化。到了20世纪早期,瑞士心理学家卡尔·荣格与弗雷德里克·彼得森合作,首次将皮电反应用于检测患者在词语联想测试中的无意识情绪波动,标志了其在心理学中的工具化。1921年,美国警官约翰·奥古斯都·拉森发明首台测谎仪,可以监测血压、呼吸和脉搏。随后,莱昂纳德·基勒在此基础上加入了皮电反应传感器,强化测谎仪的准确性,这也体现了皮电反应在未来广泛的应用前景。
到了20世纪中期,Darrow等人对皮电反应的生理机制进行了深入的研究,并证实,皮电反应与交感神经调控的汗腺活动直接相关,即情绪激活交感神经,引发汗腺分泌,改变皮肤电导率。这一研究结果也成功推动了相关技术的进步与发展,如电子放大器与记录设备的普及(如1930年代的麦角管放大器),使测量更精确,推动实验标准化。
而到了现代,随着国家对公民个体心理健康的更加重视和社会竞争压力的不断增大,对情绪测试准确度的需求也不断增大,这间接推动了情绪测试领域的技术革新,在此背景下,皮电反应以其出色的准确性和真实性等优势成为研究情绪、压力、注意力及决策的常用指标。例如,安东尼奥·达马西奥的躯体标记假说中,皮电反应佐证了情绪对决策的影响,这进一步体现了皮电反应在情绪测试研究中的巨大价值。
3.2. 皮电反应的现实应用
到了现代,皮电反应相关技术已相对成熟,21世纪对于皮电反应的应用研究主要以进行多模态融合和可穿戴化方面为主,随着技术的革新、人工智能和AI技术的发展,现在的皮电反应技术通常会结合脑电图心电图等进行情绪测试等工作,以提高测试的准确性;同时,也可以结合许多的可穿戴型智能设备进行,如Empatica E4手环,并利用机器学习算法提升检测精度,这大大提高了检测的实时性和便捷性,皮电反应技术也因此有了更加广阔的应用前景和发展方向。
3.3. 皮电反应的应用问题
皮电反应当前也面临着许多问题,迄今为止,市面上大部分的皮电反应技术研究仍只局限在理论层面上,如向亦文、阎克乐、陆运青(2000)的研究团队对皮肤电反应、MMPI及其关系进行了研究,得出了其在各种刺激之下皮电反应数据特征与其人格特征的关系,但研究只局限于提出了这种关系,并未将研究成果真正运用到实际应用中;由此,可见皮电反应虽在理论和技术方面已经趋于成熟,但现实应用仍旧存在空白,且大部分与情绪相关的实验仍主要以焦虑、愉悦等特定情绪为研究对象,研究成果具有单一性,常无法应用于其他多种多样的情绪。
3.4. 传统情绪研究面临局限性问题
传统的情感识别方法主要依赖于单一模态的数据源,由于情感数据的复杂性,单一模态往往难以准确反映人类的真实情感状态(麻名蕊,2025),存在数据来源单一、易受个体主观影响以及环境干扰等问题。被试者可能因社会期望或心理防御机制而隐瞒或夸大情绪反应,导致研究结果的偏差。此外,传统研究多以静态分析为主,而口语表达是一个动态的、连续的过程,传统方法难以全面捕捉情绪变化的复杂性。基于皮电反应与多模态结合的研究方法能够更精准地捕捉真实情绪,结合多方面测试的数据来进行情绪测试分析,弥补传统情绪研究的不足,填补动态情绪研究领域的空白,为情绪与语言表达的相互作用机制提供更科学的分析框架。
4. 皮肤电测量情绪如何影响口语表达的研究设计与方法
4.1. 研究涉及学习情绪与相关数据集的选取
4.1.1. 影响学习效果的情绪种类
教育学、心理学及应用语言学领域的过往研究已证实多种情绪类型的存在,这些情绪在个体学习与社交过程中呈现出明确的作用机制。结合研究成果,可将其划分为以下类别,并从多维度进行分析(如表1)。
Table 1. Indicators of learning emotion types
表1. 学习情绪类型指标
情绪类别 |
具体情绪 |
积极情绪 |
愉悦、满足、希望、自豪、兴奋 |
中性情绪 |
惊讶、好奇 |
消极情绪 |
焦虑、羞耻、内疚、悲伤、失望 |
语言学习情绪 |
焦虑、自信、厌倦 |
交际相关情绪 |
羞涩、尴尬、共情、自信 |
成就相关情绪 |
愉悦、无聊、焦虑 |
4.1.2. 数据集的选取与预处理
数据集选取需满足两个标准:一是包含皮肤电(EDA/GSR)生理信号与情绪标签的对应数据,二是覆盖研究所对应的情绪类型。基于以上两个标准,筛选出适用于所研究情绪类别的数据集,并在数据集中对应皮肤电情绪数据进行预处理,消除量纲差异,清洗数据集中极端数据,使使用的情绪数据具有可比性。
可使用的数据集包括:GoEmotions数据集、SEMAINE数据集、AMIGOS数据集、AffectiveTweets数据集、FLAWS数据集及WESAD数据集等。这些数据集均包含与情绪相关的多维度信息,例如:AMIGOS是一个代表了个人和群体个性特征和情绪的多模式研究数据集。这些数据来自40名观看视频的受试者,每个受试者有16个样本。包括ECG、EEG和GSR的生物信号。采样频率为256 Hz。使用的心电图导联配置为右臂–左腿(RA-LL)和左臂–左脚(LA-LL)。
如表2所示是情绪类型适用的数据汇总。
Table 2. Measurement datasets applicable to emotion types
表2. 情绪类型适用的测量数据集
情绪类别 |
适用数据集 |
积极情绪 |
GoEmotions数据集、AMIGOS数据集 |
中性情绪 |
GoEmotions数据集、SEMAINE数据集 |
消极情绪 |
GoEmotions数据集、AMIGOS数据集 |
语言学习情绪 |
AffectiveTweets数据集、FLAWS数据集 |
交际相关情绪 |
SEMAIN数据集、AffectiveTweets数据集 |
成就相关情绪 |
EmoBank数据集、FLAWS数据集 |
4.2. 研究对象与样本选择
4.2.1. 研究对象
选取18~45岁的健康英语学习者作为研究对象,涵盖不同性别,且受试者为非英语母语的语言背景,以确保样本的多样性和代表性,并排除英语母语者的数据对于其他非英语母语者的实验数据造成干扰。研究对象应排除患有精神疾病、神经系统疾病或皮肤疾病等可能影响皮电测量的个体,以及近期或长期服用药物人群。
4.2.2. 确定样本量与抽样
可参考同类情绪与生理信号研究的样本量设计结合自身实验条件进行样本量设定。若针对某一群体进行研究的预实验中发现组内差异较大,导致无法得出准确的群体特征时,可适当扩大样本量或进一步对样本进行筛选,以保证研究结果的稳定性和统计学意义。可采用目的性样法,按年龄、性别、体重、语言背景进行抽样实验,确保男女样本数量比例相当,确保实验群体在样本中没有较大差异。
4.3. 实验设计
4.3.1. 实验先决数据统计
设计实验先决数据统计表,统计受试者的个人数据与受试当天的实验情况。个人数据包括受试者的性别、出生日期、身高、体重等可能对皮肤电反应产生影响的基础信息,作为基础变量进行记录;同时需统计受试者实验当天是否食用甜食、是否饮酒或吸烟等情况——这些因素可能通过血糖波动、酒精对神经系统的作用或尼古丁摄入等方式影响受试者情绪状态,以便为后续数据分析、误差检测及个案分析提供参考。
4.3.2. 实验环境
搭建标准化实验环境,控制环境变量保持统一,且不会对受试者的情绪产生过多影响:温度22℃~25℃、湿度40%~60%、噪音 ≤ 30分贝、光线柔和且恒定,避免环境因素对情绪造成影响致使皮电反应数据和口语表达受到影响。实验室配备隔音设备与录像设备,录制受试者的实验数据方便后续校对,同时确保口语录音清晰,设置舒适的座椅,减少受试者的生理不适感。实验可在询问受试者意向后配备操作员,由实验操作员辅助受试者完成实验。
4.3.3. 实验材料
可参考中国情绪刺激材料库,并根据研究情绪类型设计情绪诱发材料,中国情绪刺激数据库总共包括7个材料系统,分别是:中国情感图片系统(CAPS)、中国情绪面孔系统(CFAPS)、中国情感数码声音系统(CADS)、现代汉语情感词系统(CAWS)、中国情绪影像材料库(CEVS)、中国肢体情绪材料库(CEPS)、中国情绪音乐材料库(CAMS) (中国情绪刺激材料库,2020)。在受试者接受对应的情绪素材刺激后,发放实验所使用的口语材料,并给予受试者准备时间,在准备时间结束后,受试进行口语表达并对受试者的口语表达进行记录。
4.3.4. 实验流程
(1) 准备阶段:受试者进入实验室后,填写先决数据统计表,佩戴皮电传感器于非惯用手的食指、中指、无名指上的任意两个,并进行设备调试,确保信号稳定。实验者向受试者说明流程,签署受试知情同意书,消除其紧张情绪。
(2) 对照数据测量:在受试者不进行任何活动的情况下,采集受试者皮肤电活动数据,作为受试者非口语表达时状态的对照数据。
(3) 情绪诱发:通过实验前准备好的材料诱发相应的研究情绪。在情绪诱发过程中,实时记录皮电反应,捕捉瞬时变化。在相应的情绪诱发完成后,实验操作员发放口语表达材料。
(4) 口语表达数据采集:受试者在进行口语表达前给予一段准备时间,供受试者熟悉手上的口语表达材料,在准备时间结束后,受试者进行口语表达,并实时进行录制与皮肤电数据采集。准备与口语表达期间,实验操作员离开实验场地,以确保操作员的存在不会对受试者的表达造成影响。
(5) 结束阶段:所有任务完成后,取下传感器,对受试者进行访谈,同时填写即时情绪自评量表,用于验证情绪诱发效果,了解其实验过程中的感受,补充记录可能影响结果的异常情况。
4.4. 数据分析方法
建立合理且准确的口语表达评价标准,对每位受试者的口语表达进行打分,确保评分结果的客观性与可复现性,为后续结合皮肤电反应的生理信号进行情绪关联分析提供可靠的口语表达量化依据。
对实验数据进行预处理,例如:第一步进行降采样。当GSR信号的采样率高于100 Hz时,可以通过降采样到10 Hz左右,这样处理既不会影响到数据的重要信息,又可以降低后续的处理计算量(杨琳坤,2023)。选取合适的特征向量,并对预处理后的实验数据进行特征提取,采用如支持向量机SVM、随机森林等机器学习算法,以皮电特征为输入变量,参照所选取的数据集内数据所训练出来的模型进行对比,获取受试者在实验过程中的情绪数据。并与受试者的口语表达评价进行对比,最终构建“情绪–口语表达关联图谱”。
4.5. 数据误差产生原因
4.5.1. 数据采集误差
由于传感器设备与皮肤接触不良,如皮肤电反应电极贴合不紧密、汗液干扰等情况会导致信号波动或噪声混入,此外实验过程中设备不同步,即生理信号与口语表达录音时间戳不匹配,导致实验数据错位,也会影响“情绪–口语表达关联图谱”的数据关联性。
4.5.2. 口语表达评价误差
受口语表达评价标准影响,在不同的口语表达评价标准下会产生不同的评分,同时口语表达中部分评价标准可能难以完全量化,导致标准执行时的模糊性。此外录音设备收音差等情况,也可能会产生如背景噪声混入,干扰对表达内容的准确判断,进而影响评分准确性。
4.5.3. 受试者个人情况误差
受试者在实验前食用甜食、饮酒或吸烟等,可能通过血糖波动、神经兴奋度变化影响情绪稳定性,进而导致皮肤电反应等生理信号与正常状态时产生误差,或是酒精作用下受试者的口语表达能力可能会下降,影响口语表达评分,产生实验数据误差;此外,个体生理特征差异,如皮肤湿度、基础代谢率、体重等因素也会导致相同情绪刺激下的信号响应不一致。
5. 数据应用方向与未来展望
5.1. 制作情绪监测手环
在当前社会压力不断提高的背景下,全球范围内大约有1.5亿的青少年受到心理健康问题的影响,其中包括焦虑、抑郁和自杀等问题。青少年时期是个人发展和身份塑造的重要阶段,如果在这个阶段能受到应有的社会关注,并对有心理健康问题的青少年进行及时的干预,可更好地帮助青少年建立健全的人格和强大的心理韧性(Patel et al., 2007)。借助皮肤电反应情绪检测技术开发的情绪监测手环,能够实时追踪青少年的心理状态,对高危情绪信号进行自动记录与预警,及时通知相关心理从业者或监护人介入干预,从而有效保护青少年心理健康。同时情绪监测手环也可以应用于辅助青少年练习口语表达,当检测到焦虑、抵触等影响学习状态的情绪时进行预警,辅助青少年调整学习情绪,进而提高学习效率。
5.2. 提高心理服务的准确性
在当前社会环境下,社会对情绪测试和心理疏导等服务的需求也不断增大,而这些需求的增大也对测试的准确度和时效性提出了新的要求,随着技术的革新和皮电反应相关理论的研究完善,由于皮电反应不受个体自我认识、记忆偏差和社会期望的影响,其更能为这些服务提供具有更高准确性的测试结果,其完全可以在未来应用于心理咨询服务和情绪测试业务中,更好地辅助工作人员进行心理疏导,从而获得更好的心理疏导效果。
在此基础上,随着技术的发展和人工智能及AI的普及,皮电反应技术也可以结合微型化与柔性电子技术,利用无感贴片式传感器实现长期连续监测,或结合人机交互系统实时检测用户情绪状态,从而保证数据的时效性;此外,皮电技术还可以结合EDA与基因组学/神经影像,诊断抑郁症、自闭症等疾病,从而更好地拟定相关的治疗方案,并在治疗周期中实时监测病人的恢复情况,对治疗方案进行实时调整,达到更好的治疗效果,例如苏朝霞等(2007)的研究团队,即探索了应激干预对抑郁症患者皮电和心率的影响,运用皮电反应检测放松训练和静坐两种干预方式对抑郁症患者的治疗效果,从而选择更好的治疗方法,这即是皮电反应辅助治疗的典型事例。
6. 结语
本研究通过皮肤电反应(EDA)构建情绪–口语流利度动态图谱,揭示压力增加停顿、愉悦提升连贯的规律。为语言教学提供实时情绪干预依据,推动基于生理信号的口语训练设备开发,助力情绪智能与语言能力协同进化。
基金项目
宁波工程学院2025年大学生创新训练项目计划:西部农村生源大学生英语口语流利度与情绪的动态分析——基于面部图像及皮肤电数据;作者对崇本基金会的资助谨致谢忱。