面部模糊对不同类别情绪识别的影响
The Effect of Facial Blur on Emotion Recognition of Different Categories
DOI: 10.12677/ASS.2022.1112728, PDF, HTML, XML, 下载: 174  浏览: 287 
作者: 车 鸣:天津师范大学心理学部,天津
关键词: 基本情绪复杂情绪情绪识别面部信息Basic Emotions Complex Emotions Emotion Recognition Facial Information
摘要: 基本情绪和复杂情绪在个体一生中的发展进程有所不同,在表达和识别上可能会存在差异。在识别上述两种情绪的全身姿势时,面部信息在其中的作用依旧待探究。本研究采用语义违反的词–图范式,采用2 (情绪:基本情绪、复杂情绪) × 2 (面部:面部模糊、面部标准) × 2 (词–图一致性:一致、不一致)的被试内设计,探究在老年人中面部信息对不同类别情绪的理解的影响。结果发现:1) 老年人对基本情绪和复杂情绪的识别没有显著差异。2) 复杂情绪的表达和识别可能存在个体差异性。3) 面部信息在全身表达情绪的识别过程中起着非常重要的作用。
Abstract: Basic emotions and complex emotions have different development processes in individual life, and there may be differences in expression and recognition. The role of facial information in the recognition of full-body postures of the above two emotions is still to be explored. In this study, the word-graph paradigm with semantic violation was adopted, using 2 (emotion: basic emotion, complex emotion) × 2 (face: facial ambiguity, facial standard) × 2 (word-graph consistency: con-sistency, inconsistency) to explore the effect of facial information on the understanding of different categories of emotions in the elderly. The results showed that: 1) There was no significant difference in the recognition of basic emotions and complex emotions among the elderly. 2) There may be individual differences in the expression and recognition of complex emotions. 3) Facial information plays a very important role in the recognition process of whole-body emotion expression.
文章引用:车鸣. 面部模糊对不同类别情绪识别的影响[J]. 社会科学前沿, 2022, 11(12): 5350-5357. https://doi.org/10.12677/ASS.2022.1112728

1. 引言

“情绪”伴随在社会交往中的方方面面,个体几乎无时无刻不在经历各种情绪。关于情绪的准确性定义一直未得到广泛认可。Damasio认为,大脑的反应导致了情绪情感的身体表达,因此情绪感觉是神经活动借由身体表达的结果 [1];而Izard认为,情绪感觉是神经活动或身体感受的其中一个阶段 [2]。目前在研究中,一般将情绪定义为“伴随了生理唤醒和外部表现的主观体验”。

情绪类别取向(categorical approach)认为,每种情绪都是一个整体,不同的情绪有着不同的诱发原因、主观感受和生理唤醒,而主观感受也会反应在内在生理活动和外在行为表现上 [3],即每一类情绪都有其特定且完整的反应 [4] [5]。类别取向的代表为基本情绪理论(Basic Emotion Theory)。该理论认为,情绪由几种有限的情绪组成 [6]。现阶段在情绪识别研究中应用最广泛的为六种基本情绪:Ekman等人对不同文化下的情绪进行探究,总结归纳出六种共同的面部表情:高兴(happiness)、恐惧(fear)、惊讶(surprise)、悲伤(sadness)、愤怒(anger)、厌恶(disgust),因此称该六种情绪状态为基本情绪 [7]。

而后,Izard又提出了情绪的分化理论(Differential emotions theory, DET),认为情绪可以分为基本情绪(basic emotion)和分化情绪(discrete emotion) [2]。相比于分化情绪,基本情绪具有进化意义:基本情绪激发的感觉和行为是自动化的,对于适应生存十分重要。分化情绪是结合了认知图式,将情绪感受、知觉以及认知神经系统的监控与外显行为进行持续而动态地相互作用,这些相互作用会产生特定的体验,而这些体验具有相同的核心感觉状态,产生不同的情绪图式(例如复杂情绪“敌意”的核心感觉是“愤怒”)。基本情绪的出现远远早于婴儿获得语言或其他概念的时期,因为基本情绪在有自我意识之前就能够经历和表达 [8],拥有大脑皮层之前的婴儿时期也是如此 [9]。总结来说,基本情绪起源于进化和生物学,而其他复杂情绪中则包括不同的文化差异和个体特征等不同的认知成分 [10] [11]。

情绪包括一定的外部表现,不论在表达自己的情绪还是识别他人的情绪时最通常的外部表现即为表情:包括面部表情、身体表情和语调表情。面部表情是情绪识别中最重要的外部信息,在社交中也起着非常重要的作用。人类直立行走,一般来说在日常交往中面部是优先进入他人视野的区域,因而面部适合作为近距离情绪交流的主要途径。除此之外,个体可以通过后仰的躯干(恐惧)或紧握的拳头(愤怒)等身体动作来表达情绪。情绪和身体也有密切的关系。通过身体表情来传达情绪,可以进行有效的远距离沟通,并且通过身体来表达情绪时,能够更好地提供强度信息 [12] [13]。有研究者使用面部情绪刺激、身体情绪刺激和面部–身体情绪符合刺激进行情绪效价判断任务,结果发现,相比于面部情绪刺激,身体情绪刺激的正确率更高,表明通过身体表情能更好的判断情绪效价 [14]。

一些研究发现,在控制了流体智力 [15]、加工速度 [16] 等关键认知因素后,与青年人相比,老年人的情绪识别能力与还是出现了一定程度的下降 [17]。Isaacowitz总结发现,老年人在识别愤怒、悲伤和恐惧的面部情绪时表现更差,而在高兴、惊讶情绪时与青年相比没有明显差异,而对厌恶情绪研究结果存在不一致:部分研究老年人在厌恶情绪中识别更好、部分中表现更差,而还有些研究中没有明显差别 [18]。上述年龄差异的探究主要集中于面孔表情,现已有部分研究考察了除面部以外的其他方式识别情绪的年龄差异(例如身体动作或听觉信息) [19] [20]。肢体表情刺激中,老年人在识别愤怒、悲伤和恐惧时表现更差,高兴了厌恶的识别没有明显差异 [17]。在以移动的光点来表示身体动作作为刺激材料的实验中,老年人在识别高兴、悲伤、愤怒、恐惧上显著的准确性显著低于青年人 [19] [21]。在声音情绪识别实验中,相比于青年人,老年人在表达自豪/胜利(achievement/triumph)、快乐(amusement)、兴趣(pleasure)、解脱(relief)、愤怒、厌恶、恐惧和悲伤情绪中的准确率要显著差于青年 [20];同样,另外一项研究发现老年人更不善于从非言语的情绪声音中识别愤怒、厌恶、悲伤和恐惧,但在高兴和惊讶的声音情绪识别准确率上,不存在年龄差异 [22]。

有研究者提出,基本情绪与复杂情绪的其中一个区别为:基本情绪能够通过面部表情来传达,而复杂情绪不能通过面部来准确识别 [23]。本研究从进化意义出发,从“婴儿生而即有”或者说“儿童在拥有自我意识之前就有的情绪”将情绪划分为基本情绪与复杂情绪。而且由于在现实生活中的社会互动中,手势和面部表情等多种提供线索的方式是同时出现的,因此孤立地呈现静态面孔、声音等单一方式来进行情绪识别的研究会导致缺乏生态效度。在以往的研究中,缺少以静态图片为刺激材料,来研究基本情绪和复杂情绪的识别差异;根据进化意义,老年人可能会在更加丰富的生活经验中获益,来弥补复杂情绪识别中的困难。另外,以往研究主要采用传统的情绪标签任务,需要被试从情绪标签中选择其中一种标定图片,并且被试不受到时间限制,可能通过较长时间做出选择。有研究对传统情绪标签任务中标签的个数对任务结果的影响进行探究发现,当呈现标签数量为六个时,老年组的识别准确率要差于呈现标签数量为两个和四个,即任务标签数量也会影响老年组情绪识别的表现 [24]。

因此,本实验欲采用语义违反的词–图范式,探讨在全身表达情绪的条件下,面部模糊对不同种类情绪识别的影响。之所以选择该范式,一是避免了传统的情绪标签中由于任务难度(即标签数量)导致的实验效应,二是避免了使用言语中介作为补偿策略,而不是对图片本身表达的情绪进行理解识别。

2. 研究方法

2.1. 研究目的

探究在老年人中,面对全身表达情绪时,面部模糊对不同情绪识别的影响。

2.2. 研究假设

基于基本情绪与复杂情绪的定义,本研究做出如下假设:

1) 在老年人中,对基本情绪和复杂情绪的识别没有显著差异;

2) 面部模糊对基本情绪识别的影响要高于对复杂情绪的影响。

2.3. 研究对象

使用G*power3.1软件进行样本量计算,将效应值f设置为0.25、在0.05显著性水平达到95%的统计检验力时,每组样本量至少为24。本研究采用方便取样的方法,收集老年人被试31名,有效被试30名(其中有一名被试数据因软件问题未保存或丢失),年龄61~72岁(M = 66.67, SD = 3.19),其中,男性14名,女性16名。老年人均无认知缺陷,视力或矫正视力均正常。

2.4. 实验设计

2 (情绪:基本,复杂) × 2 (面部:标准,模糊) × 2 (词–图一致性:一致,不一致)被试内实验设计,因变量为反应时和正确率。

2.5. 刺激材料

刺激材料的筛选经过三轮评定:

1) 基本情绪:全身图片实验材料为模仿中国情绪材料情感肢体库中的情绪动作拍摄的真人全身图片;面部表情参考Ekman & Friesen (1976)的面部情绪刺激库。复杂情绪:网络搜索相应的情绪清晰全身图片。邀请20人对基本情绪与搜索得到的全身图片及面部图片进行情绪识别,保留识别率高于75%的图片,最终得到62张图片进行参考。

2) 选择男女模特各3名(共6名)参照材料进行拍摄。获得896张情绪刺激图片。对图片进行背景去除、面部处理、亮度平衡等处理后,分成面部模糊以及面部标准两组,邀请20人组成评议小组对材料进行情绪识别以及情绪强度评定,去除识别率低于75%的图片。

3) 进行实验条件平衡后,对剩余图片与情绪词汇进行随机匹配,招募15名被试对词汇–图片的一致性进行判断(0 = 不一致,1 = 有点一致,2 = 完全一致),保留75%上选择“完全一致”的刺激组,最终确定刺激图片112张,每种条件下图片各14张。使用单因素t检验对各类情绪的情绪强度分析表明,各类情绪在情绪强度上没有显著差异(p = 0.977)。在实验过程中,每张图片重复3次。图片示例见图1

(a) 基本情绪–面部模糊–愤怒 (b) 基本情绪–面部标准–愤怒(c) 复杂情绪–面部模糊–轻蔑 (d) 复杂情绪–面部标准–轻蔑

Figure 1. Diagram of stimulus picture

图1. 刺激图片示意图

2.6. 实验流程

与被试进行短暂交谈及沟通之后,引导被试坐在电脑屏幕前方。确定被试识得实验过程中会呈现的十个情绪词语后,为被试讲解实验流程,并演示实验操作。在正式实验之前,被试会进行18个练习trial,确保被试熟练实验操作后开始正式实验。正式实验共336个trial,分为4个block:两个基础情绪block、两个复杂情绪block。在每个block中,面部标准与模糊情况进行伪随机设定、一致不一致按键同样进行伪随机设定(伪随机原则为不出现连续三个以上相同情况)。四个block的顺序为:呈现两个相同的情绪block后再进行另一种情绪block。两种情绪出现先后经过平衡。每个trial由以下步骤组成:1) 呈现十字注视点700 ms;2) 呈现情绪词汇700 ms;3) 随机呈现100~200 ms空屏;4) 图片刺激呈现2000 ms或在被试做出反应后消失(判断该图片呈现的情绪与情绪词是否一致),一致按“j”键,不一致按“f”键;5) 呈现1500 ms空屏间隔后继续下一trial。具体流程如图2所示。

Figure 2. Diagram of the experiment procedure

图2. 实验程序图

3. 研究结果

3.1. 数据剔除

对数据按照以下标准进行剔除。1) 只有一边的按键反应(只按“f”键或“j键”,含1名女性被试数据);2) 平均反应时小于500 ms (被认为未认真进行判断,含1名女性数据、2名男性数据,共3名被试数据);3) 漏失率大于50% (未进行按键反应的试次,含1名男性数据、1名女性数据,共2名被试数据)。4) 反应时小于300 ms的数据。用序列平均值进行缺失值添补。

3.2. 正确率

使用SPSS Statistics 26,进行2 (情绪:基本,复杂) × 2 (面部:标准,模糊) × 2 (词–图一致性:一致,不一致)的重复测量方差分析。以正确率为因变量,情绪、面部、词–图一致性作为自变量进行重复测量方差分析。结果发现,面部主效应显著(F(1, 23) = 5.827, p = 0.024, η2 = 0.202),面部标准条件下正确率显著高于面部模糊条件。

情绪与一致性交互作用显著(F(1, 23) = 12.899, p = 0.002, η2 = 0.359),简单效应分析发现,在词–图一致时,基本情绪与复杂情绪的正确率不显著,但词-图不一致时,基本情绪的正确率要显著高于复杂情绪(p = 0.012)。面部与一致性交互作用显著(F(1, 23) = 11.489, p = 0.003, η2 = 0.333),具体来说,面部标准时,词–图一致的正确率要显著高于词–图不一致时的正确率(p = 0.038),但面部模糊情况下,词–图间一致性的正确率没有显著差异(p > 0.05)。如图3所示。

3.3. 反应时

以反应时为因变量,情绪、面部、词–图一致性作为自变量进行重复测量方差分析。结果发现,面部主效应显著(F(1, 23) = 11.84, p = 0.002, η2 = 0.34),面部模糊时的反应时要显著长于面部标准时的反应时;一致性主效应显著(F(1, 23) = 35.998, p < 0.001, η2 = 0.61),词–图不一致时的反应时要显著长于词–图一致时的反应时,结果如图4所示。

(a) 情绪与词–图一致性交互作用 (b) 面部与词–图一致性交互作用

Figure 3. Diagram of accuracy results

图3. 正确率结果图

Figure 4. Diagram of reaction time

图4. 反应时结果图

Table 1. System resulting data of reaction time

表1. 反应时结果数据

情绪、面部和一致性三重交互作用显著(F(1, 23) = 6.196, p = 0.02, η2 = 0.212)。简单简单效应分析,在复杂情绪当中,面部与词–图一致性存在交互作用(F(1, 23) = 7.735, p = 0.011, η2 = 0.252);而在基本情绪当中,面部与词–图一致性不存在交互作用(p > 0.05)。在复杂情绪中,当词–图一致时,面部模糊的反应时显著长于面部标准(p < 0.001),当词–图不一致时,面部模糊与面部标准的反应时不存在显著差异(p > 0.05)。具体数据见表1

4. 讨论

老年人在识别基本情绪和复杂情绪上的表现并无显著差异,这与研究假设相符:即使基本情绪在婴儿时期就可以表达并识别,复杂情绪在童年期的表达及识别还不完善 [25],但在老年人中两种不同类别情绪的识别并无不同,这可能说明个体在社会交往中,复杂情绪的图式也在慢慢丰富并趋于成熟,因而在老年期时的识别表现与基本情绪并无二致。

当词–图不一致时,基本情绪的正确率要高于复杂情绪;说明与基本情绪图片相比,表达复杂情绪的全身姿势与词汇引起违反的程度要更小。这可能是因为,个体在用全身姿势表达复杂情绪时可能会有所差异,导致个体在识别他人的复杂情绪时较为困难;即与基本情绪表达的程序化不同,复杂情绪的表达与识别可能具有个体性和差异性。同样,仅在复杂情绪中出现了面部模糊导致词–图一致时反应变慢,除了说明面部在识别情绪中的重要性外,也说明了复杂情绪发展过程中出现的表达和识别的差异性。

面部模糊时,出现了识别能力更差的情况,说明在全身表达情绪时,面部传达的信息仍十分重要,并且正确率的下降也说明了面部在识别情绪时能够传达更为明确的信息。但与研究假设不同的是,面部模糊没有对基本情绪造成更大的影响,可能是因为老年在更加丰富的经验作用帮助下,面部信息对基本情绪和复杂情绪的识别同样重要。面部的模糊使全身肢体语言表达出的情绪较为模糊,不论是在基本情绪还是复杂情绪中。面部标准,词–图一致更高,更加说明面部的存在能够使信息更加完整、清晰。

5. 结论

老年人在识别基本情绪和复杂情绪时没有显著差异。但在传达某一更加精准的情绪类别时,复杂情绪的表达和识别可能存在个体差异性。在对全身表达情绪进行识别时,面部信息缺失会导致信息传达更模糊,面部传达的信息同样有着重要的作用。

参考文献

[1] Antonio, D. (1999) The Feeling of What Happens: Body and Emotion in the Making of Consciousness. Harcourt Brace, New York.
[2] Izard, C.E. (2009) Emotion Theory and Research: Highlights, Unanswered Questions, and Emerging Issues. Annual Review of Psychology, 60, 1-25.
https://doi.org/10.1146/annurev.psych.60.110707.163539
[3] 颜文靖, 蒋柯, 傅小兰. 心理学视角下的自动表情识别[J]. 智能系统学报, 2022, 17(5): 1039-1053.
[4] Ekman, P. and Cordaro, D. (2011) What Is Meant by Calling Emotions Basic. Emotion Review, 3, 364-370.
https://doi.org/10.1177/1754073911410740
[5] Crivelli, C. and Fridlund, A.J. (2019) Inside-Out: From Basic Emotions Theory to the Behavioral Ecology View. Journal of Nonverbal Behavior, 43, 161-194.
https://doi.org/10.1007/s10919-019-00294-2
[6] Gu, S., Wang, F., Cao, C., Wu, E., Tang, Y.Y. and Huang, J.H. (2019) An Integrative Way for Studying Neural Basis of Basic Emotions With fMRI. Frontiers in Neuroscience, 13, Article 628.
https://doi.org/10.3389/fnins.2019.00628
[7] Ekman, P. and Friesen, W.V. (1971) Constants across Cultures in the Face and Emotion. Journal of Personality and Social Psychology, 17, 124-129.
https://doi.org/10.1037/h0030377
[8] Izard, C.E., Castle, J.M., Haynes, O.M., Rayias, M.F. and Putnam, P.H. (1995) The Ontogeny and Significance of Infants’ Facial Expressions in the First 9 Months of Life. Developmental Psychology, 31, 997-1013.
https://doi.org/10.1037/0012-1649.31.6.997
[9] Merker, B. (2007) Consciousness without a Cerebral Cortex: A Challenge for Neuroscience and Medicine. Behavioral and Brain Sciences, 30, 63-81.
https://doi.org/10.1017/S0140525X07000891
[10] Izard, C.E. (2007) Basic Emotions, Natural Kinds, Emotion Schemas, and a New Paradigm. Perspectives on Psychological Science, 2, 260-280.
https://doi.org/10.1111/j.1745-6916.2007.00044.x
[11] Panksepp, J. (2007) Neurologizing the Psychology of Affects: How Appraisal-Based Constructivism and Basic Emotion Theory Can Coexist. Perspectives on Psychological Science, 2, 281-296.
https://doi.org/10.1111/j.1745-6916.2007.00045.x
[12] Ekman, P. and Friesen, W.V. (1974) Detecting Deception from the Body or Face. Journal of Personality & Social Psychology, 29, 288-298.
https://doi.org/10.1037/h0036006
[13] de Gelder, B. (2009) Why Bodies? Twelve Reasons for Including Bodily Expressions in Affective Neuroscience. Philosophical Transactions of the Royal Society B: Biological Sciences, 364, 3475-3484.
https://doi.org/10.1098/rstb.2009.0190
[14] Aviezer, H., Trope, Y. and Todorov, A. (2012) Body Cues, Not Facial Expressions, Discriminate between Intense Positive and Negative Emotions. Science, 338, 1225-1229.
https://doi.org/10.1126/science.1224313
[15] Keightley, M.L., Winocur, G., Burianova, H., Hongwanishkul, D. and Grady, C.L. (2006) Age Effects on Social Cognition: Faces Tell a Different Story. Psychology and Aging, 21, 558-572.
https://doi.org/10.1037/0882-7974.21.3.558
[16] Orgeta, V. and Phillips, L.H. (2008) Effects of Age and Emotional Intensity on the Recognition of Facial Emotion. Experimental Aging Research, 34, 63-79.
https://doi.org/10.1080/03610730701762047
[17] Ruffman, T., Henry, J.D., Livingstone, V. and Phillips, L.H. (2008) A Meta-Analytic Review of Emotion Recognition and Aging: Implications for Neuropsychological Models of Aging. Neuroscience & Biobehavioral Reviews, 32, 863-881.
https://doi.org/10.1016/j.neubiorev.2008.01.001
[18] Isaacowitz, D.M., Lockenhoff, C.E., Lance, R.D., Wright, R., Sechrest, L., Riedel, R. and Costa, P.T. (2007) Age Differences in Recognition of Emotion in Lexical Stimuli and Facial Expressions. Psychology and Aging, 22, 147-159.
https://doi.org/10.1037/0882-7974.22.1.147
[19] Insch, P.M., Bull, R., Phillips, L.H., Allen, R. and Slessor, G. (2012) Adult Aging, Processing Style, and the Perception of Biological Motion. Experimental Aging Research, 38, 169-185.
https://doi.org/10.1080/0361073X.2012.660030
[20] Lima, C.F., Alves, T., Scott, S.K. and Castro, S.L. (2014) In the Ear of the Beholder: How Age Shapes Emotion Processing in Nonverbal Vocalizations. Emotion, 14, 145-160.
https://doi.org/10.1037/a0034287
[21] Spencer, J.M., Sekuler, A.B., Bennett, P.J., Giese, M.A. and Pilz, K.S. (2016) Effects of Aging on Identifying Emotions Conveyed by Point-Light Walkers. Psychology and Aging, 31, 126-138.
https://doi.org/10.1037/a0040009
[22] Hunter, E.M., Phillips, L.H. and MacPherson, S.E. (2010) Effects of Age on Cross-Modal Emotion Perception. Psychology and Aging, 25, 779-787.
https://doi.org/10.1037/a0020528
[23] Gazzaniga (2011) Cognitive Neuroscience: The Biology of the Mind. 3rd Edition, W. W. Norton & Company, New York.
[24] Orgeta, V. (2010) Effects of Age and Task Difficulty on Recognition of Facial Affect. Journals of Gerontology Series B: Psychological Sciences and Social Sciences, 65, 323-327.
https://doi.org/10.1093/geronb/gbq007
[25] Fridenson-Hayo, S., Berggren, S., Lassalle, A., Tal, S., Pigat, D., Bölte, S., Baron-Cohen, S. and Golan, O. (2016) Basic and Complex Emotion Recognition in Children with Autism: Cross-Cultural Findings. Molecular Autism, 7, Article No. 52.
https://doi.org/10.1186/s13229-016-0113-9