面孔表情识别的机制及其影响因素

The Mechanism and Influencing Factors of Facial Expression Recognition

摘要: 面孔表情识别，即对个体的表情进行判断，是一项重要的社会功能。社会类别通过评价联结路径和刻板印象路径作用于面孔表情识别。面孔表情识别的影响因素主要分为情境因素和个体因素。情境因素有语言信息、自然场景、身体动作、颜色和温度；个体因素中最重要的就是性别因素，除此之外还有个人特质、经济地位以及特殊病症。未来研究要继续深入探讨面孔表情识别的影响机制，还要优化表情库、丰富实验范式，广纳实验技术。

Abstract: Facial expression recognition, which is to judge the expression of an individual, is an important social function. Social category is applied to facial expression recognition through evaluation connection path and stereotype path. The influencing factors of facial expression recognition are mainly divided into situational factors and individual factors. Situational factors include language information, natural scenes, body movements, color and temperature; the most important individual factor is gender, in addition to personal characteristics, economic status and special diseases. The future research should continue to explore the influence mechanism of facial expression recognition, optimize the expression database, enrich the experimental paradigm, and broaden the experimental technology.

1. 引言

面孔是一种自然、多维且复杂程度高的特殊视觉刺激(秦速励，沈政，2001)。面孔识别就是对面孔的基本信息，诸如情绪、性别、年龄、肤色等进行加工判断的过程(李柯薇，2016)。正因为面孔中囊括了许多信息，在印象形成时，面孔及其他信息往往会成为对此人进行预判的依据，产生晕轮或者扫把星效应。在信任建立、身份识别、攻击行为及助人行为上，面孔信息也会产生影响。尤其在人际沟通与交往中，高达55%的信息是靠非言语表情传递的，诸如面部表情、手势、姿态等，相反仅有7%的信息通过言语传递。Bodamer首次提出面孔失认症这一概念，并指出患有该症状的个体无法识别他人甚至是自己的面孔，严重影响了社会生活(Bodamer, 1947)。综上，面孔识别是一项重要的社会功能，对个体的社会化有着举足轻重的作用。

目前面孔识别的研究领域仍然在不断发展中，而其中对面孔表情的研究是众多学者较为感兴趣的领域之一。面孔表情识别是社会互动中一种适应性的、非语言的交际工具，用以表达潜在的情绪状态和意图(Elfenbein & Ambady, 2002)，其测量方式往往通过个体对不同面孔图片进行判断表情判断，并记录下反应时和反应正确率(王玲，2018)。Tomkins认为存在八种原始情绪，分别是兴趣、欢乐、惊奇、痛苦、恐惧、羞耻、轻蔑、愤怒，并假定每种情绪都是由某种先天的皮层下神经控制的(Tomkins, 1970; 彭聃龄，2019)。而吉特等人发现不同情绪的辨别难度是不同的，最容易判断的是快乐、痛苦，较难判断的是恐惧和悲哀；最难判断的是怀疑、怜悯(彭聃龄，2019)。面孔表情识别以其独特性和高应用价值性深受研究者们关注，由此，本文对以往关于面孔表情识别的研究进行了整理，并论述了面孔表情识别的机制和影响因素。

2. 面孔表情识别的机制

2.1. 影响路径

越来越多的学者认为面孔及其情绪识别是源于社会类别(张艳红，佐斌，刘莉，2014)。而目前关于社会类别是如何影响面孔表情识别，即面孔表情识别过程中的路径依然没有得到统一的解释。部分研究者认为表情识别主要受评价联结路径的影响，也有一些研究结果支持刻板印象路径，甚至还有学者将两路径整合后共同解释实验现象。评价联结观点认为社会类别主要通过面孔效价的评价来起作用，个体对评价一致性的情绪识别起促进作用，而对评价不一致性的情绪识别起抑制作用。而刻板印象是指由于社会分类对某一群体产生固有偏见，偏见与具体的情绪相对应而不区分效价。张艳红等人(2014)采用经典的比较任务实验范式探讨了这两种作用机制，结果证明表情识别主要受到评价联结路径的影响，但当表情效价相同的时候，刻板印象路径也会影响表情的识别。

2.2. 生理机制

随着面孔表情识别领域被持续开拓，多种多样的实验技术也逐渐引入相关研究中。在ERP研究中，正性情绪波的显著差异表现在三处，分别是在100~200 ms的分布由左侧逐渐过渡到右侧、260~280 ms分布于两侧和360~380 ms的分布于前部；负性情绪波的显著差异表现在两处，分别是在360~380 ms的分布在右侧、500~520 ms分布于左侧且向后扩步(陆雪松等，2006)，相较于愉快的正性情绪面孔，P300的波幅在愤怒、悲伤的负性情绪面孔下更大(Maeda, 2001)。除此之外，面孔表情的加工存在性别差异，女性N210左半球加工速度慢于右半球(陆雪松等，2006)。在fMRI研究中，正常人识别不同效价表情时，各脑区在功能上是协同发挥作用的。研究发现，前额叶、杏仁核、扣带回及基底节等是面孔识别中的重要结构(周全，杨侃荣，高鹏，李洁，杨大艳，2011)。在眼动研究中，正常人对不同效价面部表情的识别过程存在共性，其眼动轨迹呈“逆V型”(隋雪，任延涛，2007)。

2.3. 未来展望

通过以上阐述可知，众多研究者在探讨社会类别对面孔识别的影响时，多采用比较任务实验范式和静态表情图片，且争端主要集中在评价联结路径和刻板印象路径上。因此未来除了丰富实验范式外，还应多集中在评价过程和认知过程的区分，在影响路径中增加对时间因素的探讨。在有关ERP的研究中，已得男女被试进行面孔识别时的神经加工有差异，故在以后的研究中应注意考虑被试性别对结果的影响。脑功能磁共振成像的研究显示不同的表情可能有着相同的生理基础，但也存在自身独特特点。未来可以加深对不同表情独特整合特点的研究。

3. 面孔表情的影响因素

3.1. 性别

性别是知觉者首先感知到的典型特征，同时根据认知经济原则，人们在社会认知中通常会直接调取与性别刻板印象相关的信息来辅助判断，由此，性别有极大的可能影响着个体的面孔表情识别。据此，国内外学者开始着眼于这一新兴领域——情绪性别刻板印象。情绪性别刻板印象是指人们对男性和女性这两类特定社会群体在体验和表现具体情绪程度上所持有的固有观念或者既定的认知模式(张艳红，佐斌，2011b)，也就是说，人们对不同性别的面孔表情的加工存在差异。

从总体水平上看，人们通常认为女性的情绪波动更强烈，情绪体验更多变(张艳红，佐斌，2011a)，但却有研究显示男性与女性在总体的情绪体验及其相关行为的频率上并无显著差异(Simon & Nath, 2004)。在对情绪性别刻板印象的归因解释方面，有研究发现人们对女性的情绪表达会做出更多性格归因，而对男性则做出更多的环境归因(张艳红，佐斌，2011a)。从具体情绪上看，Algoe和Buswell认为愤怒表情的标志(如眉毛下垂)与知觉男性的标志重叠；恐惧(眉毛)和快乐(圆圆的笑脸、大眼睛的婴儿脸)的知觉标志与知觉女性的标志重叠。尤其当面孔混杂恐惧和快乐这两种表情时，被试更容易将雌雄莫辨的面孔知觉为女性。并且他们还发现相较于高兴和恐惧表情，当女性面孔呈愤怒表情时，性别判断显著变慢；但高兴、恐惧表情与愤怒表情下被试对男性面孔的性别识别似乎并无差异(Algoe & Buswell, 2000)。张娟等人(2015)发现大学生性别情绪刻板印象不论在内隐还是外显皆存在，将男性姓名更多与愤怒词汇相关联，而将女性姓名更多与高兴词汇相关联(张娟，程刚，王智，张大均，2015)。相较于男性，女性持有更强烈的偏见(张娟等，2015；张丽娜，2018)。张丽娜(2018)采用阈下情感启动范式，分别用“开心”、“生气”和“中性”三种表情做启动材料，要求对接下来出现的中性表情进行“开心”或“不开心”的判断。结果显示，相较于男性，人们更易对女性的表情做出开心的判断，即使是在无表情的中性表情下女性也更易被知觉为开心状态。遗憾的是，受制于阈下情感启动范式原理，被试只能做“开心”与“不开心”的回答，而无法探究愤怒表情下的刻板印象。除此之外，该实验仍有一定的缺陷，比如用面孔作为目标刺激可能会使被试进行有意义的加工，进而对无意识判断产生一定的影响。当前研究对大众持有“男性更容易发怒”这一刻板印象具有一致性，而与女性情绪刻板印象相关的研究主要分为两个方向，其一为女性更易表现出高兴表情，其二为女性更易表现出悲伤表情。Plant等人(2004)以愤怒与悲伤的混合情绪面孔为目标刺激，用不同的发饰和着装区分男女性别，然后要求被试分别对面孔的愤怒与悲伤进行评级。结果发现人们通常将具有女性特征的混合面孔知觉成悲伤，而将具有男性特征的混合面孔知觉成愤怒。有趣的是，他们第二个相似实验的结果却显示，不论在悲伤、还是愤怒评级中，女性皆被评为较高分值，甚至被知觉到与男性相当的愤怒。但这样的结果似乎也能用“女性多为情绪化的”这一刻板印象来解释。冉光娅(2017)发现即便在多样的、更具包容性的当代社会，同性恋材料启动组的被试仍然表现出明显的情绪性别刻板印象——女性容易悲伤，男性容易愤怒。

对于这些种种现象，部分学者们从男、女两性的社会地位及其所扮演的社会角色来诠释这种差异。男性因占据较高的社会地位而具有更多的权利，包括自由表达愤怒的特权，而女性往往处于较低的社会地位且扮演着“nurturing”角色，所以她们需要尽可能避免负面情绪，同时被要求具有亲和力、充满爱与希望等积极情绪(Hess, Thibault, Adams, & Kleck, 2010)。那么面孔表情识别的差异究竟是由不同社会地位与角色造成的，还是不同性别面孔本身携带的信息呢？Plant及其同事通过不同职业操纵社会角色，将男性、女性分别与男性气质职业、女性气质职业相匹配，结果发现职业类型不会影响被试的面孔表情识别，而性别仍有较高的主效应(Plant, Kling, & Smith, 2004)。Hess等人(2010)认为以往的研究并未考虑到社会地位及角色与性别间复杂的关系，同时他认为面孔表情的识别可能与性别本身并无关系，而是与不同性别面孔中携带的信息有关。他们设置了一个全新的星球，在社会角色的操纵上，保证星球中具有男性、女性和照顾者(第三性生物)，且男性与女性的社会地位平等，由第三性生物充当抚育后代的照顾者角色；在面孔特征上，分别对男性和女性设置了高、中、低三种程度的优势度面孔。实验要求被试对各面孔进行愤怒、蔑视、厌恶、恐惧、悲伤、快乐和惊讶的评级。结果显示，面孔优势度这一特征信息和社会角色独立影响面孔表情知觉，而这种知觉与性别无关。

除了不同性别面孔的表情知觉外，面孔表情知觉的性别效应也是众多研究者涉猎的领域。面孔表情加工的性别差异在较早时期便已产生，有研究表明，3岁的女童在情绪识别上就已优于同龄男童(陆雪松等，2006)，而在儿童社会认知发展的动态过程中，不同性别的儿童对情绪面孔的加工能力的发展也颇为有趣。Mancini等人(2013)在对8到11岁儿童情绪面孔识别的横断研究中发现，各年龄段男、女童在快乐和愤怒表情并无显著差异，而在悲伤和厌恶表情中却存在年龄和性别间的显著交互作用。具体来说，在8岁左右时，女童比男童更能识别悲伤和厌恶的面部表情，然而，随着年龄的增长，虽然男女儿童对悲伤情绪的识别正确率皆在上升，但男童却表现出微小优势，而在厌恶情绪中，在男童识别正确率持续上升的同时女童的正确率却呈下降的态势。尽管如此，成年后，男性对厌恶情绪识别却并不优于女性，反而女性对于快乐表情的识别优势强烈的凸现出来。而从整体上来看，女性对细微表情的觉察较男性更敏锐，女性往往在中、低强度情绪图片中即可正确识别出具体表情(Hoffmann, Kessler, Eppel, Rukavina, & Traue, 2010)，刘成伟等人(2014)的研究证实表情区分度能够调节面孔识别的性别差异。Boloorizadeh和Tojari (2013)考虑到社会互动的真实情境，认为仅研究静态表情难以达到较好的生态效度，于是以从中性表情渐变为100%强度表情的动态图片为刺激材料，同时控制表情变化的时间长度。结果显示，仅当变化时间为250 ms时，性别对动态表情识别的影响呈显著。

3.2. 情境

除了面孔本身的特征会影响面孔表情识别外，不少研究还证实了情境背景也是一大重要影响因素(王蕊，毛伟宾，朱永泽，2015)，主要分为外显情绪一致性类和具身认知视角的内隐情绪一致性类。

从外显情境情绪一致性看，首先，情绪性语言信息会使被试首先进行至上而下的认知加工，进而影响知觉判断。有探讨不同步的词汇背景对面孔情绪识别影响的研究表明，面孔情绪的识别受到了不同步的语言背景的影响，不同SOA条件下的影响机制是不同的，具体而言当SOA为100 ms时，表现为词汇背景与面孔情绪一致对面孔识别的促进作用，而当SOA为0 ms、−100 ms时，表现为词汇背景与面孔情绪不一致对面孔识别的印制作用(刘宏艳，胡治国，2012)。但金爽在其研究中却有有趣的发现，不论在积极词汇还是消极词汇背景下，被试在识别速度和正确率皆表现出正性情绪面孔优于负性情绪面孔(金爽，2017)。语言中的语义饱和对面孔情绪识别也有影响，李柯薇的研究发现，相较于中性语义饱和，积极和消极语义饱和的单字分别对高兴和悲伤面孔识别起抑制作用(李柯薇，2016)。其次，自然场景与面孔的情绪一致性同样对面孔表情识别也有影响。李婉悦等人考察了场景对不同效价和不同表情强度的面孔表情识别的影响，发现场景的效价对低强度表情的识别影响显著，同时他们还发现了特质性焦虑在场景对面孔表情识别影响中的调节作用，具体而言，相较于高特质性焦虑者，低特质性焦虑者在情绪识别中较多受到场景信息的影响(李婉悦等，2019)。白鹭等人考虑到语言文字的影响，采用情绪性语言标签减少其对面孔识别的促进作用。尽管控制了语言信息的影响，结果仍然显示不论是反应时还是正确率，场景与面孔情绪的一致性能够显著的影响面孔表情识别，而与面孔本身的情绪无关(白鹭，毛伟宾，王蕊，张文海，2017)。最后，白鹭等人的研究发现当自然场景、身体动作这两种情境类型与面孔表情的情绪产生冲突时，虽然自然场景对面孔表情识别起主要影响，但身体动作冲突的增加依然会影响表情识别的正确率(白鹭等，2017)。

从具身认知视角的内隐情绪一致性看，不同颜色会产生不同的心理效应，尤其冷暖颜色对情绪感知的影响。顾子贝等人的研究发现颜色背景的影响显著，被试将暖色调背景下的中性面孔的愉快程度判断显著高于冷色调背景下的中性面孔(顾子贝，杨昭宁，代亚男，谭旭运，王晓明，2016)。同时，温度也会影响个体对中性面孔的知觉，赵月等人采用情境实验法，探讨饮品的感知水平对表情识别的影响，实验发现相较于温度为凉的条件下，被试在温度为温的条件下更容易将中性表情知觉为愉快的(赵月，赵银，顾子贝，王晓明，2015)。有学者用冷暖词汇作为背景同样发现了温度词汇对面孔识别的影响，相较于寒冷词汇，温暖词汇条件下被试对积极、消极及中性表情面孔的识别速度更快(金爽，2017)。

3.3. 个体因素

就个体影响因素而言，除性别以外，仍有许多影响因素。从个人特质上看，羞怯会影响面孔表情识别。胡鹏和徐晓波发现，不同羞怯水平的个体在进行表情识别具有差异性，高羞怯组的识别反应时显著低于低羞怯组，同时他们的实验还验证了表情强度的影响，被试对低强度表情知觉速度显著快于中、高强度表情(胡鹏，徐晓波，2014)。社会性发展的程度也会影响面孔表情识别。有研究者探究了社会性发展延缓大学生面孔表情识别的特点，结果发现：其一，延缓组被试识别正性表情的正确率高于负性表情，而正常组被试在正负效价表情上并无显著差异；其二，相较于正常组，延缓组被试对正、负性表情识别的正确率皆更低(刘建榕，向松柏，林宛儒，王巧芸，吴雨薇，2018)。从经济地位上看，相较于高家庭社会经济地位组，低家庭社会经济地位组在面孔识别能力处于劣势(朱皕等，2013)。从某些特殊病症上看，患有自闭症谱系障碍的个体对面孔情绪识别有困难(孙岩，郝盈雪，薄思雨，崔丽，2017)。同时，患有双相情感障碍的患者对面孔识别也存有障碍(黄杏，2019)。

3.4. 未来展望

在性别影响面孔表情识别的研究中，情绪性别刻板印象领域正在兴起，所以该领域仍存有大量空白。首先，当前对内隐性别情绪刻板印的探讨主要通过IAT范式呈现文字材料。故未来可以多采用AMP范式对内隐面孔表情知觉进行探讨，此举不仅拓宽了新兴范式AMP的应用广度，而且更加深入研究了个体的内隐态度。再者，在性别情绪刻板印象中，有部分研究表示无被试性别效应，这很可能是忽略了性别图式对性别刻板印象的影响。生理性别仅仅是一种直观的表象，而个体按照性别维度去组织他们的自我概念才是影响性别情绪刻板印象的关键。因此未来应着重揭示更为深层面的影响因素。最后，经典AMP范式中评价阶段仅仅分为“令人愉快”和“令人不快”两个等级，稍显粗略，因此以后可将评级数量增加。

在情境影响面孔表情识别的研究中，首先，时间条件是重要的因素，因此后续可以继续对临界时间进行研究。然后，材料表情种类不够丰富，且多集中在静态面孔，但从生态效度上看，实际生活中我们往往需要对变化的表情进行知觉和判断，所以建议增加对动态表情面孔加工的研究、加快对国内动态情绪面孔库的建设。

在个体因素影响面孔表情识别的研究中，诸如对社会性发展延缓、自闭症谱系障碍、双相情感障碍等特殊群体的研究，不能仅仅停留在理论研究层面上，而更应该关注于有效的干预措施上，只有这样才能使理论服务于实践，给这些特殊群体提供更好的帮助。

4. 总结

面部表情是表达和理解情绪的重要信息来源，因此正确识别面孔表情显得尤为重要。但目前对面孔表情的影响途径和生理基础的探讨仍然不多：在影响途径上，评价联结途径和刻板印象途径是可以单独解释，还是需要整合，这需要更多的实验证据支持。在神经生理机制上，实验技术诸如事件相关电位技术、功能磁共振成像、眼动仪等皆有应用于该领域，同样也得到了研究成果，但仍不够广泛。

面孔表情识别的影响因素主要分为情境因素和个体因素。情境因素中包含外显影响因素，诸如语言信息、自然场景和身体动作，以及隐喻的影响因素，诸如颜色和温度。研究发现，SOA和特质性焦虑往往作为调节变量，自变量语言信息、自然场景、身体动作的情绪一致性对面孔表情识别起作用。同样颜色和温度也是通过引发的情绪体验影响面孔表情识别的。个体因素中最重要的就是性别因素，除此之外还有个人特质、经济地位以及特殊病症。性别对面孔表情的影响中，人们所持有的性别面孔情绪刻板印象有：女性相较于男性的表情更丰富；男性更易发怒，而女性更易悲伤和高兴。究其原因或许在于男、女两性的社会地位或者面孔优势度。面孔表情识别的被试性别效应在年幼时便有所体现，年长后对具体表情识别的差异逐渐消退(在特殊条件下仍会显示出来)，差异主要表现在识别表情的灵敏度方面。

关于研究展望，除了以上对于各方向的具体建议外，笔者认为，其一，用于研究面孔表情识别的范式比较有限，多为直接要求被试判断不同性质面孔的表情或者是与注意相关的研究范式。因此未来可以发展更多样的研究范式。其二，在指标评价方面，实验技术诸如事件相关电位技术、功能磁共振成像、眼动仪等的应用不够广泛，未来还需将前沿实验技术引入面孔表情识别的领域中，加强对其机制的探讨。

致谢

感谢湖北大学心理学系各任课老师的指导和批评指正。