不同情绪面孔的视觉工作记忆表现差异

The Performance Difference of Visual Working Memory between Various Emotional Faces

摘要: 社会情感刺激中，情绪面孔占据重要位置，情绪面孔特指带着某种面部表情的人脸。视觉工作记忆是一个有限的工作空间，可以暂时在线保存信息，并在表征维持期内随时可以被高级认知功能访问和操作。大量行为及与电生理结合的研究表明不同情绪面孔的视觉工作记忆表现存在一定差异。具体而言，愤怒面孔可以增强视觉工作记忆，恐惧面孔可能会对视觉工作记忆造成一定损害，悲伤面孔会减弱视觉工作记忆中的人脸识别编码等；而快乐情绪面孔的视觉工作记忆与其他情绪面孔相比差异主要体现在选择注意上，且与愤怒面孔相比时间上略微延迟。本文通过对前人以不同情绪面孔作为刺激物产生的视觉工作记忆表现差异的相关研究进行整理，并试图总结其产生差异的可能原因。

Abstract: Among social-emotional stimuli, emotional faces occupy an important position, which specifically refer to human faces with certain facial expressions. The visual working memory is a limited workspace where information can be saved online and can be accessed and operated by advanced cognitive function during the maintenance period. A large number of behavioral and electrophysiological studies have shown that there are differences in visual working memory performance of different emotional faces. Specifically, angry faces can enhance the visual working memory performance; fearful faces may cause some damage to visual working memory; sad faces will impair face recognition encoding in visual working memory. However, the visual working memory of happy emotional faces is mainly reflected in the choice of attention compared with other emotional faces, and the time is slightly delayed compared with that of angry faces. This paper sorts out the relevant research on the differences in visual working memory performance produced by different emotional faces as stimuli, and tries to summarize the possible reasons for these differences.

1. 引言

识别他人情绪状态是人类感知最重要的能力之一。情绪是一系列主观体验的统称，它是多种复杂感觉、思维和行为表现综合产生的生理与心理状态(王福顺等，2018)。基本情绪理论(Ekman et al., 1969)认为存在六种基本情绪——快乐、厌恶、恐惧、愤怒、悲伤、惊讶。消极情绪主要指愤怒、悲伤、恐惧等，积极情绪主要指快乐、满意、自豪等。情绪面孔是指带着消极或者积极面部表情的人脸，由于感知到的情绪状态调节着行动的进行，它们是社会行为的一个重要因素，也是整个人类认知——从决策、问题解决到智力——的一个重要因素(Švegar et al., 2013)。与人来往是我们的日常生活的重要组成部分，人类的面孔便成为我们日常见到的最频繁的刺激物之一，面孔揭示了大量的社会信号，它也是传递情绪信息的最主要的媒介(Knapp, 1972; Noller, 1985)。

有关情绪面孔影响认知系统的研究始于注意领域，利用视觉搜索范式(Visual Search Paradigm)，前人研究发现在若干不同情绪效价的面孔(测试阵列)当中搜索目标物时，注意对不同情绪效价的面孔的捕获难度有所差别(Hansen & Hansen, 1988; Öhmanet al., 2001; Gotlib et al., 2004; Fox & Damjanovic, 2006; Frischen et al., 2008; Pinkham et al., 2010; Becker et al., 2011; Feldmann-Wüstefeld et al., 2011)。Hansen等人的实验(1988)表明愤怒情绪面孔更容易被搜索到，并将其称为愤怒优先效应(Anger Superiority Effect)；Fox和Damjanovic (2006)则报告了注意对恐惧面孔的优先偏好；但也有研究呈现相反的结果，即无论是单目标还是多目标任务，快乐面孔而非愤怒面孔都能够被更有效地探测(Becker et al., 2011)。此外，在特殊群体研究中，抑郁症患者执行点探测任务时存在悲伤情绪的偏向，表现出对悲伤而不是愤怒或快乐的面孔的选择性注意(Gotlib et al., 2004)。

受到上述注意实验的启发，越来越多的研究开始关注情绪面孔作为刺激物如何在目前研究最广泛的认知系统之一的工作记忆(Working Memory)中起作用。工作记忆是介于低级与高级过程之间的中枢系统(Baddeley, 2012)，也正是它在人类认知结构中的这种作用使其成为社会情感认知研究的关键部分(Gambarota & Sessa, 2019)。其中，视觉工作记忆是一个容量和储存时长有限的工作空间，其中的线上信息可以被加工、提取并应用于高级认知功能(Cowan, 2001; Luck & Vogel, 2013)。一般认为，视觉工作记忆的容量大约为3~4个组块(Luck & Vogel, 1997)，而有研究表明人脸的视觉工作记忆容量大约为2张面孔(Jackson & Raymond, 2004)。鉴于视觉工作记忆容量是由信息负荷和物体数量共同决定(Alvarez & Cavanagh, 2004)，所以可能是人脸的信息负荷更大从而导致它的记忆数量减少。愤怒情绪面孔的研究发现，与快乐和中性面孔相比，个体记忆愤怒情绪面孔时在记忆容量和质量方面具有优势(Wilken & Ma, 2004)。研究还表明消极情绪面孔更容易引起视觉注意，且更容易存储在人类视觉工作记忆中(Gambarota & Sessa, 2019)。例如，Jackson等人(2009)研究发现愤怒的情绪面孔能够增强视觉工作记忆表现，后续研究认为这是因为愤怒表情强化了视觉工作记忆中面孔表征的编码和维持(Jackson et al., 2014)；视觉工作记忆对具有潜在威胁的面孔特别难以过滤(Ye et al., 2018)；悲伤情绪导致抑郁患者视觉工作记忆中的面部身份识别编码增强(Zhou et al., 2021)；与此同时研究发现恐惧情绪面孔损害视觉工作记忆(Curby et al., 2019)。而关于积极情绪面孔的研究中，前人发现快乐面孔刺激具有优势效应(Švegar et al., 2013)，许茜如等人(2019)一文中表明刺激材料选择、实验程序设定以及加工进程这三个方面的差异可能是造成快乐和愤怒优势效应冲突的主要原因。

综上所述，探索不同情绪面孔的视觉工作记忆表现差异至关重要。本文将梳理汇总以情绪面孔作为刺激物的行为及与电生理手段结合的研究，来回顾总结不同情绪面孔的视觉工作记忆表现差异及其产生差异的可能原因。

2. 情绪面孔的视觉工作记忆常用测量方法

关于情绪面孔的研究中以单一的行为实验范式为主，其中比较常用的有变化觉察范式(Change Detection Task) (Luck & Vogel, 1997)。变化觉察范式就是首先给被试呈现记忆阵列，一段空白时间间隔后，呈现测试阵列。被试需要判断记忆阵列与测试阵列之间是否发生改变，并按照要求做出按键反应(Alvarez & Cavanagh, 2004)。行为实验范式涉及到视觉工作记忆的编码、维持、提取等过程，在这些过程中，编码方式及程度的差异(Miller et al., 2014; Zhang & Luck, 2011)，维持间隔时间的长短(Zhang & Luck, 2009)，信息提取策略的不同(Geigerman et al., 2016)等可能都会影响到最后的记忆成绩——准确率和反应时，也就是说，研究者需要通过复杂的实验设计或数据分析技巧来判断准确率的提升是出于视觉工作记忆表征的数量增加还是质量提升，以及这种增强是源于哪个加工阶段。

于是，近年来越来越多研究者采用与电生理结合的研究方法，这也是目前视觉工作记忆测量方法之一。本文重点关注的是事件相关电位(Event-related Potentials)，事件相关电位是电生理信号的一部分，一种特殊的脑诱发电位，反映大脑对正在处理的特殊事件的反应(Hinojosa et al., 2015)。这种行为与电生理结合的研究方法在被试完成记忆任务的同时记录他们的脑电活动，其中研究者最常采用对测延迟活动成分(Alvarez & Cavanagh, 2004; Gratton, 1998; Luria et al., 2016; Luria et al., 2010; McCollough et al., 2007; Pomper et al., 2019; Vogel et al., 2005; Vogel & Machizawa, 2004)。对侧延迟活动成分(Contralateral Delay Activity，或称N2pc)是一种在记忆保持期间持续存在的负性慢波，通过计算被记忆项目所在半视域位置(左/右半视野)对侧和同侧的脑电活动之差获得(Gratton, 1998)。它的振幅往往与所存储视觉表征的数量(Alvarez & Cavanagh, 2004; Vogel & Machizawa, 2004)和质量(Luria et al., 2016; Luria et al., 2010)相关，随着记忆中保持的项目数量或复杂度增加而增加，并在到达容量极限时趋于平缓。这种行为与电生理结合的研究方法能够直接观察维持阶段视觉工作记忆中的信息量，从而很好地避免单一行为实验过程中一些因素对测量指标的干扰。

此外，工作记忆常用范式还有回忆报告范式(Chen et al., 2021)和n-back范式(Kaposzta et al., 2021)，但受情绪刺激特殊性所限，难以找到度量标准，故而无法使用回忆报告。研究表明面孔视觉工作记忆容量为两个(Jackson & Raymond, 2004)，那么n-back范式还是有可能应用的，后续研究可以结合尝试采用N-back范式研究情绪面孔在工作记忆中的更新状况。

3. 不同情绪面孔的视觉工作记忆表现差异

情绪面孔作为刺激物的视觉工作记忆的相关研究已很广泛(Becker et al., 2011; Jackson et al., 2014; Jiang et al., 2016; Lee & Cho, 2019; Liu et al., 2020; Sawaki & Raymond, 2014; Sessa et al., 2011)。其中主要采用快乐、悲伤、愤怒、恐惧等具有代表性的情绪面孔作为刺激物，发现不同情绪面孔的视觉工作记忆表现确实存在一定差异。

3.1. 消极情绪面孔的视觉工作记忆表现

以往有研究表明，消极的面部表情更容易引起视觉注意，有利于面孔识别的视觉工作记忆编码，并且更容易储存在工作记忆中(Jackson et al., 2008)，比如愤怒面孔可以增强视觉工作记忆的表现(Jackson et al., 2009; Jackson et al., 2014)。

Jackson等人的研究中(2009)，一共有5个实验，刺激材料全部使用6个成年男性的灰色图像，每个图像都有三种情绪面孔(愤怒、快乐和中性)。作者通过评估视觉工作记忆任务中的识别表现(在该任务中，面孔身份是相关的，而表情是不相关的)，研究视觉工作记忆中的表情–身份的交互。研究人员在1000 ms的时间内呈现1到4张面孔，并测量刚刚看到的人脸的识别准确性。结果表明，在视觉工作记忆中，愤怒面孔身份的存储量显著高于快乐面孔身份和中性面孔身份。此外，该研究还提供证据，排除基于生理唤醒、编码机会、面孔可辨别性、低水平特征识别、表情强度或特定面孔集的愤怒面孔收益的解释。可能是由于对愤怒面孔身份的记忆具有特殊的行为相关性，所以特定愤怒情绪面孔出现时视觉工作记忆表现更好。此外，Jackson等人(2014)还证明愤怒面孔在视觉工作记忆中的编码与维持得到增强，这在一定程度上解释了愤怒面孔在视觉工作记忆中的优势效应。

恐惧面孔作为消极情绪面孔的一种，它的视觉工作记忆表现与愤怒面孔又有所不同。在Curby等人的一项研究中就发现恐惧面孔损害视觉工作记忆(Curby et al., 2019)。在他们的四个实验中，实验结果一致表明，恐惧面孔对视觉工作记忆表现造成成本，该成本由编码时间调节，但不受阵列大小的影响。这种成本只存在于正向直立的面孔上，且这种成本是面孔情绪性的产物，而不是中性和恐惧面孔之间低水平的知觉差异导致。他们认为当情绪信息必须存储在视觉工作记忆中时，一些相互竞争的影响驱动成本和收益，并且任务情境决定它们之间的平衡。与此同时，在消极情绪面孔中的悲伤面孔中这种表现差异也有所体现(Linden et al., 2011; Liu et al., 2020; Zhou et al., 2021)。Linden等人的研究(2011)表明在面孔工作记忆上，抑郁症患者是存在情绪偏向的，对悲伤面孔的记忆效果好于中性面孔的。

前文我们集中回顾了一些行为实验的研究，从中可以看到单一行为实验的结果会受到记忆阵列的呈现时间，以及注意控制等因素的影响，从而导致行为成绩的差异。电生理与行为实验的结合能较好的避免这些问题，于是一些结合电生理的研究进一步探究不同情绪面孔的视觉工作记忆表现差异。

Sessa等人的一项电生理研究中揭示了恐惧面孔与中性面孔在视觉工作记忆维持上的差异(Sessa et al., 2011)。刺激物是积极面孔、中性面孔和恐惧面孔各12张。该研究的行为实验流程是：首先给被试呈现一个十字注视点500 ms，然后注视点的上下有两个提示需要记忆的项目的箭头呈现200 ms，在200—400 ms的可变间隔后记忆阵列呈现200 ms，紧接着是一个900 ms的记忆保持期，最后出现测试阵列直到被试做出反应。被试需要判断测试阵列的面孔与记忆阵列相比是否发生改变。记忆阵列的每侧包含1张或2张面孔，中性与恐惧面孔条件分别在不同的实验块中进行。行为实验过程中同时记录被试大脑的电生理活动，主要记录被试在记忆项目保持间隔期间(记忆阵列开始后的100 ms到900 ms)产生的对侧延迟活动的脑电成分。最后的行为结果表明被试在记忆两张面孔时，恐惧面孔的记忆表现比中性面孔更好。电生理的结果发现情绪面孔的影响主要是在记忆1张面孔的条件下，恐惧面孔的对侧延迟活动振幅显著大于中性面孔的，即记忆恐惧面孔比记忆中性面孔时，视觉工作记忆中储存了更多的信息；而在负荷为2的情况下，维持恐惧面孔和中性面孔时的对侧延迟活动无显著差异，可能是因为存在天花板效应。综合行为和电生理结果可以证明恐惧面孔在视觉工作记忆中的维持比中性面孔的更好。该研究的电生理结果也首次证明之前在愤怒面孔上的收益可以扩展到其他威胁相关的情绪面孔上。

此外，针对无威胁性的消极情绪面孔的电生理研究中，前人发现悲伤情绪面孔刺激会减弱视觉工作记忆中的人脸识别编码(Liu et al., 2020)，但也有行为和电生理证据表明，在记忆悲伤面孔时，抑郁症患者视觉工作记忆中的面部身份识别增强(Zhou et al., 2021)。这种分歧或因选取的被试群体不同，抑郁症患者的注意更容易被消极信息捕获，而且只有要求他们回忆抑郁相关刺激，而非威胁性消极刺激，才会出现外显记忆偏向(Explicit Memory Bias)，从而增强悲伤面孔表征的编码与维持(Gotlib & Joormann, 2010; LeMoult & Gotlib, 2019)。

综上所述，消极情绪面孔的视觉工作记忆表现差异的研究主要使用愤怒、恐惧和悲伤情绪面孔。愤怒面孔刺激能够增强我们的视觉工作记忆，恐惧面孔刺激损害我们的视觉工作记忆；而悲伤情绪面孔在抑郁患者中与正常人中的影响有所不同，它会减弱正常人视觉工作记忆中的人脸识别编码，但会增强抑郁患者视觉工作记忆的身份识别。

3.2. 积极情绪面孔的视觉工作记忆表现

有关积极情绪面孔作为刺激物的视觉工作记忆的研究仍不充分，大多采用快乐情绪面孔。前人多认为积极情绪面孔可以增强视觉工作记忆(Thomas et al., 2014; Švegar et al., 2013)，并且常常结合注意研究解释这种影响的作用机制(Juth et al., 2005; Holmes et al., 2009; Williams et al., 2005)。

一项结合眼动和反应时间分析的研究也表明在视觉工作记忆中，具有威胁性消极情绪或积极情绪的面孔在吸引注意力方面尤其有效，并且更容易被记住(Thomas et al., 2014)。此外，一项变化觉察范式的研究也发现快乐面孔的优势效应(Švegar et al., 2013)。在这项研究中，参与者使用可以洞察信息处理后期阶段的变化觉察范式，结果发现快乐面孔的记忆表现好于愤怒表情的，说明快乐的面部表情在很大程度上被人类的认知系统优先考虑。虽然行为实验和电生理证据表明情绪面孔的注意选择性同样适用于消极情绪中的威胁性面孔和积极面孔，即愤怒面孔和快乐面孔都比中性面孔能更快速地吸引注意力(Holmes et al., 2009)；但是Švegar等(2013)认为愤怒的表情最初是由我们的认知系统优先考虑的，以便我们能及早发现环境中的潜在威胁，但在后期的认知加工中，快乐的表情被赋予优先权，因为微笑是一种形成和维持合作关系的宝贵机制。可见积极情绪面孔的视觉工作记忆表现差异与其他情绪面孔相比更多在注意选择方面，且相较于消极情绪中的威胁面孔在时间上略有延迟。在注意和视觉工作记忆领域，相互矛盾的发现支持了对情绪面孔(例如，愤怒面孔或快乐面孔)的消极偏向和积极偏向(Xu et al., 2021)。许茜如等人(2021)一文中发现经典范式——注意的视觉搜索范式和视觉工作记忆的变化觉察范式非常相似；他们比较了以往使用这两种范式的行为和神经科学研究中有争议的结果并提出了三个可能对不同情绪偏向效应的矛盾结论有显著影响的因素，这些因素是刺激选择、实验设置和认知过程。

4. 小结与展望

综上所述，关于不同情绪面孔的视觉工作记忆表现差异在行为和电生理研究上都已有较大进展，消极情绪面孔的视觉工作记忆表现差异甚大；例如愤怒面孔可以强化视觉工作记忆，而恐惧和悲伤面孔对视觉工作记忆会有所损害，但在抑郁症患者中悲伤情绪面孔又能增强其对面部身份的识别。快乐情绪面孔和愤怒面孔一样，更容易吸引注意，从而增强我们的视觉工作记忆表现。前人的这些研究中都表明不同情绪面孔的视觉工作记忆表现有所不同。与此同时，我们可以看到其中一些研究还探索了情绪面孔的工作记忆表现差异出现的可能原因。例如，Jackson等人2009年的研究中就试图探索愤怒面孔产生优势的原因，并排除了唤醒状态、知觉编码限制、知觉辨别水平、面孔特征差异等因素；Curby等人2019年的研究中也探索了恐惧面孔的视觉工作记忆成本的原因，结果表明恐惧面孔成本不是由于知觉水平差异以及情绪状态等因素导致，而是恐惧面孔的情绪效价导致。

威胁性或愤怒的目标面孔比非威胁性或快乐的目标面孔识别得更快更准确，这一发现被称为“人群中的面孔效应”。对于这种效应，人们提出两种知觉上的解释：“目标定向”假说(威胁性目标比非威胁性目标更容易引起注意力定向)和“干扰物加工”假说(非威胁性干扰物与威胁性目标配对的干扰物加工效率高于威胁性目标配对的干扰物加工效率，从而能更快地发现威胁性目标)。一项研究通过使用真实面孔和多重身份的任务，在人群效应中复制面孔，然后通过眼球追踪，发现目标定向假说得到更大的支持(Shasteen et al., 2014)。另外一项旨在确定快乐面部表情的典型行为识别优势背后的大脑过程及其时间过程的研究在表情分类任务中记录快乐、愤怒、恐惧、悲伤和中性面孔的脑电图活动，并评估事件相关电位(ERP)模式与识别表现之间的相关性(Calvo & Beltrán, 2013)。N170 (150~180 ms)在愤怒、恐惧和悲伤的表情中增强；N2减少，早期后侧负性(EPN, 200~320 ms)对于快乐和愤怒的面孔都有所增强；P3b (350~450 ms)在快乐和中性的面孔上减少；慢正波(SPW, 700~800 ms)。这揭示了负性情感效价的早期加工(N170)，情感强度或唤醒(如愤怒和快乐)的区分(N2和EPN)，以及由于表情的差异性(如快乐)促进的分类(P3b)和决策(SPW)。而且，N2、EPN、P3b和SPW与分类准确性和速度有关。这些表明有意识的表情识别和典型的快乐面孔优势依赖于表达强度的编码，特别是在后期的反应选择上，而不是情感效价的早期加工。

由此可见，目前的许多研究对不同情绪面孔给的视觉工作记忆表现差异出现的原因探索已有进展，但大多停留在表面现象的原因分析，其背后具体的生理影响机制还尚未清晰，未来应当结合认知神经科学技术手段对不同情绪面孔的视觉工作记忆的加工机制进行深入研究。

致谢

本研究由国家自然科学基金(31700948)资助。

NOTES

^*通讯作者。