视觉工作记忆表征与视觉注意的关系

The Relationship between Visual Working Memory Representations and Visual Attention

摘要: 视觉工作记忆表征与视觉注意之间存在密切联系，了解两者之间的关系对进一步理解视觉工作记忆表征的维持有重要意义。基于已有研究，本文分别梳理了视觉工作记忆表征对视觉注意的影响，视觉注意对视觉工作记忆表征的影响，以及两者之间相互作用的神经机制，发现视觉工作记忆中存储的内容可以捕获或抑制视觉注意，而视觉注意可以促进或干扰视觉工作记忆表征的精确性，且两者之间存在重叠的大脑皮层区域发挥着作用。目前，解释两者之间关系的理论仍不够完善，相关的皮层区域如何独立或共同发挥作用以及视觉注意对视觉工作记忆表征影响的神经机制也尚不太明确。未来需要进一步扩充相关研究的理论，并侧重在神经学层面上的相关研究。

Abstract: There is a close connection between visual working memory representations and visual attention, and understanding the relationship between them is important for further understanding the maintenance of visual working memory representations. Based on the existing researches, this paper combs the effects of visual working memory representations on visual attention, the effects of visual attention on visual working memory representations, and the neural mechanisms underlying the interactions between them, respectively, and finds that the content stored in visual working memory can capture or inhibit visual attention, while visual attention can facilitate or interfere with the accuracy of visual working memory representations, and there are overlapping cortical regions between them that play a role. Currently, theories explaining the relationship between them are still underdeveloped, and the neural mechanisms underlying how the relevant cortical regions function independently or together and the effects of visual attention on visual working memory representations are not clear. Future research needs to further expand the theories and focus on the neurological aspects of these studies.

1. 引言

视觉工作记忆(Visual Working Memory，简称VWM)是指当呈现在眼前的视觉刺激消失之后，个体仍能在较短的时间内处理和加工这些视觉信息的一种能力(Zhang & Luck, 2008)。VWM作为人类认知过程的重要环节，与感知觉、注意等加工过程之间相互影响，它构成了从引导注意到做出复杂决定等多种重要的高级行为的基础。同样，视觉信息需要在注意的参与下，然后通过具体或抽象的形式在头脑中进行表征，以便用于随后调用VWM中存储的内容来完成相应的任务或目标。VWM领域的研究一直受到广大研究者的关注。近些年来，已有大量研究采用变化察觉范式、回溯线索范式等工作记忆任务范式对VWM的存储容量进行探究。在这些研究中，通过改变记忆集的大小、呈现记忆内容的时间以及呈现记忆内容与回忆任务的间隔时间，来观察VWM存储容量的变化规律。此外，VWM表征与视觉注意之间的关系也是近些年来的研究热点，研究者们通常采用双任务实验范式来探究两者之间的关系。目前已有大量研究发现VWM表征与视觉注意之间相互影响(Dube & Golomb, 2021; Rademaker et al., 2015; Soto et al., 2005, 2006)。

以往研究表明，VWM表征会影响视觉注意。具体来说，VWM可以表征搜索的目标特征形成“注意模板”，该“注意模板”可以引起对随后在视觉搜索任务中呈现的相同刺激的注意捕获，即发生了记忆驱动的注意捕获现象(Lu et al., 2017; Olivers, 2009; Olivers et al., 2014; Zhou et al., 2020)。许多研究发现，当视觉搜索任务中呈现与记忆内容相关的刺激，该刺激的存在会影响搜索效率。一些研究者发现，在视觉搜索任务中，呈现与记忆客体或其某一特征相匹配的干扰物会自动捕获注意，从而降低搜索效率(Gao et al., 2016)。而另一些研究者发现，视觉搜索任务中出现与记忆客体或其某一特征相匹配的目标，则会优化搜索效率(Olivers et al., 2006; Grubert & Eimer, 2016; Hout & Goldinger, 2015; Huynh Cong & Kerzel, 2021; Rajsic & Woodman, 2020)。这些结果说明，VWM中存储的内容可以通过自上而下的加工方式引导视觉注意的偏向。同样，视觉注意也会影响VWM表征。许多研究者们主要聚焦于：在维持VWM表征阶段，通过操纵视觉搜索任务中呈现的视觉刺激的特征，探究这些视觉刺激是如何影响VWM表征精确性，以此来发现影响VWM表征精确性的因素。

基于上文所述，VWM表征与视觉注意之间存在密切联系。但目前对两者之间的相关研究仍处于有待完善的阶段。本文旨在梳理VWM表征与视觉注意之间的关系，探讨VWM表征与视觉注意是如何相互发挥作用，并对现有相关理论的扩充提供启示，以期为VWM表征与视觉注意关系深入研究提供可能的方向。

2. 视觉工作记忆表征影响视觉注意

偏向竞争模型(biased competition model)认为视觉场景中常常充满了超过视觉系统加工能力的多种刺激，由于注意资源有限，不同刺激表征就会以相互抑制的方式竞争注意资源以获得更高水平的加工，获得竞争优势的刺激表征将最终得以控制个体的知觉和行为反应(Desimone & Duncan, 1995; Duncan & Humphreys, 1989)。该模型对视觉注意的导向过程做了比较系统的论述，该模型认为外界刺激一般通过两种方式引导注意：当搜索目标不明确时，具有显著特征的刺激可以以自下而上的方式捕获注意，来引导被试搜索目标。当搜索目标明确时，视野中与之匹配的目标模板则会以自上而下的方式引导注意，视野中刺激与工作记忆表征共享某些特征时，会取得竞争优势而被视觉注意优先选择。该模型预测了VWM表征对视觉注意的影响，即VWM中存储的内容可以引导注意分配到与记忆项目匹配的刺激。

已有大量研究表明，在工作记忆–视觉搜索双任务范式中，首先要求被试记忆一个或多个项目，当视觉搜索任务中呈现的干扰物的特征与记忆项目的特征相匹配，该干扰物会自动获得注意捕获，从而会降低搜索目标的速率(Barras & Kerzel, 2017; Chen & Du, 2017; Hollingworth & Beck, 2016; Sasin & Fougnie, 2020)。在这些研究中，Chen和Du (2017)与Hollingworth和Beck (2016)的实验中，记忆项目均只具有单一特征，且无论记忆项目为单个或多个，搜索任务中出现与记忆项目匹配的一个或多个干扰物，这些刺激均会捕获注意。然而，在Sasin和Fougnie (2020)的实验中，记忆项目同时具有颜色与朝向两种特征，并且不同特征对注意捕获的能力不同，与记忆项目颜色匹配的干扰物能够自动捕获注意，而对于朝向特征，只有当朝向特征与搜索任务相关时，与记忆项目朝向匹配的干扰物才会自动捕获注意。也有研究从电生理学层面为注意捕获效应提供了证据。Barras和Kerzel (2017)的研究采用事件相关电位技术，来考察VWM表征是否能够捕获注意。结果发现，当记忆项目作为搜索任务中的干扰物出现，N2pc差异波明显增大，这些结果说明VWM可以同时激活至少两个表征来引导视觉注意，即使搜索任务与记忆任务无关。且VWM表征是否可以引导注意取决于记忆表征的激活程度，激活程度越大，引导注意的作用越强，对知觉选择的影响越大。这些结果均说明发生了基于记忆的注意捕获现象，且为偏向竞争模型的观点提供了证据。

然而，有些研究者发现VWM表征并不一定能够捕获注意，有时会抑制对与记忆项目匹配的刺激的注意(张豹等，2015，2017；Carlisle & Woodman, 2011; Woodman & Luck, 2007)。当记忆项目的特征作为搜索任务中的匹配项干扰物出现，被试会把与VWM表征相匹配的刺激作为“注意拒绝”模板，在搜索过程中主动抑制对记忆项匹配干扰物的注意，使注意快速从该干扰物上脱离，以提高搜索速率。此外，研究发现，当记忆项目为两个或多个时，即使搜索任务中出现与记忆项目相同的干扰物，也不会引起对该干扰物的注意捕获(Downing & Dodds, 2004; Houtkamp & Roelfsema, 2006; van Moorselaar et al., 2014)。这些研究结果与单个记忆项目对视觉注意的影响结果不同。出现这种不同的研究结果，可能是由于VWM中只能有一个项目处于优先级地位，而其他的记忆项目则属于附属项，VWM中对附属项的激活程度较小。因此，不会引起对与记忆项目相同的干扰物的注意。针对VWM表征(表征一个或多个项目)对视觉注意引导的不同结果，研究者们提出了两种不同的理论：单模板理论认为VWN存在两种表征状态，当VWM中存储多个项目时，只有一种记忆表征处于“激活”状态，其他的记忆表征则处于“附属”状态，这些处于“附属”状态的记忆表征在与搜索任务相关时会被激活(Olivers et al., 2011)。多模板理论认为多个VWM表征可以同时处于不同的“激活”状态，与搜索任务密切相关的记忆表征会处于较高的“激活”状态，但随着搜索目标的改变，不同VWM表征的激活程度会随之发生改变，以此来引导对视觉刺激的注意(Beck et al., 2012)。单模板理论和多模板理论从VWM表征的激活水平层面来阐述其对视觉注意的影响，但这两种理论并不能解释不同激活水平的VWM表征对注意引导的内部机制。并且，目前的研究并没能够独立地测量VWM表征的激活水平对视觉搜索的影响。未来可能需要对这些问题进一步探究。

3. 视觉注意影响视觉工作记忆表征

仅仅着眼于VWM表征对视觉注意的影响，并不足以完整的揭示VWM表征与视觉注意之间的关系。近年来，除了探究VWM表征对视觉注意的影响机制，视觉注意对VWM表征的影响也受到广大研究者们的关注。因此，这一部分我们将转换焦点，聚焦于视觉注意如何影响VWM表征的精确性。

根据感觉参与假说(sensory-recruitment hypothesis)提出的两个主要观点，第一个观点认为工作记忆内容表征与外部视觉刺激表征都存在于初级视觉皮层区域，当视觉刺激与工作记忆内容相似，视觉刺激的表征可能会与表征工作记忆内容的皮层区域重叠较多，因而对工作记忆内容表征精确性的影响大。而当视觉刺激与工作记忆内容不相似时，视觉刺激的表征与表征工作记忆内容的皮层区域重叠较少，因而对工作记忆内容表征精确性的影响小。第二个观点认为工作记忆内容的存储和维持与外部视觉刺激的加工处理可能竞争相同的注意资源，在维持工作记忆内容阶段，外部输入的视觉刺激会占用维持工作记忆表征的注意资源，对视觉刺激需要投入的注意越多，维持工作记忆表征可用的注意资源会越少，对工作记忆表征精确性的干扰会越大。该假说阐述了视觉注意与VWM表征之间存在密切的关系，从理论层面为视觉注意对VWM表征精确性的影响提供了证据。

研究发现，当视觉搜索任务中呈现与记忆项目相同的刺激时，可以优化工作记忆任务的表现(Rajsic et al., 2017; Williams, Henderson, & Zacks, 2005)。这些研究结果表明，在视觉搜索任务中重现工作记忆中存储的内容，能够增强并巩固头脑中已形成的工作记忆表征，有助于工作记忆更精确地表征所存储的内容。然而，有些研究发现，当搜索项目与记忆项目相似时，工作记忆表征的精确性反而会有所下降。Kong等人(2020)的研究中，通过操纵搜索任务中目标物与干扰物之间的朝向之差来改变搜索模板，结果发现搜索模板的改变会破坏工作记忆对朝向信息表征的精确性，尤其当目标物与干扰物的朝向越相似时，工作记忆表征精确性的偏差越大。Lively等人(2021)发现，当搜索任务中干扰物的颜色与记忆中的颜色越相似，对VWM表征精确性的干扰越大。并且，这种干扰效应会随着搜索任务难度的增加相应的有所增强。Kiyonaga等人(2017)采用fMRI技术来探究VWM表征是如何受到视觉刺激的影响。结果发现，视觉搜索任务的难度会影响大脑皮层对工作记忆表征的维持，尤其是当搜索比较困难时，可以被解码的VWM的相关信息减少，VWM维持阶段的可用注意资源影响VWM表征的精确性。上述的这些研究表明，无论搜索任务与工作记忆任务无关还是相关，都不影响视觉注意对VWM表征精确性的促进或干扰作用。这些研究结果与感觉参与假说预测的观点一致。在这些研究中，除了搜索任务中出现与工作记忆内容相似的信息会影响VWM表征的精确性。搜索任务具有不同的难度，任务难度会导致注意资源的分配程度不同，从而使用于维持VWM表征的注意资源受到影响，同样会影响VWM表征的精确性。此外，有研究发现，改变视觉刺激呈现的位置会导致对记忆项目的朝向与位置“特征捆绑”错误，从而影响工作记忆表征的精确性(Schneegans et al., 2021)。

总的来说，目前研究得出的结论一致认为，视觉搜索任务中呈现与记忆项目相同的刺激能够增强VWM表征的精确性，而相似的信息会降低VWM表征的精确性。其中，在后者的研究中，任务难度可以通过影响注意的参与程度，从而影响VWM表征的精确性。

4. 视觉工作记忆表征与视觉注意相互作用的神经机制

研究证明，前额叶皮层(prefrontal cortex, PFC)和后顶叶皮层(posterior parietal cortex, PPC)与视觉工作记忆功能的实现有着密切联系(D’Esposito & Postle, 2015; Kiyonaga et al., 2017)。例如，Kiyonaga等人(2017)对视觉工作记忆加工的神经机制进行了概述，提到前额叶皮层在VWM表征中的重要作用。D’Esposito & Postle (2015)采用fMRI技术来探究VWM内容的神经表征如何受到传入的感官刺激和注意需求的影响。结果表明，工作记忆内容的神经表征与大脑前额叶、顶叶区域的激活相关。在脑电研究中，通常采用对侧延迟活动(contralateral delay activity，简称CDA)来测量VWM表征的存储容量。CDA成分能够反映VWM维持项目的状态(Vogel & Machizawa, 2004; Woodman & Arita, 2011; Li et al., 2020; Williams & Drew, 2021; Ye et al., 2019)。

关于VWM表征与视觉注意关系的神经机制，有研究发现表征工作记忆内容与表征来自外部的视觉刺激的大脑区域具有一定地重叠性，额叶与顶叶对表征来自工作记忆与外部视觉刺激这两方面的内容有着重要作用。(Harrison & Tong, 2009; Riggall & Postle, 2012; Kiyonaga et al., 2021)。这个发现为VWM表征与视觉注意之间存在相互影响提供了神经学方面的证据。另外，de Vries等人(2019)采用EEG来探究在多任务中与VWM相关的大脑区域如何启动和控制注意的这种顺序优先级选择的。结果表明，额叶δ波(2~4 Hz)范围内的振动信号在控制工作记忆中内容的优先地位方面起着重要作用。即与当前任务有关的内容和与未来任务有关的内容。δ波既参与了在任务序列开始时执行注意优先权，也参与了在任务之间切换优先权，且δ波的解码并不随时间的推移而泛化。这表明对优先权的控制是由神经活动的动态模式决定的，而这种模式在执行优先权状态和在这些状态之间切换时存在差异。de Vries等人(2017)发现，相比于同侧，在优先记忆项目的对侧有更强的α功率抑制，在搜索任务之间，随着认知上从一个工作记忆切换到下一个工作记忆的优先权，α功率信号也随之转换。这些发现说明，在VWM引导视觉搜索的注意选择过程中，额叶δ波在VWM进行自上而下的控制和注意选择中有着重要作用，而α波在VWM对多个表征的维持密切相关。此外，VWM表征的维持阶段涉及编码和巩固记忆内容这两个过程。编码过程可以对视觉刺激进行快速检测和识别(Duncan, 1983)，而巩固过程能够使获得编码的刺激不被干扰或遗忘(Jolicœur & Acqua, 1998; Nieuwenstein & Wyble, 2014)，巩固过程在视觉刺激消失仍然会持续。研究发现，顶内沟和后枕叶感觉区域的参与可能是视觉工作记忆巩固发生的神经基础(Cowan et al., 2011; Emrich et al., 2013; Makovski & Lavidor, 2014)。而这些感觉区域与视觉注意也有着重要联系，因此，在VWM表征维持阶段，呈现视觉刺激可能会干扰VWM的巩固过程，从而影响VWM表征的精确性。

总之，VWM加工是很多脑区共同作用的结果，而感觉区域的激活和前额叶，顶叶等多个脑区有着复杂的联系。目前研究发现与VWM表征和视觉注意相关的大脑区域，为以后的研究进一步探究两者之间发挥作用的神经机制提供了基础。

5. 未来研究方向

VWM作为人类高级认知过程中的重要部分，与各种信息的加工与存储有着密切联系。目前关于VWM视觉注意关系的理论解释有偏向竞争模型、感觉参与假说。前者可以解释VWM表征对视觉注意的引导作用，后者则为两者之间的相互作用提供了理论解释。感觉参与假说侧重从神经学的角度来阐述VWM表征与视觉注意是如何相互影响的，认为两者可能有重叠的大脑表征区域。虽然已有大量的研究表明VWM表征与视觉注意之间相互影响，但两者之间的作用机制较为复杂，未来仍需要对两者之间的作用机制进行深入研究。我们认为未来研究可以从以下方面进行探索。

首先，大量研究已发现VWM中存储的内容可以引起对视觉刺激的注意捕获或抑制效应(车晓玮等，2021；Carlisle & Woodman, 2011; Kerzel, 2020)。偏向竞争理论可以这种捕获效应做出解释，但该理论并不能适用于工作记忆内容抑制视觉注意这种情况。而且注意的引导过程本身就是一个较为复杂的过程，会受到各种因素的影响。另外，视觉注意能够巩固或干扰VWM表征的精确性(Johnson et al., 2008; Rajsic et al., 2017)，这些影响可以根据感觉参与假说来解释，然而，值得注意的是，感觉参与假说提到的重叠的皮层区域如何独立或共同发挥作用并不清楚，并且也未能分别根据两者之间的关系具体说明相应的作用机制。未来可能需要针对这些方面来进一步探究VWM与视觉注意之间的关系，进一步完善已有的理论。

其次，从神经学层面来说，目前已有研究对VWM影响视觉注意的神经机制进行探讨(de Vries et al., 2017, 2019)，但视觉注意影响VWM表征的神经机制仍不太清楚。虽然VWM与视觉注意存在双向关系，但这种双向关系之间的神经机制存在哪些共同之处、不同之处？这些问题需要进一步探讨。