视觉工作记忆中回溯线索效应的影响因素

The Influencing Factors of Retro-Cue Effect in Visual Working Memory

摘要: 视觉工作记忆一般包括编码、维持和提取三个阶段。研究者们发现在记忆的维持阶段中添加回溯线索，会导致被试的记忆成绩发生变化，这就是回溯线索效应。回溯线索效应的大小不是一成不变的，而是会随其影响因素的变化而发生改变的。但是目前尚未有研究对回溯线索效应的影响因素进行总结归纳。本文汇总梳理相关研究回溯线索效应的文章，总结了四个回溯线索效应的影响因素：记忆项目、维持间隔时间、维持间隔中的干扰、回溯线索类型。未来的研究可以在此基础上探索其他维度的影响回溯线索效应的因素。同时，由于回溯线索能够提高记忆成绩，改善人们的认知加工过程，所以在使用回溯线索时应合理地控制这些影响因素，从而进一步探索视觉工作记忆的内部注意机制，提高对视觉工作记忆机制的理解。

Abstract: The visual working memory is a temporary storage system, which encodes, maintains and re-trieves visual information. The researchers have found that adding retro-cues to the maintenance phase of memory leads to changes in participants’ memory performance, which is the retro-cue effect. The magnitude of the retro-cue effect is not set in stone, but changes with the changes of its influencing factors. However, there is no study to summarize the influencing factors of the retro-clue effect. This paper looked into the articles related to the study of the retro-cue effect and summarized the influencing factors of the retro-cue effect: memory items, maintenance interval time, interference in maintenance interval, and types of retro-cue. Based on this, future research can explore the factors that influence the retro-cue effect in other dimensions. At the same time, since retro-cue can improve memory performance and cognitive processing, these influencing factors should be reasonably controlled when using retro-cues. The internal attention mechanism of visual working memory could be further explored and the understanding of visual working memory mechanism could be promoted.

1. 引言

视觉工作记忆(Visual Working Memory)是对信息进行暂时存储的记忆系统，能够对正在产生的信息进行加工处理，也能够作为所提取的长时记忆信息的缓冲平台，对长时记忆的信息进行分析利用。并且视觉工作记忆与智力以及其他高级认知能力有着较强的相关，是高级认知能力的基础(Baddeley, 2003; Conway et al., 2003; Luck & Vogel, 2013)。视觉工作记忆具有严格的容量限制，只有大约3~4个组块(Cowan, 2010; Luck & Vogel, 1997)，但是视觉工作记忆也是一个灵活的、动态的记忆系统，可以根据任务目标对记忆内容以及行为表现进行调节(Christophel et al., 2018; Wolff et al., 2017)。

因此，视觉工作记忆中的内部注意选择对与目标相关的信息进行加工处理时便显得尤为重要。内部注意指的是对个体内部存储的特定信息进行选择、调节和维持的认知过程，可以对信息进行排序并对有意义的信息进行聚焦与优先处理。研究发现，在记忆的维持阶段对编码的记忆项目进行自上而下的内部注意选择有利于提高工作记忆的效率与完成任务(Berryhill et al., 2012; Fan et al., 2021; Kuo et al., 2018; van Moorselaar et al., 2015a)。在视觉工作记忆的研究中，前人把线索插入到记忆阵列与测试阵列之间的维持间隔中来引导内部注意选择，这种线索被称为回溯线索(Retro-Cue)。回溯线索根据其有效性可以分为有效的回溯线索、无效的回溯线索。一般而言，有效的回溯线索意味着测试阵列测试的是线索提示的项目；无效的回溯线索指的是测试阵列测试的是未提示的项目。研究内部注意的文章中，将有效回溯线索条件与中性线索(不具备提示信息的线索)条件进行比较，相较于中性线索，有效的回溯线索提高了被试的记忆成绩(Griffin & Nobre, 2003; Hollingworth & Maxcey-Richard, 2013; Lepsien & Nobre, 2007)，表现为被试记忆的项目数量提高、猜测率下降。由有效的回溯线索带来的记忆成绩的提升被称为回溯线索优势(Retro-Cue Benefit)。相反，将无效回溯线索条件与中性线索条件进行比较，相较于中性线索，无效的回溯线索降低了被试的记忆成绩。由无效的回溯线索带来的记忆成绩的下降就是回溯线索损耗(Retro-Cue Cost)。总之，由回溯线索所导致的记忆成绩的变化就称为回溯线索效应(Retro-Cue Effect) (Backer et al., 2020; Souza et al., 2016; Ye et al., 2016)。

自从2003年Griffin和Landman两个团队创造性地使用回溯线索研究视觉工作记忆与内部注意的关系开始，回溯线索影响记忆成绩的现象就得到了广泛的关注。大量的研究围绕着什么影响了回溯线索效应开展(Nobre, 2008; Clapp et al., 2010; Astle et al., 2012; Hollingworth & Maxcey-Richard, 2013; van Moorselaar et al., 2015a; Shepherdson et al., 2017; Park et al., 2017; Wolff et al., 2017; Christophel et al., 2018; Loaiza & Souza, 2018; Strunk et al., 2019; Hajonides et al., 2020; Ye et al., 2021)。本文通过汇总回溯线索效应相关的文章，总结四个影响回溯线索效应的因素，以及对未来的研究进行展望。

2. 回溯线索效应的研究范式

在记忆的维持间隔中加入线索提示的范式最早起源于斯柏林研究感觉记忆(Iconic Memory)时采用的部分报告法(Sperling, 1960)。之后，Griffin和Landman两个团队(2003)几乎同时在视觉工作记忆领域引入回溯线索，确立了研究视觉工作记忆中的内部注意的基本范式，即回溯线索范式(Retro-Cue Paradigm)。回溯线索范式由以下五个基本的部分组成，分别是记忆阵列、间隔、回溯线索、间隔、测试阵列。通常在变化检测范式(Change Detection Task)或者回忆报告范式(Recall Report Task)的维持间隔阶段添加回溯线索来组成回溯线索范式。变化检测范式和回忆报告范式之间的区别是对被试的任务要求不同。变化检测范式要求被试完成的任务是判断记忆阵列与测试阵列出现的记忆项目是否一致，而回忆报告范式则是要求被试回忆出某个记忆阵列出现过的项目的具体细节(颜色或者方向)。此外，根据测试阵列需要比较判断的项目数量划分，可以分为全局识别范式(whole-display task)和局部识别范式(single-probe task)，这两种范式在测试阵列都只会出现一个项目，但是全局识别范式的测试阵列项目会出现在视觉区域中央，需要被试对其与工作记忆中存储的项目进行一一的比对判断，而局部识别范式的测试阵列项目则会出现在与记忆阵列项目相同的位置，不需要被试将其与工作记忆中存储的记忆项目进行逐一比较(Souza et al., 2016)。不仅如此，还可以嵌套连续的双回溯线索在这些范式中进行研究(van Moorselaar et al., 2015b)。

3. 影响回溯线索效应的因素

通过梳理相关的回溯线索文章，我们归纳了回溯线索效应的四个影响因素，分别是记忆项目、维持间隔的时间、维持间隔中的干扰、回溯线索类型。

3.1. 记忆项目

记忆阵列中呈现的记忆项目是要求被试记住的信息，记忆项目的信息量(记忆负荷)由记忆项目的数量以及复杂程度构成(Alvarez & Cavanagh, 2004; Eng et al., 2005; Gao et al., 2009)。Shepherdson等人(2017)在记忆阵列呈现2、4、8个项目，分别检测记忆负荷没有超过记忆容量与超过记忆容量时回溯线索效应的情况。当呈现的记忆项目没有超过视觉工作记忆容量时，结果显示产生的回溯线索优势会随着记忆数量而增加，但是无效线索没有产生回溯线索损耗。这说明被试在进行反应时采取了优先排序的策略(Prioritization for comparison)，即被试会在记忆中保留所有记忆项目，并将被线索提示的项目与测试阵列呈现的项目进行优先比较，从而提高记忆成绩；而没有得到提示的项目因为也保留在记忆中，从而没有产生回溯线索损耗。相反，当呈现的记忆项目数量超过容量时，结果显示有效的回溯线索没有产生回溯线索优势，而无效的回溯线索带来了较大的损耗，导致记忆成绩下降。这表明被试采取移除(Removal)未被提示项目的策略，即因为被试无法记住全部的记忆项目，所以会依赖回溯线索的提示来进行反应，并移除未被提示的项目以释放视觉工作记忆的空间，从而导致无效线索产生的回溯线索损耗较大(Shepherdson et al., 2017)。这表明记忆项目数量影响回溯线索效应。由此也可以推测复杂程度较大的(Li & Saiki, 2015)或者是包含多特征(Park et al., 2017; Ye et al., 2021)的记忆项目，同样也会造成大量的工作记忆的资源损耗，那么也会导致有效回溯线索优势减少，无效的线索的损耗上升，被试总体记忆成绩下降。因此记忆负荷影响回溯线索效应，这可能是因为回溯线索是将注意力集中于已经存储于工作记忆的客体，而工作记忆的表现是受到客体负载的信息影响的(Alvarez & Cavanagh, 2004; Pertzov et al., 2013; Griffin & Nobre, 2003)，信息过载会导致正确反应的比例下降，从而削弱回溯线索带来的记忆成绩的提升。

3.2. 维持间隔的时间

维持间隔以回溯线索为界被分为了两个部分，一个部分是记忆阵列到回溯线索的间隔(Retention Interval)；另一个部分是回溯线索到测试阵列的间隔(Cue-Test-Intervals)。工作记忆与回溯线索的研究都会将记忆阵列与回溯线索之间的时间设置为不少于150 ms (Astle et al., 2012; Sperling, 1960; Makovski & Jiang, 2007; van Moorselaar et al., 2015a; Liang et al., 2019)，因为这样可以避免记忆成绩的提升是因为感觉记忆。感觉记忆的特点是维持时间较短，维持的时间短到人们可能在提取该部分的记忆之前就已经遗忘了一部分的内容。1960年Sperling采用部分报告法(只要求被试报告一部分的记忆内容，从而估算整体记忆容量的方法)发现了感觉记忆，并发现其维持的时间大概是50~150 ms，容量大约是9~12，远远超过工作记忆的容量。所以关于影响回溯线索效应的研究中，记忆阵列与回溯线索的间隔少于150 ms会污染回溯线索效应，导致回溯线索优势被高估。另外，也有研究者对回溯线索到测试阵列的间隔进行调节研究，结果表明回溯线索到测试阵列的间隔的时间过短会减少回溯线索优势，人们可以利用有效的回溯线索提高记忆成绩的时间至少是300~500 ms，因为在回溯线索出现之后，需要一定的时间以积累与目标相关证据(Souza et al., 2016; van Moorselaar et al., 2015a)，相关的脑电研究也能证明这个时间段是内部注意能够根据回溯线索的提示对记忆项目进行更新所需要的时间(Schneider et al., 2016)。但是，当回溯线索到测试阵列的间隔延长到一定程度时(4 s左右)，回溯线索优势会下降，无效线索的回溯线索损耗则会增加(Park et al., 2017; Astle et al., 2012)。

3.3. 维持间隔中的干扰

在日常生活中，人们无时无刻不在接触大量的环境信息，但不是所有信息都是有用的，而视觉工作记忆的作用就是维持那些对人们有用且重要的信息，排除无关信息的干扰。而回溯线索能够促进视觉工作记忆成绩的提升的原因就在于内部注意选择有用的信息。为了模拟日常环境不断出现的视觉输入干扰对回溯线索的影响，研究者们在记忆阵列后与回溯线索前加入视觉掩蔽(呈现的位置会与记忆阵列呈现的项目位置一致)，作为视觉输入干扰。结果发现回溯线索可以降低视觉掩蔽导致的记忆表现下降(Landman et al., 2003)，但是相较于无掩蔽的回溯线索实验结果，回溯线索优势还是减少的，影响了回溯线索效应(van Moorselaar et al., 2015b; Makovski & Jiang, 2007; Landman et al., 2003)。相反，另一部分的研究结果显示在有回溯线索的条件下，掩蔽的添加没有对记忆表现造成影响，这说明回溯线索可以保护记忆项目免受掩蔽的干扰(Hajonides et al., 2020; Makovski & Pertzov, 2015)。对比之下，我们发现掩蔽不影响回溯线索的原因可能是记忆项目本身的记忆难度较低，回溯线索能够保护记忆项目免受掩蔽的干扰。此外，出现在测试阵列的探测项目(Probe)也可能成为视觉输入干扰，Souza等人(2016)采用了回忆报告范式，测试阵列会呈现某一个记忆项目的轮廓以及色轮，要求被试在测试阵列时通过点击色轮上的颜色来报告记忆项目的颜色，并在维持间隔阶段提前插入测试阶段才会出现的色轮。结果表明，提前出现色轮会导致一定程度的“色轮吸引”，即被试回忆的项目颜色结果会向探测对象所在位置附近的色轮颜色上偏移，损害了工作记忆存储的表征。但是在加入回溯线索后，回溯线索可以抵御这种视觉干扰，产生回溯线索优势，但不能完全避免这种视觉干扰的损害，这主要体现在回溯线索提高了在工作记忆中的记忆表征的数量，但并未改善其记忆质量(叶超雄等，2020)。除了在维持间隔阶段添加视觉干扰以外，研究者们还探索了在回溯线索与测试阵列的间隔中插入额外的任务对回溯线索效应的影响，比如插入视觉搜索任务等非记忆任务。已有的研究结果证明，在有额外任务的条件下，相较于存在中性线索的试次，有回溯线索的试次中记忆成绩依旧是更好的，但是其表现会比没有额外任务的回溯线索条件下记忆成绩有所下降(Janczyk & Berryhill, 2014; Lin et al., 2021)。

综上所述，干扰会对记忆表征产生损害，而添加回溯线索能够改善这种情况。根据Liang等人的研究结果可以解释这一现象。Liang等人采用变化检测范式并在维持间隔阶段插入注意任务的双任务范式，注意任务会一直持续到测试阵列出现，此时测试阵列可能测试注意任务的项目也可能测试记忆任务的项目，所以被试将在维持记忆项目的同时，在视觉上需要一直对注意任务保持关注。结果显示，相比于单任务，在双任务的情况下，脑电成分CDA (Contralateral Delay Activity，对侧延迟活动，振幅越大代表视觉工作记忆中储存的信息量越大)在出现注意任务后一直下降，表示被试记忆维持的信息在注意任务的干扰下不断地损失。这项研究说明注意与视觉工作记忆的密切关系。当注意转移到其他客体上，而不是集中于工作记忆存储的项目时，这些项目就会处于“沉默状态(Silent State)”，处于这种状态的项目是脆弱以及不稳定的，会随着时间慢慢衰退。相反，只有被注意到的项目才会处于“活跃状态(Active State)”，这种状态下的项目是稳健的、易提取的(Liang et al., 2019)。所以，维持间隔中的干扰是会对记忆表征产生一定的损害，因为干扰分散了注意力。但是回溯线索能够使得注意焦点重新回到记忆项目上，使得记忆项目再次处于“活跃状态”。所以，干扰会削弱回溯线索优势，但不会完全消失。

3.4. 回溯线索类型

回溯线索按照有效性可分为有效回溯线索和无效回溯线索。有效性指的是回溯线索的提示内容是否与测试阵列的测试内容一致。根据研究者的研究目的以及实验设计，可以设置不同可靠性的回溯线索。可靠性指的是有效线索出现在实验中的概率。以往的研究显示，被试可以根据回溯线索的可靠性来选择是否使用回溯线索来完成记忆任务。具体而言，当有效回溯线索的试次占总体试次的比例较高时，被试会倾向于使用回溯线索来帮助自己完成任务，此时被试会过滤掉未被提示的项目；然而，当有效回溯线索占总体试次的比例较低时，被试会倾向将所有的记忆项目都尽量记住的策略，因为在此情况下使用回溯线索不能保证测试阵列会出现提示的项目(Landman et al., 2003; Williams & Woodman, 2012)。此外，有其他研究证明，被提示的项目所产生的优势是牺牲未提示项目为代价的(Griffin & Nobre, 2003; Niklaus et al., 2017; Park et al., 2017)，与中性线索相比，有效的回溯线索带来的记忆成绩的提升必定伴随无效的回溯线索导致的记忆成绩下降。但是也有的实验专门通过研究无效线索的记忆成绩来研究未被提示的项目命运，有效的回溯线索带来的记忆成绩的提升不一定以未提示项目的表现下降为代价，因为被试可以根据有效线索的提示，将某个记忆项目纳入优先级，并在测试阵列时优先判断该项目。而未提示线索也没有消失(Gözenman et al., 2014; Loaiza & Souza, 2018; Myers et al., 2017; Shimi et al., 2014)。以上两种截然不同的实验结果可以支持人们可以灵活地利用回溯线索决定对记忆项目进行增强或者是遗忘的观点。

此外，回溯线索按照提示的项目类型可以分为客体回溯线索(Object-Based Retro-Cue)和维度回溯线索(Dimension-Based Retro-Cue)。客体回溯线索是明确地提示记忆阵列中的某一个客体，例如在中央呈现箭头指向某个记忆项目的位置或者是在某个记忆项目的位置上出现该项目轮廓；维度回溯线索则是提示项目之间共享的特征维度，例如在中央呈现“颜色”“方向”“形状”等文字。Hajonides等人(2020)采用变化检测范式，其中两个项目只分布在视野的左右两侧，并将回溯线索分为了维度回溯线索和客体回溯线索，进行比较后发现，虽然维度回溯线索和客体回溯线索都可以产生回溯线索优势(Ye et al., 2016)，但是与客体回溯线索相比，维度线索的回溯线索优势较小。根据的脑电结果，客体回溯线索有显著的alpha波偏侧化，而维度回溯线索则没有显著的alpha波偏侧化(Alpha Lateralization，其衰减表明注意活动的增强)，这表明二者根本的区别就在于客体回溯线索只需要在视觉工作记忆中聚焦一个项目，而维度回溯线索则需要关注具有共同维度的所有项目，通常不止聚焦一个项目(Hajonides et al., 2020)。因此，在测试阵列中，维度回溯线索提示下的被试必须先在记忆中选择与测试阵列匹配的项目，然后再对其特征进行比较判断；而客体回溯线索在提示时已经锁定了一个项目，所以省略了选择视觉工作记忆中的项目与测试项目进行匹配的过程。综上，在同等条件下，维度回溯线索产生的回溯线索优势小于客体回溯线索(Arnicane & Souza, 2021; Niklaus et al., 2017; Park et al., 2017; Ye et al., 2021)。

4. 小结与展望

本文根据相关领域的文献系统地介绍和梳理了影响回溯线索以及回溯线索效应的四个因素，分别是记忆项目、维持间隔的时间、维持间隔中的干扰以及回溯线索类型。自2003年利用回溯线索研究视觉工作记忆中的内部注意至今，关于回溯线索效应的影响因素也已经取得了非常多的进展(Souza & Oberauer, 2016)。然而，还是有某些问题需要进一步研究，笔者从个体差异和电生理证据等两个方面提出建议。

4.1. 个体差异对回溯线索的影响

本文主要总结的是实验的客观过程对回溯线索效应产生的影响，尚未归纳人类本身的差异因素对回溯线索效应产生的影响。目前研究在此方向的探索主要有两个方面。一方面是个体工作记忆能力与回溯线索效应之间关系。Robison和Unsworth (2017)先利用运算跨度等注意控制测试对被试进行测试，之后再利用回溯线索范式研究个体过滤能力，具体而言，就是将记忆阵列不同方向的色条分为红、蓝两色，回溯线索提示被试测试阵列将出现的项目颜色，如果回溯线索提示红色，那么，被试的任务是判断测试阵列出现的红色项目是否与记忆项目是一致的，而过滤蓝色项目，反之，如果提示红色，则要过滤蓝色。他们将被试的注意控制测试结果与视觉工作记忆的过滤实验结果进行回归分析，证明注意控制与个体工作记忆的过滤能力有关。又因为早在2006年Cowan等人借助脑电证明了视觉工作记忆取决于注意过滤(Cowan & Morey, 2006)，最终可以得出注意控制与个体视觉工作记忆容量有关的结论。之后，Ye等人(2021)对个体工作记忆容量与获得的回溯线索效应优势的大小进行研究，利用了变化检测范式测量被试的记忆容量，并分为高低容量被试，之后再进行回溯线索优势的实验，再对两次实验结果进行相关分析，发现个体工作记忆容量大小与可以获得多少回溯线索优势无关。关于内部注意与个体视觉工作记忆之间的其他关系尚不明确，未来需要在这个领域进行进一步的探索。另一方面，是不同群体的特征与回溯线索效应的关系，即不同群体利用回溯线索的差异。当前已有关于不同年龄层利用回溯线索的差异的研究(Loaiza & Souza, 2018; Maniglia & Souza, 2020; Shimi et al., 2014; Strunk et al., 2019)，这些研究发现，年轻人与老年人使用回溯线索之后的记忆成绩没有显著的差别，而儿童不能很好地使用回溯线索，导致记忆的提升较小。此外，还可以探索正常人群与心理异常以及处于特定的情绪状态下的人群的回溯线索使用差异，从而进一步挖掘特殊群体与正常群体之间认知加工过程的差别。

4.2. 在电生理方面对回溯线索效应的探索

先前的研究主要是从行为实验方面研究回溯线索效应的影响因素，但电生理方面的研究较少。采用电生理技术得出的结果可以更加直观地反映认知加工过程，为回溯线索效应的理论提供更有力的证据。近年来开始有少量研究将回溯线索与电生理技术相结合，Liang等人(2019)利用双任务范式与脑电成分CDA与alpha波偏侧化相结合，进一步证实了内部注意与视觉工作记忆的密切关系。未来可以再深入探究影响回溯线索效应的相关神经机制。

基金项目

本研究由国家自然科学基金(31700948)资助。

NOTES

^*通讯作者。