意义扩大了视觉工作记忆能力

Meaningfulness Expand Visual Working Memory Capacity

摘要: 视觉工作记忆传统上是使用抽象的、无意义的刺激。尽管使用这种简化刺激的研究在理解视觉工作记忆机制方面有深刻的见解，但它们也可能限制了我们理解人们如何在现实世界中编码和存储概念丰富和有意义的刺激的能力。最近的研究表明，与现有知识相关的有意义的视觉刺激比抽象的颜色或形状更容易被记住，这表明意义可以释放额外的工作记忆能力。这些发现挑战了当前的视觉工作记忆模型，并表明它的能力不是固定的，而是取决于被记住的信息的类型，特别是这些信息如何与已存在的知识联系起来。

Abstract: Visual working memory is traditionally studied using abstract, meaningless stimuli. Although studies using such simplified stimuli have been insightful in understanding the mechanisms of visual working memory, they also potentially limit our ability to understand how people encode and store conceptually rich and meaningful stimuli in the real world. Recent studies have demonstrated that meaningful visual stimuli that connect to existing knowledge are better remembered than abstract colors or shapes, indicating that meaning can unlock additional working memory capacity. These findings challenge current models of visual working memory and suggest that its capacity is not fixed but depends on the type of information that is being remembered and, in particular, how that information connects to preexisting knowledge.

1. 引言

在日常生活中，我们面临着许多刺激，比如文字、面孔、景物等等，其中包含无意义、有意义的刺激，许多与我们持续的目标无关。人类保持有限的认知资源能力来有效地处理这些传入的刺激信息，个体会有选择地关注与任务相关的刺激，以加强对这些信息的处理是至关重要的(Ward et al., 2021)。之前传统研究视觉工作记忆使用的是简单、无意义刺激(比如线段、定向圈、色块等等)，认为视觉工作记忆能力或容量是有限的，维持在3~4个，认为对象数量是固定的(Bays et al., 2024)。

然而，最近的研究挑战了视觉工作记忆中一个容量固定限制的观点，证明了当人们被要求记住他们认为有意义的图像(如现实世界的物体)时，与简单和抽象的特征(如颜色、方向)相比，他们记忆得更好。这表明，视觉工作记忆受到意义的影响，不应该仅仅被认为是纯粹涉及低水平的视觉过程。本文回顾了近几年使用有意义刺激的视觉工作记忆能力的研究，并讨论了它们对当前工作记忆理论的影响(Chung et al., 2024)。

2. 视觉工作记忆

2.1. 定义

视觉工作记忆(Visual Working Memory, VWM)是一种容量有限的认知系统，用于主动存储和操纵视觉信息。视觉工作记忆能力不是固定的，但因刺激类型的不同而不同：更有意义的刺激会被更好地记住(Brady & Störmer, 2022)。在没有连续视觉输入的情况下，物体的短期保留通常与视觉工作记忆有关：这是一种通过在短时间内缓冲有限数量的视觉信息来支持目标导向行为的系统。

视觉工作记忆是一种积极地维护视觉信息并保护其不受干扰的高度有限的认知系统。它的能力限制被认为反映了许多认知功能背后的核心约束因素，因此许多研究都集中在理解这些限制以及如何准确地测量它们上(Chung et al., 2024)。

2.2. 范式

变化觉察范式(Change Detection Paradigm)由Luck & Vogel (1997)在Phillips觉察范式的基础上提出来的。工作记忆存储表征的数量问题主要采用变化觉察范式进行探讨。这一直是，并将继续是当代VWM实证研究中最突出的范式(Nosofsky & Donkin, 2016)。这个范式包含3个阶段：首先是记忆阶段，向参与者展示具有多个特征的项目刺激；其次是刺激间隔阶段，此时屏幕为空白；最后是检测阶段，再次展示刺激，要求参与者判断新刺激与之前的刺激是否一致，可以通过回忆或再认方式回答。

根据检测方式不同，变化觉察范式可以分为整体检测法(Whole Display Test)和单项目检测法(Single-probe Test)。整体检测指检测阶段的检测项与记忆阶段的记忆项数量相同，检测阶段中的一个检测项可能发生变化，要求被试判断检测项与记忆项是否完全相同。单项目检测是指检测阶段只呈现一个检测项，该检测项与记忆阶段上某一个位置上记忆项相同或不同，要求被试判断该检测项是否在记忆阶段出现过。变化觉察范式中，研究者通常采用一个简单的语音抑制任务，以防止语音编码对视觉工作记忆的干扰。

该范式以反应时和正确率为指标，而随着研究方法的进步，人们发现考察虚报概率能更准确地衡量工作记忆的表现，因此也开始使用信号检测论中的辨别力指标d’值。

2.3. 视觉工作记忆容量理论模型的争议点

关于视觉工作记忆容量模型一直是存在争议点，先前大部分的研究者支持视觉工作记忆容量存在上限或者支持容量是固定的观点。“插槽模型”和“插槽–平均模型”都认为个体存储的项目数量存在固定上限，这个固定上限数目取决于个体的记忆插槽数量(李晓松，2022)。而后来研究者又提出了“灵活资源模型”，该理论模型认为个体存储的项目数量不存在固定上限，个体可以通过对资源的灵活分配从而不受限制地提高记忆数量(Bays et al., 2009)。

Luck and Vogel (1997)的研究结果表明视觉工作记忆的容量约为4个项目，说明了视觉工作记忆容量的有限性。但是，也有研究得出了与之相反的结论，认为在面对现实世界的复杂刺激时视觉工作记忆容量可以不断变化，视觉工作记忆表征在记住真实世界的物体时比记住简单的颜色持续积累信息的时间更长，这表明视觉工作记忆并不总是包含先前基于简单刺激(无意义刺激)的研究所描述的固定容量，而是一个灵活的系统，其容量随刺激类型的不同而变化(Brady et al., 2016)。与无意义的刺激相比，有意义的刺激具有更好的工作记忆容量，还发现日常物体的VWM容量超过了4个项目的最大常规估计，因为检测到的k值约为4.7 (Brady et al., 2016)。值得注意的是，日常事物与简单刺激的区别不仅在于它们的意义，还在于它们的视觉复杂性(Hu & Jacobs, 2021)和它们所提供的项目间的独特性。

有趣的一点是，最近的研究表明，即使当有意义的刺激的视觉特性与无意义的刺激的视觉特性相似(Asp et al., 2021)。有意义刺激和无意义刺激之间也会有差异，因为意义可以不同地影响重复和独特的条件。一种可能性是，对于有意义的对象，重复条件和唯一条件之间的差异会更大。这可能是因为有意义的项目产生了更强的记忆表征，可以增强刺激之间的区别。这种显著性可以提高VWM的表现，特别是在独特的情况下，因为当一小组项目重复出现时(即，在重复的情况下)，这种显著性可能会降低(Shoval & Makovski, 2022)。有意义刺激有很强的记忆表征，刺激的意义性、出现的唯一性和重复性，也会影响视觉工作记忆的记忆表征精度。

3. 有意义刺激视觉工作记忆研究概述

最近的研究使用了视觉上更复杂和语义丰富的刺激，比如真实世界物体的图像，并且发现相对于无意义和抽象的刺激，参与者对这些有意义的刺激记忆更多(Brady et al., 2016; Brady & Störmer, 2022; Thibeault et al., 2024; Torres et al., 2023)。一些研究认为，较长的编码时间可以提高简单刺激和真实世界物体的工作记忆表现(Li et al., 2020; Quirk et al., 2020)。

在Brady et al. (2016)的研究中，研究者首次采用真实客体作为实验材料，通过操纵刺激呈现的时间来对比了简单客体(无意义的色块)及真实客体在VWM中的存储机制。研究发现，当刺激呈现时间为200 ms时，人们记忆简单色块和真实客体的绩效没有显著差异，并且都维持在3个客体的数量；当刺激呈现时间延长至1000 ms和2000 ms时，人们对于色块的记忆容量并没有显著提升，而对真实客体的记忆容量出现了显著上升的趋势。人们对简单客体和真实客体的VWM记忆随着编码时间的延长而出现了不一致的结果，这个结果暗示了人们对真实客体的VWM容量并不符合固定容量模型假设。

Li et al. (2020)的研究重复了Brady et al. (2016)的研究，但并未发现与之相同的结果，无论是简单色块，还是真实客体，都会随着编码时间的延长而出现存储容量上升的状况。Brady et al. (2016)的研究似乎预示了这样一个结论，即视觉工作记忆存储容量并不是固定不变的而是随着实验刺激类型的不同而不断变化，而实验中出现的这一结果，则归因于真实客体相较于简单客体包含了额外的丰富的概念特征。有研究表明，真实客体的视觉工作记忆存储可能并不会由于真实客体包含了丰富的概念信息而显著地优于简单客体的视觉工作记忆存储。相反，人们对真实客体与简单客体的视觉工作记忆存储绩效都会随着编码时间的延长而出现增益(Li et al., 2020)。

Asp et al. (2021)表明，当模糊的面部刺激被识别为有意义的(即作为一张脸)时，其记忆效果比未被识别但视觉复杂性相匹配的刺激更好，这证明了意义在支持视觉工作记忆方面的选择性作用，VWM表现得到改善。Conci et al. (2021)证明，当颜色–形状组合形成有意义的刺激(例如，欧洲国家的真实旗帜)时，比形成无意义的刺激(“假”旗帜)时，VWM表现更好。这说明刺激意义性的高低会影响视觉工作记忆的表征精度。相对于抽象形状，对有意义刺激的能力的增加已经在行为表现(Brady & Störmer, 2022; Brady & Störmer, 2024)和持续的神经活动(Asp et al., 2021)方面得到了证明。

Chung et al. (2023c)的研究发现视觉对象的意义不仅可以快速自动检测到，而且甚至可以被编码到工作记忆中，并在没有明确任务要求的情况下保持短期任务。这进一步表明，有意义的特征在工作记忆表征的结构中发挥着重要的作用。一开始，对视觉工作记忆的初始编码会受到许多因素的影响，比如自上而下的注意调制(Teng et al., 2022)或学到的知识(Asp et al., 2021; Hedayati et al., 2022; Ngiam, 2023; Xie & Zhang, 2022)。在没有意义的情况下编码和存储视觉信息的能力十分有限，这可能是因为语义/概念信息对于将独立的视觉特征结合在一起是必要的。这种“粘合”过程可能发生在编码或存储期间(Shoval et al., 2023)。

最近关于意义在视觉工作记忆中的作用的研究表明，这些关联可以在更长的时间间隔内保持，从而在整个编码、维持和检索阶段发挥更持久的作用。总的来说，这表明，由于他们使用了简单的刺激，许多过去的工作记忆研究系统地低估了我们处理和记忆信息的能力(例如，在更自然的环境中，信息不是简单和抽象的，而是概念丰富和有意义的)。

4. 与情景长期记忆和语义长期记忆的关系

为了理解意义在视觉工作记忆中的作用，要重点考虑长期记忆，一种基本上具有无限容量的被动记忆存储(Brady et al., 2008)。为了更好的理解意义在视觉工作记忆中发挥的作用，需要单独考虑不同类型的长期记忆。情景长期记忆指的是在特定时间看到的特定物品的记忆表征。语义长期记忆指的是以前学到的广泛的概念知识，这些知识大多与上下文无关(比如知道一辆车是什么样的，它被用于什么)。

然而，大多数研究意义在视觉工作记忆中的作用的研究，并不鼓励甚至不允许，被试形成对任务相关特征的情景性长期记忆(Asp et al., 2021; Brady & Störmer, 2022)。所使用的特定刺激不会在任务开始之前进行观看或学习，而在实验过程中，会以随机的顺序和随机的位置呈现，并且在大多数的研究中，没有重复或最低限度地重复。因此，没有特定的情景性长期记忆可以形成并用于执行这些任务。相反，是视觉刺激激活了先前存在的关于它们的广泛的概念或语义知识，而这种语义记忆——而不是情景性长期记忆的参与——提高了工作记忆的表现。Brady & Störmer (2022)也通过ERPs指标证明人们在真实客体存储中容量的提升并非由于视觉情景长时记忆(Visual Episodic Long-Term Memory; VLTM)的原因所致。

前人研究提出了语义意义和已存在的知识可能有助于视觉记忆，现有的知识和分类信息也在很大程度上提高了视觉短期记忆任务的表现(Asp et al., 2021; Brady et al., 2016; Conci et al., 2021; Shoval & Makovski, 2022)。Shoval et al. (2023)认为意义不仅有助于视觉记忆，而且对记忆大量的视觉信息也相当重要。例如，在视觉工作记忆中，研究表明，先验知识可以产生更大的记忆容量(Brady et al., 2008; Feigenson & Halberda, 2008)，同样的机制可能也有助于对长期记忆的编码。也就是说，在没有意义的情况下，编码和存储视觉信息的能力是相当有限的，这可能是因为语义/概念信息对于将独立的视觉特征绑定在一起是必要的。这个“粘合”过程可以在编码或内存存储期间发生。另外(但不是相互排斥的)，概念意义可以作为一个有效的检索线索，促进准确的识别。

5. 有意义的视觉工作记忆表征的结构

被试记忆无意义材料或有意义材料时，当记忆显示有更多有意义的材料时，被试有更高的记忆表现和增加的神经延迟活动。这些工作记忆容量的增加是由于被试的主观感知，不是由刺激的物理特性驱动；视觉工作记忆的存储能力不是固定的，但更有意义的刺激会吸收额外的工作记忆资源，从而使它们能很好的被记住。视觉工作记忆的表现可能受益于刺激的感知意义：当记住与一个概念相关的图像时，该图像的记忆效果要好于将相同的视觉信息视为没有意义的东西(例如，无意义的黑白形状)时的记忆效果(Asp et al., 2021)。Asp的研究还表明视觉工作记忆中的主动存储受到有意义的感知刺激的调节，这些刺激会增加额外的存储容量。有意义的身份影响高级视觉区域中视觉工作记忆的表征，但没有改变低级空间参考框架的使用；工作记忆刺激如何编码和保持的背景，特别是刺激对观察者有多大的意义，可以显著影响视觉工作记忆表征的强度(Chung et al., 2023c)。

一个层次结构的记忆系统工作的框架，其中更低层次的表征与更高层次的表征直接相关，预测即使是简单、低级的特征也应该受到刺激意义的影响。事实上，最近的研究发现，事实就是这样：如果对本身没有意义的简单低级特征的工作记忆性能会得到提高(Allen et al., 2021; Chung et al., 2023a, 2023b)。这些最近的研究结果可能表明，有意义的刺激可以作为一个有效的支架来编码和维持相关的低水平特征。这与之前的视觉工作记忆理论形成了对比，后者只假设了更高层次的抽象对象(Huang & Awh, 2018)。

6. 结论

本篇文章回顾了最近意义对视觉工作记忆作用的研究，研究发现，相对于简单特征和抽象形状，记忆有意义的刺激具有优势。这些发现挑战了以往传统视觉工作记忆研究中关于一般“固定”容量限制的观点，并表明容量比以前假设的更灵活、更大，很大程度上取决于维持的类型的信息。意义在工作记忆中的作用与它在长期记忆中的关键作用相似，其中语义理解也塑造了记忆表征。

在未来，关于视觉工作记忆研究工作，我们可以通过实验的方法，使用变化觉察范式或视觉搜索任务范式，通过眼动追踪技术、脑电技术，采用生理指标（比如注视时间、瞳孔指标、眼跳指标、脑电波等）来探究视觉工作记忆能力机制。可以探究当我们看到刺激，进行视觉输入时，是如何与我们已存在的知识（先验知识）相连接的，这些知识又是怎样构建工作记忆表征的，从而有能力来解锁额外的视觉工作记忆能力。