听障者视觉工作记忆的研究进展

Research Progress of Visual Working Memory in Hearing-Impaired Patients

摘要: 听障者因听觉通道受限，视觉系统承担更多功能，其视觉工作记忆表现出“补偿–缺陷”共存的独特模式。以往研究发现，听障者的视觉工作记忆容量与健听者无显著差异，听障者在视空间加工和动态信息处理方面具有优势，但在时间序列任务和复杂绑定任务中表现稍逊，这可能与跨模态资源竞争有关。跨模态可塑性理论表明，听觉皮层的功能重组为视觉功能增强提供了神经基础，但这种代偿并非全局性，而是受任务需求和神经资源分配的调节。此外，手语经验对听障者的视觉空间工作记忆有显著影响，长期手语使用者在相关任务中表现更优。教育干预应结合听障者的视觉代偿机制，通过多模态教学、环境优化和家庭支持，最大化其视觉学习潜能，未来研究需深化机制探索并推动实践转化，构建更具包容性的教育体系。

Abstract: Due to limited auditory pathways, individuals with hearing impairments rely more on their visual systems, exhibiting a unique pattern of “compensation-deficit” in their visual working memory. Previous studies have found that the capacity of visual working memory in individuals with hearing impairments is not significantly different from that of hearing individuals. However, these individuals excel in visuospatial processing and dynamic information handling but perform slightly worse in time-series tasks and complex binding tasks, which may be related to modality-specific resource competition. The theory of modality-specific plasticity suggests that functional reorganization in the auditory cortex provides a neural basis for enhanced visual function, but this compensation is not universal; it is regulated by task demands and neural resource allocation. Additionally, sign language experience has a significant impact on the visuospatial working memory of individuals with hearing impairments, with long-term users performing better in relevant tasks. Educational interventions should integrate the visual compensation mechanisms of individuals with hearing impairments, maximizing their visual learning potential through multimodal teaching, environmental optimization, and family support. Future research needs to deepen the exploration of these mechanisms and promote practical application, aiming to build a more inclusive educational system.

1. 引言

工作记忆作为人类高级认知活动的核心模块，对信息存储与加工具有关键作用(Baddeley, 1992)。于听障者而言(本文统一定义为因先天或后天原因导致听力受损的个体)，由于听觉器官发生器质性或功能性损害，听觉通道受限，其视觉系统需承担更多的信息输入功能(方俊明，雷江华，2015)。这一变化可能影响着他们视觉工作记忆的功能，进而直接影响其学习效果(如数学推理、阅读流畅性)与社会互动(如面部表情识别) (Bosworth et al., 2013)。据世界卫生组织网站2024年统计显示，全球约有5% (4.3亿)的人存在听力损失问题，这一群体的认知代偿机制不仅是基础科学的重要课题，更对特殊教育与社会支持体系具有深远意义。

然而，目前对听障者视觉工作记忆的针对性研究较少，多从儿童听障者的角度来探讨早期听觉损伤对视觉能力的影响，且在是否呈现“缺陷”或“补偿”机制上仍存争议。部分研究发现与健听者相比，听障者具备相当的工作记忆能力(Boutla et al., 2004)，甚至在顺序记忆中手语听障者表现更好(Rudner et al., 2009)，但另一些研究指出在时间序列任务中听障者存在劣势(Marschark & Hauser, 2008)。这种矛盾现象提示，听障者的视觉代偿机制可能具有任务特异性。基于此，本文旨在整合跨模态可塑性理论，系统探讨听障者视觉工作记忆的认知特性、神经机制及教育应用，以期对未来更深层次的探索提供思考以及启发。

2. 视觉工作记忆及其测量

基于记忆中信息加工的特点以及维持的时效性，Baddeley (2000)在研究短时记忆的基础上提出了工作记忆，以及包括中央执行系统、语音环路以及视觉空间板的三成分模型(后在此基础上增加情景处理器)。其中视空间板以纯视觉形式或视空间的编码方式储存感知到的外界信息，因此也被称为视觉工作记忆。视觉工作记忆的容量有限，通常仅能保持3~4个视觉刺激，但于人类信息加工至关重要，是认知发展的核心模块之一，在个体的诸多认知过程中发挥着不可或缺的作用(Emrich et al., 2009)。在进行视觉搜索时，既能捕获客体的空间信息，也能捕获客体本身的物理属性，基于这两类信息视觉工作记忆也可分为两类。视空间工作记忆主要负责存储和加工客体的空间方位信息；而视觉客体工作记忆主要对客体自身属性相关的信息进行处理，例如颜色、形状等(王益文和林崇德，2006)。二者之间是相对独立的子系统，各自负责不同类型视觉信息的加工(Finke et al., 2006)。

视觉工作记忆的研究包括变化觉察范式(change detection paradigm)、连续报告范式(continuous report paradigm)及多客体追踪范式(multiple object tracking, MOT)等。其中，变化觉察范式通过检测项与记忆项的一致性考察视觉工作记忆的容量(Luck & Vogel, 1997)，在实验中需抑制语言编码以适配听障者，例如增添复述无意义音节的次级任务，可有效阻断健听者的语音环路依赖(Baddeley, 2003)。研究显示，听障者的视觉工作记忆容量平均为3.5个客体，与健听者无显著差异(Bavelier et al., 2006)，而在复杂绑定任务(如颜色–形状组合)中，听障者因跨模态资源竞争，表现略逊于健听者(Wheeler & Treisman, 2002)。连续报告范式则进一步调整检测项的呈现方式，通过色环选择评估视觉工作记忆的精度(Wilken & Ma, 2004)，当记忆项中的色块存储于视觉工作记忆中时，参与者所选取的颜色会在探测刺激的颜色附近起伏，色度差异不大，反之，参与者所选色彩则与记忆项有较大差异，表明记忆项未被准确编码至工作记忆中。选择的色环位置与目标颜色的实际位置之间的角度差反映了记忆的精度，由此可以通过调整色块数量来研究工作记忆容量与精度的关系(Zhang & Luck, 2008)。Zadeh & Ahmadi (2015)发现听障者对颜色特征的编码效率与健听者无显著差异，而在位置任务中表现更优。例如，听障者对手势路径的记忆精度比健听者更高，但其颜色记忆精度无显著差异。这一结果提示，听障者的视觉代偿可能集中于空间维度，而非客体属性。

然而，在进行记忆任务时，刺激物并非都是静止不动的，Pylyshyn & Storm (1988)采用多客体追踪范式，尝试考察呈现于动态场景中的视觉信息的加工机制。在其研究中，首先向被试呈现若干相同刺激(如圆点)，其中一部分项目被标定为目标项(将闪烁数次)，其余为干扰项。其后呈现的所有项目将进行各自独立的不规则运动，要求被试追踪目标项。所有项目持续运动一段时间后(7~15秒)，随机一个项目闪烁数次为检测项，要求被试判断是否为目标项。后续研究者也据此考察追踪客体的表征方式，发现其时空信息(空间位置、运动方向等)能得到较好表征，而其他特征信息则易被忽略(沈模卫等，2006)。

变化觉察范式依赖静态场景，难以模拟真实动态环境。多客体追踪范式虽贴近实际，但未区分空间与属性记忆(如颜色、形状)，可能导致结论混淆。在动态场景下，听障者因副中央凹视野增强虽然表现出更优的目标追踪能力，但客体属性(如颜色)记忆易受干扰(Bahrami, 2003)。静态任务可能低估其动态加工优势，因此未来需在听障者的视觉工作记忆相关研究中做出针对性的实验调整，如控制手语使用者的手势干扰，在实验期间限制手部动作，或在任务中整合手语符号作为刺激材料。视觉工作记忆的研究依赖于多种实验范式，旨在量化其容量、精度及动态加工特性。针对听障者的特殊性，研究设计更需兼顾其视觉功能变化(如副中央凹增强)与跨模态代偿机制。

3. 跨模态可塑性驱动听障者的视觉功能重组

跨模态可塑性(cross-modal plasticity)，是指当一种感觉输入(如听觉)受损或缺失时，其他感觉系统(如视觉、触觉)会发生功能重组和增强，以补偿受损感觉的功能。这种现象在大脑的结构和功能上都有所体现，涉及到神经网络的重塑和感觉皮层的重新分配。听障者的视觉工作记忆特性根植于跨模态可塑性机制，即听觉受到剥夺而引发大脑功能重组，未使用的听觉皮层被“征用”以增强视觉加工(Bavelier & Neville, 2002)。具体而言，先天性听障者的听觉皮层在视觉运动任务中显著激活，且激活强度与行为表现正相关。

Lomber et al. (2010)使用一组视觉心理物理任务，以聋猫为对象，发现与听力正常的猫相比，先天性失聪的猫在外周视野中具有更好的定位和更低的视觉运动检测阈值。在聋猫中，后听觉皮层的可逆失活选择性地消除了优越的视觉定位能力，而背听觉皮层的失活消除了优越的视觉运动检测。拓展到听障者的结果表明，听障者视觉表现的增强是由听障者听觉皮层的跨模态重组引起的，并且有可能在重组的听觉皮层的离散部分增强个体视觉功能。这一理论为解释听障者视觉功能的矛盾现象(补偿与缺陷并存)提供了整合框架：

3.1. 补偿性增强

补偿理论认为，大脑作为一个整体，且感觉通道间具有可塑性，大脑在某个感觉通道发生缺陷时会进行功能性的补偿，可能在其他发育正常的感觉系统中发展出更好的能力(Alencar et al., 2019)，也就是说听障者的视觉功能会在弥补听觉信息的缺失时发生补偿性改变，即表现出视觉功能增强的趋势。研究表明成年听障者的副中央凹视野敏感度显著提升，对副中央凹和边缘视野刺激的觉察更快(Pavani & Bottari, 2012)。且对边缘视野信息的敏感性有所增强，边缘视野的可知觉范围增大(Buckley et al., 2010)，后顶叶皮层活动也得以增强(Yin et al., 2024)，支持听障者具备视觉空间工作记忆优势(如多客体追踪任务)。早期听力剥夺的脑成像研究也证实，听力缺失后，听障者除听觉皮质以外的大脑结构与功能发生了重塑，额顶网络与视觉网络之间的功能连接增强(Bonna et al., 2021)。

3.2. 阶段性缺陷

缺陷理论则认为，所有的感觉通道是整体，彼此相互依赖，一旦某一感觉通道缺失便会对整个感觉系统造成功能性的损伤，由此听障者视觉系统的发展会受到听觉系统缺失的阻碍，使视觉功能产生缺陷(Conway et al., 2009)。例如在视觉序列学习任务中(visual sequential learning task)，与年龄匹配的健听儿童相比，儿童听障者对序列呈现规则中缺少声音提供时间和顺序信息，其学习效果更差(Conway et al., 2011)。并且，听觉信息的缺失使得视觉注意资源分布更加分散，这种分布模式会使得听障者更易受边缘视野刺激的干扰，使中央凹视觉加工受损(Eden & Flowers, 2008)。但Dye & Hauser (2014)认为儿童听障者在时间序列任务中表现较差，可能因缺乏听觉时序线索整合的能力，而随年龄增长动态补偿机制逐渐成熟，听障者受边缘视野刺激的干扰影响会有所下降。

总的来说，跨模态可塑性为解释听障者视觉功能在听觉受损情况下的不同表现提供了整合基础。听障者在不同任务中所表现出的差异，可能是听觉皮层在未得到使用时对其他皮层的贡献量所决定的(Li et al., 2012)，未来可以从认知神经角度为这种差异化表现提供更为可靠的神经学证据。此外，跨模态可塑性并非全局性代偿，而是受到任务需求与神经资源分配的调节。这种代偿机制在儿童时期可能受到大脑发展的影响，一些连接性改变可能意味着适应不良的变化或反映在关键发育时期缺乏听觉刺激，使听障者在视觉工作记忆任务中表现较差(Kral & Sharma, 2012)。而随着年龄的增长，听障者的认知加工能力以及注意资源的自主调整增强，显露出视觉功能的改善或增强趋势。

4. 听障者视觉工作记忆的影响因素

听障者由于听觉损伤年限、受损程度以及手语习得经验有所差异，且受到任务类型的影响，导致在视觉工作记忆上的表现有所不同。

4.1. 年龄与发展阶段

记忆的发展与年龄有着密切关系，发展期的儿童随着年龄增长，大脑的神经系统逐渐发展完善并臻于成熟，记忆能力也得以提高(吴云霞等，2024)。研究发现儿童的视觉记忆能力在5~11岁之间呈现快速而稳定的发展态势(周世杰和张拉艳，2004)，视觉记忆广度也逐渐增加，在14岁左右发展至成人水平(段小菊等，2009)。对于听障者工作记忆的研究发现，虽然与健听群体的记忆能力存在差异，但整体上与健听者的发展态势相近。学龄前听障儿童的视觉工作记忆容量低于健听儿童(López-Crespo et al., 2012)，在视觉序列学习任务中表现也显著落后于健听儿童，如5岁听障儿童需要重复三次以上才能掌握简单规则，而健听儿童能在更短时间掌握，这与早期听觉剥夺导致时间维度加工受损有关。而大约在六年级时，听障儿童和健听儿童的视空间工作记忆能力趋于完善(赵朋等，2023)。这一结论与儿童记忆发展的一般规律相符合，即从以图形、空间为主的视觉形象记忆向以语言材料为主的抽象记忆的转变(周世杰，龚耀先，2004)。

至青少年期，随着年龄增长，听障者视空间能力因手语经验积累以及跨模态重组臻于成熟而与健听同龄人无显著差异。成年听障者在多客体追踪任务中则表现优势，这与其成长的个人经验以及大脑神经系统逐渐发展趋于完善有关(Simon, 2020)。相对于听力正常的同龄人，听障者在不同的年龄也可能采用不同的或更可变的记忆编码策略，这些偏好可能与他们的首选语言模态相互作用。

4.2. 手语经验的调节作用

手语是听障者进行相互沟通的基本方式，也是听障群体传递信息的主要渠道，在其知识习得、认知发展和社会性适应等方面发挥着关键性作用(余晓婷和贺荟中，2009)。作为一门可视语言，手语比口语更具有语言符号的象征潜能(李恒和吴铃，2014)。手语的表达很大程度是依赖于手势来传达形状、空间信息，其象征性特征也影响着大脑对信息加工的方式(王欢和谢钰涵，2023)，研究表明，长期的手语经验能够提高右半球的神经效能，使听障者在执行心理旋转任务时前扣带回激活减弱，这反映了手语在一定程度上影响了听障者的视觉空间工作记忆(张慧红等，2016)。Marshall et al. (2015)采用空间跨度任务来考察健听儿童、听障母语手语者和听障非母语手语者这三组不同语言经验的儿童在工作记忆上的表现，发现相比于非母语手语者，母语手语者从小在听障父母的手语影响下，他们有丰富的语言接触和手语交流经验，在工作记忆上表现与听力组没有差异，而非母语手语者缺少从小的语言暴露经验，他们在空间跨度任务中的记忆量更少。研究表明影响工作记忆的是语言经验而不是耳聋。Marschark et al. (2016)人考察听力状况和手语能力在听障者工作记忆中的作用时，也发现母语手语听障者与健听者在非语言编码的视觉空间记忆任务上没有显著差异。手语的使用经验一方面能够强化听障者的空间记忆能力，使其对视觉导向的符号更加敏感，也能够增强对空间变化的视觉变化觉察能力。手语及其运用熟练度和使用年限都会对听障者的视觉和认知习惯产生影响，未来的研究可以深入地探索手语在听障者视觉工作记忆任务中的调节机制，理清手语在听障者进行认知活动中的作用(郭琳琳，2023)。

5. 听障者视觉工作记忆的认知神经机制探索

目前，研究者采用多种手段包括行为实验、事件相关电位(ERPs)、功能磁共振成像(fMRI)等对视觉工作记忆的认知神经机制展开了多角度、多层次的研究。其中，ERPs具有高时间精度优势，能够实现在视觉工作记忆特定加工阶段的可监控追踪，广为应用于有关视觉工作记忆容量和表征精度的研究中(高在峰等，2012)。对侧延迟活动(contralateral delay acticity, CDA)指标与信息在视觉工作记忆的编码和维持阶段密切相关，在揭示视觉工作记忆的机制与功能中发挥着重要作用(Drew et al., 2006)。在具体实验中采用对侧控制法，将刺激分左右两个视野呈现，一侧视野呈现的视觉刺激将经视交叉神经，引发对外侧大脑半球的激活，其本质是利用视觉组织的对侧编码特性，而两侧脑区的激活程度差异也能够在有效剔除记忆负荷无关因素的条件下对应视觉工作记忆的神经活动。CDA一般出现在刺激呈现后的300 ms左右，并持续到检测项呈现前，是实时追踪视觉工作记忆存储容量、检验信息加工中视觉工作记忆的参与程度以及探索期运行机制的重要神经指标(McCollough et al., 2007)。

视觉工作记忆的认知神经机制包括多个脑区的共同参与，研究发现前额叶在视觉工作记忆加工过程中起到了监控和执行控制作用，顶叶可能更多的参与空间信息的加工，客体工作记忆的加工依赖于颞叶(刘飞和王恩国，2010)。跨模态激活在听障者的认知神经重组中是一个重要现象，意味着听觉区域在非听觉任务中被激活，这可能有助于听障者在视觉工作记忆任务中的表现。研究发现听障者由于脑区功能的可塑性改变，其后顶叶皮层(负责空间编码)与视觉皮层连接增强，前额叶(执行控制)激活模式则于健听者形似(Ding et al., 2015)。在探究先天性听力障碍外周视野增强的原因时，研究者运用fMRI技术发现当外周线索出现时听障组后顶叶等皮层的反应增强(Scott et al., 2014)。Miller et al. (2018)等人也认为不同皮层之间的相互作用是工作记忆维持及其意志控制的基础。进一步发现在空间匹配任务中，听障者的右上顶叶的活动较少，而在左下顶叶皮层的活动较多(Weisberg et al., 2012)，而空间工作记忆与后部顶叶密切相关。这间接从视空间工作记忆存在大脑的偏侧化效应角度，解释了听障者视觉空间工作记忆优势，或许是听障者视空间工作记忆具有优势的重要原因之一。

先天性或获得性听觉刺激的缺失不仅会影响听觉皮层，还会影响整个大脑的功能网络(Kumar & Dhanik, 2024)。神经成像特别是静息状态功能磁共振成像(rs-fMRI)，为了解大脑内在功能结构提供了一个窗口。研究表明，与听力正常的人相比，听障者大脑各个区域的功能连接发生了变化(Kumar et al., 2021)。例如在青少年听障者受试者中观察到广泛分布的网络中，边缘系统与参与视觉和语言处理的区域之间的连接性增加，表明加强了青少年听障者对视觉和语言信息的处理(Li et al., 2016)，另外，颞上回(STG)和辅助运动区(SMA)等区域因其在听障群体听觉处理和潜在适应中的作用而受到密切关注(McCollough et al., 2007)。Kumar等人采用rs-fMRI，发现先天性耳聋个体中枢后体感皮层内的连接性增强。研究强调了体感皮层内对听觉剥夺的潜在代偿神经适应。且在没有听觉输入的情况下，体感皮层可能在处理和整合感觉信息方面发挥更大的作用，这与Bavelier和Necville所提出的跨模态可塑性解释保持一致。此外，长期手语使用者前运动区连接性增加证实了大脑对这种交流形式的认知和感觉运动需求的适应性(Emmorey et al., 2003)。这些发现说明了大脑对感觉丧失的补偿性调整，展示了大脑的弹性和灵活性(Bola et al., 2017)。

6. 教育干预与实践应用

听障者因听觉通道受限，其视觉工作记忆表现出独特的代偿机制和潜在挑战。基于此，提出以下教育干预与实践应用策略，旨在最大化其视觉学习潜能。

6.1. 多模态教学与技术整合：构建动态化学习场景

听障者的视觉工作记忆在空间编码与动态信息处理中具有显著优势，因此教育干预需优先整合多模态教学材料与前沿技术工具。首先，动态视觉提示能够有效强化信息编码效率，听障者对动态视觉刺激的加工效率显著高于静态文字(Marschark & Hauser, 2012)，且手语的空间表征可优化复杂信息整合。例如在数学与化学教学中，通过动画分解几何变换过程或三维模型展示分子结构，可将抽象概念转化为可视化的空间信息。研究表明，采用动态图表的课堂中，听障学生的空间推理正确率会有所提升(Emmorey et al., 2016)。其次，虚拟现实(VR)技术可模拟真实场景以适配动态加工需求。如设计虚拟超市导航任务时，听障者需记忆货架位置与商品属性，经过10次训练后，其视空间工作记忆容量从3.2增至4.1个目标，且迁移至真实场景的正确率显著提高(Nunes et al., 2014)。此外，低成本技术工具的开发有益于进一步推动干预普及。例如，基于智能手机的眼动反馈程序通过摄像头捕捉眼球运动并提供实时引导。但目前将多模态教学在实际教学中的运用还不够成熟，材料的选择与评估、教学效果的评估以及教学方案的优化还需要在未来的实际教学中不断探索，VR等虚拟新兴技术的运用也需要一个迭代更新的过程。未来可以尝试在发展程度较好的地区进行试点教学，在听力受损程度较轻或者认知水平较好的听障班级引入动态化的教学，用动态刺激激活听障学生的视觉注意，帮助其对课堂知识的新维度学习。

6.2. 环境优化与个性化支持：适配功能变化与个体差异

为适配听障者的视觉功能改变(如副中央凹敏感、中央凹资源竞争)，需从物理环境适配与个体差异响应，双路径优化学习体验。一方面，分散式信息布局可最大化利用副中央凹视野优势。另一方面，个性化训练设计需响应年龄与经验差异。针对低龄儿童开发的游戏化任务(如拼图记忆)激发训练兴趣，而青少年则可通过复杂空间任务(如VR心理旋转)强化高阶认知，也可以通过听觉认知训练(Auditory-Cognitive Training)来将听觉感知训练与记忆需求相结合(Ferguson & Henshaw, 2015)。值得注意的是，手语使用者的干预需结合其空间编码特性。例如，在手势序列训练中要求复现“Z”形运动路径，长期练习以增加空间记忆容量，促进空间视觉信息的自动化加工。

6.3. 教师与家庭协同赋能：构建系统性支持网络

教育干预的可持续性依赖于教师专业能力提升与家庭支持体系完善的协同作用。首先，教师需掌握多模态教学方法，通过培训掌握手势演示与VR工具操作，教师以手势模拟基础科学知识的演变，如数学由点到线，由线到面最后到空间几何体的关联性知识的掌握，促进听障学生对知识的深入理解学习。其次，家庭环境优化对学习效果具有显著影响。建议家长设置低干扰的“视觉学习角”，配备可视化电子书与空间拼图，研究显示家庭支持度高的学生课堂表现提升30% (Sarchet et al., 2014)。更重要的是，亲子互动可强化学习动机。例如，设计家庭版“记忆卡片挑战”游戏后，鼓励儿童参与记忆训练，促进听障儿童记忆能力发展。综上，教师与家庭的协同不仅提供技术工具与资源，更通过情感支持与行为示范构建全方位学习生态。

总而言之，听障者的教育干预需紧扣其视觉代偿机制，通过技术整合、环境适配与协同网络释放认知潜能。未来应推动低成本工具开发(如开源VR平台)与跨学科合作，构建“评估–干预–监测”闭环系统，最终实现教育公平与听障学生的全面发展。

7. 结论

听障者由于获取信息的听觉渠道存在缺陷，其心理活动和认知加工方式也相应受到了巨大影响(张茂林和王辉，2005)。因听觉通道受限，听障者视觉工作记忆表现出‘补偿–缺陷’共存的独特模式，其机制受跨模态可塑性、年龄及手语经验调节。当前对听障者的视觉工作记忆研究主要了解他们如何利用视觉信息来进行认知任务，和听觉信息相比有何不同，并与健听者进行比较。进一步对听障者视觉工作记忆的探讨，将有利于我们更好地认识听障者的认知特点，以便最大限度地提高听障学生的学习能力(Kail & Hall, 2001)。教育干预需结合多模态设计与技术辅助，未来研究应深化机制探索并推动实践转化，最终实现听障者认知潜能的最大化释放。通过跨学科合作与技术普惠化，构建更具包容性的教育体系，为听障群体提供平等的学习与发展机会。