双模态双语者的研究路径——理论进展与方法学范式
Research Paths in Bimodal Bilinguals—Theoretical Advances and Methodological Paradigms
DOI: 10.12677/ap.2025.1511583, PDF, HTML, XML,   
作者: 张念秋:天津中医药大学管理学院,天津;陈 彧*:天津中医药大学管理学院,天津;东南大学外国语学院,江苏 南京;东南大学外国语言与认知研究所,江苏 南京
关键词: 双模态双语者抑制控制模态通道分离语言控制Bimodal Bilinguals Inhibitory Control Modality Channel Separation Language Control
摘要: 双模态双语者同时使用一种口语和一种手语,这种跨模态的语言交流为研究语言与认知的关系提供了独特视角。本文系统梳理了该双模态双语者的语言机制的理论进展与方法学范式。研究表明,双模态双语者的语言加工机制显著区别于单模态双语者,其语言控制更依赖于输出通道选择而非抑制机制,词汇通达呈现并行激活与非竞争性特点。这些发现催生了模态通道分离假说、并行激活–非竞争选择模型等新理论框架。研究方法也从生态化观察范式扩展到行为实验和多模态神经成像技术。本文进一步探讨了当前理论争议和方法学挑战,并提出未来研究应关注中国手语–汉语体系、发展性研究以及应用转化。
Abstract: Bimodal bilinguals, who use a spoken language and a sign language simultaneously, offer a unique perspective for investigating the relationship between language and cognition through cross-modal communication. This article systematically reviews theoretical advances and methodological paradigms in the study of their language mechanisms. Research demonstrates that the language processing mechanisms of bimodal bilinguals are fundamentally distinct from those of unimodal bilinguals, with language control relying more on output channel selection rather than inhibitory mechanisms, and lexical access characterized by parallel activation and non-competitive selection. These findings have spurred the development of new theoretical frameworks, such as the Modality Channel Separation Hypothesis and the Parallel Activation-Non-Competitive Selection Model. Methodologically, the field has expanded from ecological observational paradigms to behavioral experiments and multimodal neuroimaging techniques. This review further discusses current theoretical debates and methodological challenges, proposing future research directions focusing on the Chinese Sign Language-Mandarin system, developmental studies, and practical applications.
文章引用:张念秋, 陈彧 (2025). 双模态双语者的研究路径——理论进展与方法学范式. 心理学进展, 15(11), 90-100. https://doi.org/10.12677/ap.2025.1511583

1. 引言

长久以来,双语现象的研究是探索语言与认知关系的焦点。然而,既有研究范式几乎完全建立在单模态双语者(unimodal bilinguals)的基础之上,即所习得的两种语言共享同一输入和产出通道的个体(如中–英双语者)。基于此,产生了诸多极具影响力的理论模型,其中以Green (1998)的抑制控制模型(Inhibitory Control Model)为典型代表。该类模型的核心假设在于:双语者的两种语言在单一输出通道中竞争资源,因此需要对非目标语言进行抑制,其语言控制机制在本质上是解决模态内部冲突的过程。

双模态双语者(bimodal bilinguals),即同时掌握一门口语和一门手语(如汉语/中国手语、英语/美国手语)的双语习得者(方燕红等,2022)。这一群体的出现,对这一理论基石提出了根本性的挑战。由于其两种语言分属不同的输入和产出模态(听觉–口语通道 vs. 视觉–手势通道),它们从物理层面上规避了最直接的输出竞争。这种独特的情景引发了一系列新的研究问题:当输出通道分离时,语言加工是否还需要抑制?其语言控制的机制是抑制性的还是选择性的?手语与口语能否实现并行产出?这些问题使我们重新审视双语理论的普适性,并促进了旨在探究双模态双语者独特认知过程的方法学创新。由此,双模态双语者的语言机制的研究逐渐形成了一条独具特色的研究路径:它始于对特殊语言现象的观察,进而驱动研究范式的完善与创新。而这些新范式所获得的实证发现,又不断反馈于理论模型的修正、挑战与建构。理解这一路径,对于把握双模态双语者研究领域的全貌至关重要。

本文旨在系统梳理这条“理论进展与方法学范式”交互的研究路径。文章将首先回顾双模态双语研究如何挑战和修正基于单模态双语的传统理论,继而系统阐述用于解决这些疑问所发展出的多元化方法学范式;进而通过典型研究,剖析理论问题与方法工具如何相互促进。最后,文章将讨论当前面临的整合性挑战,并展望未来研究方向,特别是基于中国手语–汉语体系的研究潜力。通过这一综述,我们希望揭示双模态双语研究不仅深化了我们对语言大脑的理解,更为我们展示了理论与方法在科学探索中相互促进的发展过程。

2. 理论演进的核心议题与理论挑战

2.1. 对经典抑制控制理论模型的挑战

双模态双语研究理论挑战的起点源于单模态双语的核心理论——抑制控制模型(Inhibitory Control Mode) (Green, 1998)。该模型认为,双语者的两种语言在产生过程中会同时激活并竞争有限的认知资源。由于单模态双语者的两种语言共享同一个输出通道(如发音器官),这种竞争必须通过认知控制来解决,其核心机制即通过抑制非目标语言的表征来确保目标语言的准确输出。这种主动的抑制过程需要消耗认知资源,因此,在需要进行语言切换时,个体必须解除对先前语言的抑制,从而产生可测量的行为代价,即切换成本。这一模型成功地将单模态双语者的行为表现与其认知控制过程联系起来,成为该领域的奠基性理论。然而,双模态双语者独特的语言配置,其两种语言分属不同的感知–产出模态,从物理层面上规避了最直接的输出竞争,这对抑制控制模型的核心假设构成了根本性质疑。

首先,行为实验提供了最直接的证据。研究者采用经典的图片–词汇干扰任务对此进行了检验。在该任务中,双模态双语者并未表现出单模态双语者身上常见的语义干扰效应;相反,当干扰词与目标图片的名称构成翻译对等关系时,其命名反应时反而显著缩短,表现出清晰的促进效应(Giezen & Emmorey, 2016)。这一发现与抑制模型的预测完全相悖。因为如果词汇选择需要通过抑制非目标语言来实现,那么同义词作为最强的竞争对手理应引发最大的干扰效应。而实际观察到的促进效应表明,双模态双语者的两种语言词汇表征因其输出通道的分离而处于非竞争的关系,从而无需调用抑制机制,甚至可能因跨模态的并行激活而相互促进。其次,认知神经科学研究为这一行为现象提供了来自大脑活动的电生理学证据。事件相关电位(ERP)研究通过考察语言切换任务中脑电成分的变化,来探究语言控制的实时神经过程。研究发现,双模态双语者在完成切换任务时,并未诱发出单模态双语者中常见的、被认为反映冲突监控与抑制过程的N2成分的显著效应(Declerck et al., 2021)。这一神经电生理证据从时间动态层面表明,双模态双语者的语言切换过程在神经机制上不同于单模态双语者,可能并不涉及相同程度的冲突监控和抑制性认知过程,为其行为上的差异提供了内在的生理基础。最后,对双模态双语者自然语料(如自发对话、叙事语料)的分析表明,进行语码混合(即同时产出口语词和手语符号)是一种常见且流畅的行为,双语加工并无显著的行为成本增加,甚至在信息传递效率上存在增益(Emmorey et al., 2012)。这一发现从生态效度更高的层面,对抑制模型构成了挑战。因为根据该模型,在语言产生中频繁切换或混合语言需要不断进行“抑制–解除”操作,这一过程应产生相应的认知负荷的成本损耗。而自然观察中缺乏此类效应,甚至产生了相反结果,这与抑制模型的假设相悖,却与行为及ERP实验中发现的“非抑制性”加工机制相吻合。

综上所述,来自行为、神经电生理和自然观察三个不同层面的证据相互印证,共同构成了对经典抑制控制模型的有力挑战,表明双模态双语者的语言加工与控制机制可能存在本质上的不同,抑制机制可能并非语言控制的普适性核心成分,这一机制的出现在很大程度上与模态特性导致的输出竞争密切相关。

2.2. 双模态双语的假说

为系统解释上述有别于单模态双语的实证发现,研究者们相继提出了一系列具有针对性的理论假说,从不同层面构建了理解双模态双语独特性的理论框架。其中,最具影响力的当属模态通道分离假说(Declerck et al., 2021)。该假说认为,双模态双语者语言控制的核心机制在于选择输出通道(口语通道 vs. 手语通道),而非抑制语言系统本身。这一根本性的视角转移,成功地解释了其为何在语言切换任务中表现出更小的切换代价,并且在神经生理指标(如ERP的N2成分)上缺乏抑制性控制的证据——因为输出层面的竞争从根本上被消除了。

在词汇加工的微观层面,并行激活–非竞争选择模型(Giezen & Emmorey, 2016)提供了更精细的阐述。该模型主张,双模态双语者的两种语言在词汇层面可以并行激活,但由于其输出通道相互独立,使得词汇选择过程是非竞争性的。这意味着目标语言节点可以直接选择对应词汇,而非目标语言的激活仅作为背景存在,不仅不会引发单模态双语中典型的语义干扰效应,反而可能因跨语言的并行激活而产生促进效应(Emmorey et al., 2016)。这一观点得到进一步支持,研究表明,对于熟练的双模态双语者而言,即使他们专注于处理一种语言,非目标语言系统在认知上也持续保持活跃状态(Villameriel et al., 2016)。

为了解释双模态双语者能够流畅地进行语码混合(即同步产出口语和手语)这一核心现象,研究者对经典语言产生模型进行了扩展,提出了双模态Formulator模型(Emmorey et al., 2005)。该模型假设,在概念化阶段之后,两种语言的词汇信息可以并行进入各自独立的“形式编码器”,分别进行口语的音韵编码和手语的动作编码。这从加工机制上解释了语码混合为何能近乎无损耗地发生。然而,该模型也承认,在更高的命题整合层面,为了确保句法的一致性和语义的连贯性,可能仍需由一种语言来主导句法框架,以避免结构冲突(Casey & Emmorey, 2020),这为某些情境下观察到的控制需求留下了理论空间。

最后,从语言发展的角度,语言架构模型(Lillo-Martin et al., 2012)提供了一个更为宏大的视角。该模型侧重于解释双模态双语儿童如何在一个统一的语言架构中整合两种语言。它认为,从两种语言中选择词根和语素会导致句法迁移,选择词汇项则会导致语码切换,而“语言合成”是该系统自然产生的结果。尽管此模型源于对双模态双语者的研究,但研究者预期其同样适用于解释单模态双语者的语言混合现象,体现了该理论追求普遍解释力的雄心。

这些理论假说并非相互排斥,而是构成了一个相辅相成、逐层深入的解释网络。模态通道分离假说奠定了基础,指明了控制机制的根本差异所在;并行激活–非竞争选择模型和双模态Formulator模型则分别从词汇通达和语言产生两个连续的加工阶段,具体阐明了这种差异如何实现;而语言架构模型从发展终点,描绘了两种语言在一个高度整合的系统中共存的状态。它们共同推动了对双模态双语现象的理解从现象描述走向机制阐释,并深刻挑战和丰富了传统的双语理论。

2.3. 关键理论争议

尽管新的理论模型不断涌现,双模态双语研究领域仍存在一些核心的理论争议与未解之谜。这些争议指明了当前理论的边界,也为未来研究提供了重要的方向。

首先,关于抑制机制是否存在的争论尚未平息。尽管大量证据表明双模态双语者在词汇通达层面可能无需依赖抑制(Emmorey et al., 2016),但有研究指出,在更高层级的认知加工中,抑制机制可能仍扮演重要角色。例如,在命题整合或当一种语言处于极度主导地位时,为了维持语篇的连贯性和避免语法冲突,可能仍需调用抑制控制来抑制非目标语言的句法框架(Declerck et al., 2021)。这表明,抑制机制可能并非一个“全有或全无”的绝对存在,而更像是一种按需启用的备选控制资源(Giezen et al., 2015)。它的使用与否与强度,可能受到任务需求、语言熟练度平衡以及加工层级等多重因素的调节。未来的研究需要更精细地设计实验,以分离不同加工层级上的认知过程,从而厘清抑制机制的确切作用情境与范围。

其次,并行加工的边界何在是一个悬而未决的问题。现有研究为词汇层面的并行激活与非竞争选择提供了有力证据(Giezen & Emmorey, 2016)。然而,在句法、语义等更高的语言加工层面,两种语言是如何互动与整合的,目前仍知之甚少。它们是保持相对独立地进行加工,还是存在一个统一的监控与整合系统?当两种语言的语法结构发生冲突时,大脑如何解决这种冲突?这些问题触及了双模态双语认知架构的核心。解答这些问题,需要开发能够特异性探测句法整合和语义统一过程的新范式,并结合具有高时间分辨率的神经成像技术来追踪其毫秒级的动态过程。

最后,如何分离模态效应与语言特异性效应是一个根本挑战。研究者观察到双模态双语者可能在某些认知任务上表现出优势(Emmorey et al., 2008a),但这种优势究竟源于其双模态性本身(即同时处理听觉–口语和视觉–手势信息所带来的认知负荷),还是源于手语作为一种视觉–空间语言的特性(如大量使用空间语法和视觉意象),目前尚不明确。这两种解释具有完全不同的理论含义:前者指向超模态的、一般性的认知控制增强,后者则强调特定语言经验对认知的塑造。要剥离这两种效应,需要更加精细的实验设计,例如,系统比较双模态双语者(如ASL-英语)、单模态空间语言双语者(如使用大量手势语言的西班牙语–英语双语者)以及单模态非空间语言双语者的认知表现,从而在控制语言模态变量的前提下,考察语言结构本身的影响。

3. 方法学范式以及研究工具的创新与发展

为探究双模态双语者独特的认知与神经机制,研究者发展并适配了一套多层次、多角度的方法学范式工具箱。这些范式从严格控制的行为实验,到揭示神经机制的脑成像技术,再到贴近真实交流的生态化观察,共同构成了坚实的方法学基础。

3.1. 行为实验范式

行为实验通过测量反应时、准确率等指标,在严格控制条件下分离出特定的认知过程,是检验理论假设的基石。

3.1.1. 图片命名与干扰任务(Picture Naming & Interference Tasks)

该任务是研究语言产生中最核心的范式之一。研究者向被试呈现图片,要求其用特定语言(口语或手语)进行命名。通过测量命名反应时和准确率,可以量化词汇通达的难度和效率。图片命名任务广泛用于检验频率滞后假说(Emmorey et al., 2013)、语言优势效应(Pyers et al., 2009)以及跨语言激活。在该任务中发现的促进或干扰效应,为双模态双语者两种语言可能并行激活且非竞争的观点提供了关键证据,直接挑战了抑制控制模型。后由图片命名任务变式出其他实验范式,如双语图片–词汇干扰任务(Bilingual Picture-Word Interference Task)和语义分类任务等(Semantic Categorization Task)。在双语图片–词汇干扰任务中,呈现图片的同时,附加一个听觉或视觉的干扰词(如与图片名称翻译对等、语音相关或无关),通过干扰词与图片的不同关系来探究词汇选择的机制(Giezen & Emmorey, 2016)。在语义分类任务中,被试被要求根据概念对图片进行分类,而非命名,用以分离语义层面和词汇层面的加工(Emmorey et al., 2012)。

3.1.2. 语言切换任务(Language Switching Task)

该范式要求被试在两种语言之间根据线索进行切换命名,是研究语言控制的核心范式。通过对比切换试次与重复试次的反应时差异(即切换代价),来考察语言控制的效率。研究者通过双模双语者根据语境变化所做出的选择,探讨了母语和第二语言在不同模态下的相互作用,发现双模态双语者的切换模式与单模态双语者不同(De Quadros, 2018),支持了其语言控制更依赖于输出通道选择而非抑制的观点。由该范式演变而成的双模态反应控制与任务切换范式,将语言切换与非语言任务切换进行比较,有助于分离出一般性认知控制与特异性语言控制机制。

3.1.3. 视觉世界范式(Visual World Paradigm, VWP)

该范式是研究实时语言理解的工具。参与者聆听口语指令的同时,注视一个包含多个物体的视觉场景,研究者通过高精度的眼动仪记录其眼球运动。通过分析眼球何时看向与语音信息匹配或不匹配的物体,可以毫秒级地追踪语言理解的动态过程,揭示词汇激活、语义竞争和句法整合的规律。该范式有力地证明了双模态双语者在理解口语时,会跨模态地激活手语符号(Shook & Marian, 2012),表明语言共激活具有跨模态性,为并行激活理论(Saunders et al., 2024)提供了坚实的行为证据。

3.1.4. 侧翼任务(Flanker Task)等非语言认知控制任务

此类任务用于测量一般性的执行功能,如抑制控制和冲突解决能力。通过比较单语者、单模态双语者和双模态双语者在这些任务上的表现,可以探究双语经验对领域一般性认知能力的影响。研究发现双模态双语者同样展现出认知优势(Emmorey et al., 2008b),表明双语效益可能源于领域一般性的控制能力提升,而非语言特异性的抑制机制。

3.2. 自然观察与生态化研究

3.2.1. 自然对话观察与叙事任务

通过录制双模态双语者与不同对话者(如单语者、双语者)的自然对话或要求其复述一段故事(经典材料如《Canary Row》卡通片),来分析其语码混合(Code-blending)、伴随手势(Co-speech Gesture)和语言选择策略。分析表明,双模态双语者会产生更多的标志性手势,并灵活地根据对话者调节语言模式,其语码混合是高度系统化且无显著加工成本的(Emmorey et al., 2008b)。值得注意的是,自然观察研究为了解双模态双语儿童的语言发展提供了不可替代的视角。纵向追踪研究表明,双模态双语儿童已经展现出惊人的语用能力,能够敏锐地感知对话者的语言背景,并灵活地选择主导语言或进行语码混合(Lillo-Martin et al., 2014)。此外,针对聋人父母的健听子女(KODAs)的深入研究揭示了双模态双语发展的独特性。通过结合纵向语料库分析与动态评估等技术发现,KODAs在口语和手语的语言各层面(如音系、形态、句法)均表现出跨语言影响,且这种影响的方向会随年龄和发展而变化(Pichler et al., 2014)。这一发现不仅凸显了双模态双语发展的动态性,也强调了自然观察对于理解两种语言如何在一个大脑中互动与演变的至关重要性。

3.2.2. 同步沟通(SimCom)对比研究

这是一种特殊的实验情境,要求被试同时输出语法完整的口语和手语。通过对比SimCom与自然交替使用两种语言在表达准确性、流畅性和认知负荷上的差异,研究者可以考察强制同步两种语法结构不同的语言所带来的认知挑战(Emmorey et al., 2005)。通过同步产出语音词项和手语符号来研究语码混合现象,结果表明语言产出系统可无损耗地并行调用两种词汇表征,而语言理解系统必须具备同步整合跨语言词汇信息的能力(Emmorey et al., 2016)。

综上所述,方法学范式的多元化发展,使得研究者能够从行为反应、神经机制到真实情境等多个层面,对理论假设进行交叉验证与深入挖掘。这些工具是连接理论问题与实证答案的桥梁,共同推动了双模态双语研究领域的进步。

3.3. 行为实验范式

3.3.1. 功能磁共振成像(fMRI)

功能磁共振成像用于考察双模态双语者在进行语言任务时的大脑激活模式和不同脑区之间的功能连接。研究发现,双模态双语经验重塑了“控制”脑区(如前扣带回、尾状核)与“语言”脑区之间的功能交互(Li et al., 2015),导致灰质体积(GMV)的变化(Li et al., 2017)以及腹侧白质语言网络解剖结构产生改变(Quartarone et al., 2022),并影响了颞上沟内的激活模式(Emmorey & McCullough, 2009),从结构与功能层面证明了双模态双语者神经资源的独特性。

3.3.2. 事件相关电位(ERPs)

通过记录不同成分在特定事件(如刺激呈现、反应发出)后的电位变化,提供毫秒级的时间分辨率,揭示语言加工的时间进程。研究发现,在语言切换任务中,双模态双语者并未表现出单模态双语者常见的N2或P3成分差异(Declerck et al., 2021),从神经电生理层面为其独特的控制机制提供了证据。

3.3.3. 脑磁图(MEG)

脑磁图兼具良好的时间与空间分辨率,能更精确地定位神经活动的源头。被用于分解语言切换中的子过程,研究发现语言转换的负担主要在于脱离先前的语言,而非启用新语言(Blanco-Elorrieta et al., 2018),深化了研究者对跨模态语言加工子过程切换的理解。

3.3.4. 功能性近红外光谱(fNIRS)

这种便携、抗干扰性强的脑成像技术,特别适合研究自然情境下的沟通以及特殊人群(如儿童)。该技术已被用于探索双模态双语者语言处理的大脑偏侧化模式(Kovelman et al., 2009)。

3.3.5. 眼动技术

眼动追踪技术不仅是行为研究范式的核心工具(如视觉世界范式,VWP),其应用也已深入到认知神经发展领域,为探究语言经验的起源及其对大脑塑造的初期影响提供了独特窗口。研究通过考察婴儿的注视模式,揭示了早期语言环境对多感觉整合与社会性注意的塑造作用。Mercure等(2018)的研究发现,单模态双语婴儿对面孔表现出更强的注意捕获和维持,这可能源于其日常处理多种语言线索的经验需要依赖更多的社会性注意。然而,双模态双语婴儿并未表现出相同的模式。这一发现表明,手语–口语的双模态经验可能引导婴儿发展出一种不同于单模态双语者的独特注意分配策略。进一步的研究表明,这种早期的经验差异直接影响了更基础的多感觉整合能力。婴儿期的言语和语言经验会显著影响其视听言语整合的敏感性(Mercure et al., 2019)。从发展根源上证明,双模态双语者独特的感知与认知模式源于生命早期语言环境对基本认知神经通路的系统性塑造。

4. 理论–方法互动的典型研究路径剖析

双模态双语研究维系于理论与方法的紧密互动与循环促进。特定的理论问题催生了方法学的创新,而新方法获取的证据又修正、细化或挑战了原有理论,甚至催生了新理论的诞生。本部分将剖析三条最具代表性的研究路径,以展现这一动态过程。

4.1. 语码混合现象到并行加工理论

这一路径始于对自然现象的观察,通过方法创新进行量化验证,对传统语言产生模型进行了修正。研究者观察到,双模态双语者在自然交流中能够流畅地、几乎无停顿地同时输出口语词和手语符号(即语码混合,code-blending) (Emmorey et al., 2005)。这一现象对基于单模态的模型提出了挑战:如果两种语言需要竞争单一的发音通道,或者词汇选择需要抑制非目标语言,这种同步产出应伴随巨大的认知成本,但直观上并非如此。为量化语码混合的认知成本并探究其机制,研究者适配和创新了多种实验范式:运用自然观察与叙事分析,通过录制并微分析双语者讲述《Canary Row》等标准故事时的语料,精确测量语码混合的时机、频率和类型(Emmorey et al., 2008a);运用图片–词汇干扰任务,在严格控制条件下,发现翻译对等词不仅不产生干扰,反而出现促进效应(Giezen & Emmorey, 2016)。这一关键行为证据表明,双模态下的词汇激活很可能是并行且非竞争的;通过图片命名任务比较语码混合、纯口语和纯手语命名的反应时,直接证明混合产出并无额外成本,甚至更快。上述方法获得的实证证据,直接支持了并行激活–非竞争选择模型的建立,并进一步催生了双模态Formulator模型,对语言产生的经典模型进行了关键性扩展,提出在词汇选择后,两种语言的信息可进入独立的Formulator进行并行编码,从而在机制上解释了语码混合的流畅性。

4.2. 从切换代价差异到模态选择机制

这一路径始于一个引人注意的实验发现,通过引入神经科学技术厘清机制,最终挑战了语言抑制的核心地位。基于Green (1998)的抑制控制模型,研究者预测所有双语者都应表现出显著的语言切换代价。然而,初期行为研究发现,双模态双语者的切换代价模式异于甚至小于单模态双语者(Declerck et al., 2021)。这引发了理论质疑:他们的语言控制机制是否根本不同?为探寻切换代价差异背后的认知与神经机制,采用了能揭示实时大脑活动的技术:运用事件相关电位(ERPs)的研究发现,在语言切换任务中,双模态双语者并未表现出单模态者标志性的、反映冲突监控与抑制过程的N2或P3成分差异。这一神经电生理证据表明,其切换过程可能不涉及相同的抑制性认知操作;脑磁图(MEG)研究(Blanco-Elorrieta et al., 2018)进一步将切换过程分解,发现其代价主要来源于脱离前一语言,而非启用新语言,细化了我们对切换子过程的理解;神经证据为行为发现提供了机制性解释,强力支持了模态通道分离假说(Declerck et al., 2021)。该假说认为,双模态双语者语言控制的核心是选择输出通道(用手还是用口),而非抑制语言系统本身。其较小的行为切换代价和不同的神经反应,源于通道选择在认知上比全系统抑制更“经济”。这一理论将控制的核心从“语言”转移到了“模态”,实现了对抑制控制模型的重大修正。

4.3. 从认知优势争议到领域一般性探究

这一路径始于一个延伸性的理论问题,通过方法上的巧思剥离混淆变量,最终将理论讨论引向深入。大量研究表明单模态双语能带来非语言认知控制优势,这常被归因于其日常生活中持续抑制干扰语言的经验。一个疑问是:不依赖抑制的双模态双语者,是否也存在类似的认知优势?这关乎“双语优势”的本质根源是否为抑制。回答此问题需要方法上的精确设计,以分离“双语经验”和“抑制机制”的效应。研究者采用了非语言认知控制任务,如侧翼任务(Flanker Task)、Simon任务等,测量其一般性的抑制控制和冲突解决能力。这些任务排除了语言材料的干扰,直接考察领域一般性的执行功能。比较单语者、单模态双语者、双模态双语者在三类任务上的表现。研究发现双模态双语者同样表现出认知优势。这一结果具有重要的理论意义:它表明双语带来的认知效益,其根源可能并非语言特异性的抑制练习,而是源于更领域一般性的控制能力的提升,例如对任务目标的维持、在不同任务集间灵活切换等。这将对双语优势的理论解释,从具体的抑制机制,引向了更普遍的认知控制或执行功能。

综上所述,这三条研究路径清晰地表明,双模态双语领域的理论演进源于方法学的不断创新与实证证据的持续积累。问题与方法相互启迪,共同促进了研究者对双模态双语认知能力的深入理解。

5. 整合、挑战与未来方向

5.1. 理论整合

现有的诸多理论模型并非完全互斥,而是从不同层面、针对不同现象提出了各有侧重的解释。未来的理论发展趋向于进行整合,以构建一个更全面、更具解释力的框架。

一种可能的整合方向是语言控制机制并非单一的,而是层级化的。在较低的词汇通达层面,双模态双语者可能主要依赖并行激活与非竞争选择机制;在更高的命题整合与语篇产生层面,当需要保证句法一致性和语义连贯性时,可能仍需调用抑制控制来抑制非目标语言的语法框架;而贯穿始终的,是基于语境的输出通道选择机制。这些机制在不同加工水平上协同工作。

理论模型需考虑任务类型和交际情境的调节作用。在双语交流情景下,语码混合可能是默认的、低成本的加工状态;而在单语交流情境下,可能需要更强的控制来抑制非目标模态的输出。而SimCom作为一种特殊的任务要求,可能诱发独特的认知负荷和加工策略。因此,一个普适的理论模型需要具备这种动态适应性。

5.2. 方法学挑战

5.2.1. 跨模态数据的同步与融合

双模态交流本身包含声音、手部动作、身体姿态、面部表情等多模态信号。如何高精度地同步记录(如语音、眼动、运动捕捉、EEG信号)并融合分析这些多通道数据,是一个巨大的技术挑战,也是实现真正生态效度研究的前提。

5.2.2. 群体内异质性

无论是聋人还是健听双模态双语者,其内部在语言习得年龄、语言熟练度、语言使用频率等方面都存在巨大差异。这些因素与实验效应强烈交互。未来的研究需要更大样本和更精细的预先分组,或将它们作为连续的协变量纳入分析模型,而非将其视为一个均质的群体。

5.2.3. 生态效度与实验控制的平衡

高度控制的实验室实验虽能揭示内在机制,但可能无法完全反映自然情境下的语言使用。而自然观察研究虽然生态效度高,但又难以控制混淆变量。开发能在保持实验控制的同时,最大化生态效度的新范式(如虚拟现实技术),是一个重要方向。

5.3. 未来研究方向

5.3.1. 基于中国手语–汉语体系的特色研究

当前理论模型几乎完全建立在西方语言基础之上。汉语(声调语言、表意文字)与中国手语在语言特性上存在独特性。开展基于中国手语–汉语双模态双语者的研究,不仅能检验现有理论的跨语言普适性,更有可能揭示出新的、由特定语言特征所诱发的认知与神经机制,为普通语言学理论做出独特贡献。

5.3.2. 贯穿生命周期的发展性研究

现有研究多聚焦于成人个体。未来的研究应大力加强对双模态双语儿童的追踪研究,探究其两种语言如何从最初习得时就发生互动,以及双模态双语经验如何塑造其发展的认知与大脑。同时,将研究拓展至老年群体,考察双模态双语能否作为一种认知储备延缓衰老带来的认知衰退。

5.3.3. 应用导向的实践研究

将基础研究发现应用于教育与实践领域。例如,基于眼动追踪(VWP)等范式的研究发现,可开发针对聋人读者的、利用手语表征促进阅读教学的方案。对SimCom认知负荷的深入研究,能为聋教育中教学沟通方式的选择提供直接的科学依据。

5.3.4. 计算建模与人工智能研究

利用计算建模方法,对不同的理论假设(如抑制模型 vs. 通道选择模型)进行仿真和检验,量化其预测能力。同时,人工智能技术有可能利用大型语言模型生成刺激材料并自动分析自然语料,为处理大规模多模态数据提供强大助力。

总之,双模态双语研究正处在一个从现象描述走向机制深化、从理论争鸣走向整合建构的关键阶段。通过直面方法学挑战、开拓新的研究路径,该领域将继续为揭示语言与认知的本质提供不可或缺的独特见解,并最终融入一个更完整的人类交流科学体系之中。

6. 结语

本文系统梳理了双模态双语研究领域的理论进展与方法学范式。分析表明,该领域的发展呈现出理论探索与方法创新相互促进的显著特征。研究缘起于一个基础性问题:当两种语言分属不同模态时,基于单模态双语建立的理论模型是否仍然适用?为解决这一问题,研究者逐步发展了从行为实验到神经机制研究的多层次方法体系。

实证研究结果表明,双模态双语者的语言加工机制确实具有特殊性。其语言控制更依赖于输出通道的选择而非语言系统的抑制,词汇通达表现出并行激活与非竞争性特点。这些发现促使研究者提出新的理论解释,如模态通道分离假说和并行激活–非竞争选择模型,推动了对双语认知机制的深入理解。双模态双语研究的意义不仅限于其研究对象本身,更为探讨语言与认知的普遍关系提供了独特视角。通过分析不同模态条件下的语言加工机制,有助于深化对认知控制、大脑可塑性等基本问题的理解。

未来研究应在以下方面继续推进:首先,需要开展基于中国手语–汉语体系的特色研究,检验现有理论的跨文化适用性;其次,要加强发展性研究,追踪双模态双语者的语言发展轨迹;最后,要注重研究成果向教育实践的转化,特别是在聋人教育领域的应用。这些研究方向的推进,将进一步丰富我们对人类语言认知机制的理解。

NOTES

*通讯作者。

参考文献

[1] 方燕红, 尹观海, 张积家(2022). 双通道双语者的语言加工特点: 现有研究与未来展望. 心理研究, 15(6), 501-506.
[2] Blanco-Elorrieta, E., Emmorey, K., & Pylkkänen, L. (2018). Language Switching Decomposed through MEG and Evidence from Bimodal Bilinguals. Proceedings of the National Academy of Sciences of the United States of America, 115, 9708-9713.[CrossRef] [PubMed]
[3] Casey, S., & Emmorey, K. (2020). Co-Speech Gesture in Bimodal Bilinguals. In S. Kita (Ed.), Speech Accompanying-Gesture (pp. 290-312). Psychology Press.[CrossRef
[4] De Quadros, R. M. (2018). Bimodal Bilingual Heritage Signers: A Balancing Act of Languages and Modalities. Sign Language Studies, 18, 355-384.[CrossRef
[5] Declerck, M., Meade, G., Midgley, K. J., Holcomb, P. J., Roelofs, A., & Emmorey, K. (2021). Language Control in Bimodal Bilinguals: Evidence from ERPs. Neuropsychologia, 161, Article ID: 108019.[CrossRef] [PubMed]
[6] Emmorey, K., & McCullough, S. (2009). The Bimodal Bilingual Brain: Effects of Sign Language Experience. Brain and Language, 109, 124-132.[CrossRef] [PubMed]
[7] Emmorey, K., Borinstein, H. B., & Thompson, R. (2005). Bimodal Bilingualism: Code-Blending between Spoken English and American Sign Language. In Proceedings of the 4th International Symposium on Bilingualism (pp. 663-673). Cascadilla Press.
[8] Emmorey, K., Borinstein, H. B., Thompson, R., & Gollan, T. H. (2008a). Bimodal Bilingualism. Bilingualism: Language and Cognition, 11, 43-61.[CrossRef] [PubMed]
[9] Emmorey, K., Giezen, M. R., & Gollan, T. H. (2016). Psycholinguistic, Cognitive, and Neural Implications of Bimodal Bilingualism. Bilingualism: Language and Cognition, 19, 223-242.[CrossRef] [PubMed]
[10] Emmorey, K., Luk, G., Pyers, J. E., & Bialystok, E. (2008b). The Source of Enhanced Cognitive Control in Bilinguals: Evidence from Bimodal Bilinguals. Psychological Science, 19, 1201-1206.[CrossRef] [PubMed]
[11] Emmorey, K., Petrich, J. A. F., & Gollan, T. H. (2012). Bilingual Processing of Asl-English Code-Blends: The Consequences of Accessing Two Lexical Representations Simultaneously. Journal of Memory and Language, 67, 199-210.[CrossRef] [PubMed]
[12] Emmorey, K., Petrich, J. A. F., & Gollan, T. H. (2013). Bimodal Bilingualism and the Frequency-Lag Hypothesis. Journal of Deaf Studies and Deaf Education, 18, 1-11.[CrossRef] [PubMed]
[13] Giezen, M. R., & Emmorey, K. (2016). Language Co-Activation and Lexical Selection in Bimodal Bilinguals: Evidence from Picture-Word Interference. Bilingualism: Language and Cognition, 19, 264-276.[CrossRef] [PubMed]
[14] Giezen, M. R., Blumenfeld, H. K., Shook, A., Marian, V., & Emmorey, K. (2015). Parallel Language Activation and Inhibitory Control in Bimodal Bilinguals. Cognition, 141, 9-25.[CrossRef] [PubMed]
[15] Green, D. W. (1998). Mental Control of the Bilingual Lexico-Semantic System. Bilingualism: Language and Cognition, 1, 67-81.[CrossRef
[16] Kovelman, I., Shalinsky, M. H., White, K. S., Schmitt, S. N., Berens, M. S., Paymer, N. et al. (2009). Dual Language Use in Sign-Speech Bimodal Bilinguals: FNIRs Brain-Imaging Evidence. Brain and Language, 109, 112-123.[CrossRef] [PubMed]
[17] Li, L., Abutalebi, J., Emmorey, K., Gong, G., Yan, X., Feng, X. et al. (2017). How Bilingualism Protects the Brain from Aging: Insights from Bimodal Bilinguals. Human Brain Mapping, 38, 4109-4124.[CrossRef] [PubMed]
[18] Li, L., Abutalebi, J., Zou, L., Yan, X., Liu, L., Feng, X. et al. (2015). Bilingualism Alters Brain Functional Connectivity between “Control” Regions and “Language” Regions: Evidence from Bimodal Bilinguals. Neuropsychologia, 71, 236-247.[CrossRef] [PubMed]
[19] Lillo-Martin, D., de Quadros, R. M., Chen Pichler, D., & Fieldsteel, Z. (2014). Language Choice in Bimodal Bilingual Development. Frontiers in Psychology, 5, Article 1163.[CrossRef] [PubMed]
[20] Lillo-Martin, D., Koulidobrova, H., de Quadros, R. M., & Pichler, D. C. (2012). Bilingual Language Synthesis: Evidence from WH-Questions in Bimodal Bilinguals. In Proceedings of the 36th Annual Boston University Conference on Language Development (pp. 302-314). Cascadilla Press.
[21] Mercure, E., Kushnerenko, E., Goldberg, L., Bowden‐Howl, H., Coulson, K., Johnson, M. H. et al. (2019). Language Experience Influences Audiovisual Speech Integration in Unimodal and Bimodal Bilingual Infants. Developmental Science, 22, e12701.[CrossRef] [PubMed]
[22] Mercure, E., Quiroz, I., Goldberg, L., Bowden-Howl, H., Coulson, K., Gliga, T. et al. (2018). Impact of Language Experience on Attention to Faces in Infancy: Evidence from Unimodal and Bimodal Bilingual Infants. Frontiers in Psychology, 9, Article 1943.[CrossRef] [PubMed]
[23] Pichler, D. C., Lee, J., & Lillo-Martin, D. (2014). Language Development in Asl-English Bimodal Bilinguals. In D. Quinto-Pozos (Ed.), Multilingual Aspects of Signed Language Communication and Disorder (pp. 235-260). Multilingual Matters.[CrossRef
[24] Pyers, J. E., Gollan, T. H., & Emmorey, K. (2009). Bimodal Bilinguals Reveal the Source of Tip-of-the-Tongue States. Cognition, 112, 323-329.[CrossRef] [PubMed]
[25] Quartarone, C., Navarrete, E., Budisavljević, S., & Peressotti, F. (2022). Exploring the Ventral White Matter Language Network in Bimodal and Unimodal Bilinguals. Brain and Language, 235, Article ID: 105187.[CrossRef] [PubMed]
[26] Saunders, E., Mirault, J., & Emmorey, K. (2024). Activation of ASL Signs during Sentence Reading for Deaf Readers: Evidence from Eye-Tracking. Bilingualism: Language and Cognition, 28, 208-216.[CrossRef
[27] Shook, A., & Marian, V. (2012). Bimodal Bilinguals Co-Activate Both Languages during Spoken Comprehension. Cognition, 124, 314-324.[CrossRef] [PubMed]
[28] Villameriel, S., Dias, P., Costello, B., & Carreiras, M. (2016). Cross-Language and Cross-Modal Activation in Hearing Bimodal Bilinguals. Journal of Memory and Language, 87, 59-70.[CrossRef