无声的感知——听障人群视觉节奏加工的表现及机制

Silent Perception: The Performance and Mechanism of Visual Rhythm Processing in the Hearing-Impaired Population

摘要: 日常生活中健听者通常能够根据声音的节奏轻松完成动作同步，例如跟随音乐踏步、依据谈话节奏点头回应等。这种对听觉时间线索的依赖，凸显了声音在形成时间知觉时的基石作用。但对于听障人群而言，视觉通道则是他们感知节奏的核心途径。本文从健听者拍子同步视听通道差异出发，以听障人群的视觉节奏加工为核心，结合“功能补偿假说”与“听觉脚手架假说”，系统综述听觉剥夺条件下听障人群视觉节奏加工的行为表现及神经机制。研究表明，听障人群因长期依赖视觉而出现视觉代偿，其动态视觉信息处理能力显著增强，并伴随听觉皮层跨模态重组现象；然而，听觉脚手架的缺失导致其对复杂时间序列结构的解析能力受限。未来研究可整合计算模型与神经干预技术，探索视听代偿的动态平衡机制进一步推动跨模态代偿机制的理论完善与实践应用。

Abstract: In daily life, healthy listeners can usually easily complete the movement synchronization according to the rhythm of the sound, such as following the music and nodding in response according to the rhythm of the conversation. This reliance on auditory temporal cues highlights the cornerstone role of sound in shaping temporal perception. But for the hearing-impaired people, the visual channel is the core way for them to perceive the rhythm. Starting from the differences of synchronous audio-visual channel of healthy listeners, taking the visual rhythm processing of hearing impaired people as the core, combining the “functional compensation hypothesis” and “auditory scaffolding hypothesis”, we systematically summarize the behavioral performance and neural mechanism of visual rhythm processing of hearing impaired people under the condition of auditory deprivation. The study shows that the dynamic visual information processing ability is significantly enhanced, accompanied by the cross-modal reorganization of the auditory cortex; However, the absence of auditory scaffolding leads to the limited ability to resolve the complex time series structure. Future studies can integrate computational models and neural intervention techniques, explore the dynamic balance mechanism of audio-visual compensation, and further promote the theoretical improvement and practical application of cross-modal compensation mechanism.

1. 引言

在2005年央视春节联欢晚会的舞台上，听障艺术家以非凡的肢体表现力完美诠释舞蹈《千手观音》，通过精妙的队列变换与肢体协同，创造出极具震撼力的动态视觉艺术。这种艺术呈现不仅令观众潸然泪下，更引发学界对感觉运动同步机制的深层思考——该能力本质上是人体运动系统与外界节律的精确协调。日常生活中，健听人群可轻松跟随听觉信号完成动作同步，却普遍难以实现视觉节律的精准跟随。而《千手观音》的表演者们通过台下指导老师精准的视觉指令系统，突破性地完成了需要毫秒级同步精度的高难度编舞，这种特殊现象促使我们重新审视：在长期依赖视觉代偿的神经可塑性机制作用下，听障群体是否在视觉节奏同步维度形成了独特的优势？本文整合“功能补偿假说”与“听觉脚手架假说”的理论假说，综述于听障人群在听觉剥夺条件下视觉节奏加工的行为表现与神经机制，以推动跨模态代偿机制的理论完善与实践应用。

2. 健听者拍子同步的视听通道差异

节奏(rhythm)是指事件在时间上的组织方式，其组织构架——拍子具有周期性(temporal periodicity)特征。它并非音乐的物理属性，而是一种知觉现象(耿晓丽等，2013)。节奏使我们能够根据预期的时间点来组织和编码时间间隔，而非简单地将它们视为孤立的时间间隔进行处理。Cooper和Meyer (1960)年的研究中提出，对音乐节奏的感知实质上是一种心理过程，涉及将音符归类至具有结构化的模式之中。Patel从认知科学的角度出发，将节奏感知细分为两大维度：分组感知和对等时性脉冲的感知。分组感知关注识别有规律结构，如语言断句和音乐节拍；等时性脉冲感知则关注捕捉非周期性但等时的刺激，如恒定音乐节奏速度(Patel et al., 2005)。综合来看，节奏知觉涉及人类对事件在时间维度的表征和提取(Thaut et al., 2014)。节奏感知能力使人类能够将自身行为与外部环境中的节奏信息相协调，这种同步性对于预测运动物体的路径、理解语言内容以及执行音乐表演等多种人类活动都至关重要(Bengtsson et al., 2009)。

近一个世纪的研究进展，使得节奏知觉的通道性差异成为研究的核心议题。尽管有研究表明，从视觉刺激中提取拍子信息是可能的(Su, 2014)，但与视觉刺激(视觉闪烁)相比，听觉刺激(听觉短音)所诱发的拍子知觉与拍子同步的水平明显更高(Glenberg & Jona, 1991; Grahn, 2012; Grahn et al., 2011; Guttman et al., 2005; Patel et al., 2005; Repp & Penel, 2002; Stauffer et al., 2012; Chen et al, 2002; Hove et al., 2013b; Pollok et al., 2009)。

近年来，随着人们对视觉运动刺激的关注越来越多，听觉通道在节奏知觉与同步中的绝对优势受到了挑战。几项研究表明，当参与者被要求跟随周期性移动的视觉刺激进行同步敲击时，拍子同步稳定性显著改善(Hove & Keller, 2010; Hove et al., 2013a; Iversen et al., 2015)。Gan等(2015)进一步发现，一个真实的弹跳球，其速度通过模拟重力效应而变化，能够使视觉拍子同步与听觉拍子同步一样稳定。在此基础上，Zhou等人(2024)发现尽管跟着随机动点(RDK)刺激进行拍子同步的表现与跟随听觉短音一样稳定，但被试对RDK拍子序列中的随机扰动的检测敏锐度与相位矫正指数仍比听觉短音差。这提示视觉运动刺激对拍子同步的提升可能是有局限性的。健听者生活中以听觉为主导，听障者则不同，生活中多是以视觉感受为主导，那么听障者的拍子同步会有什么特点呢？这需要结合听障者的视觉加工特点来讨论。

3. 听力障碍者的视觉加工特点

3.1. 视觉代偿机制的表现与神经可塑性驱动的功能重组

听障者的视觉代偿机制主要表现为动态视觉信息处理能力的增强。研究表明，先天性听障者对运动物体的检测阈值低于健听人群，其视觉注意力可快速锁定并追踪视野边缘的移动目标。这种能力在复杂场景中较为突出，例如听障者能更高效地通过唇部微动作识别语义信息，其唇读准确率较健听者平均高出23% (Auer & Bernstein, 2007)。此外，听障者展现出更强的视觉空间记忆能力，在图形旋转测试和空间定位任务中表现出显著优势，可能与长期依赖视觉线索进行环境导航相关(Proksch & Bavelier, 2002)。

神经影像学研究揭示，听障者的听觉皮层会参与视觉信息处理。当执行手语理解任务时，其颞上沟与初级听觉皮层的BOLD信号强度是健听者的2.1倍(Neville & Lawson, 1987)。这种跨模态重组使听障者能通过视觉通道获取更丰富的时空信息，例如在驾驶模拟器中，他们对突发视觉危险的反应时间比健听者快180毫秒(Codina et al., 2011)。但过度依赖视觉代偿也可能导致视觉疲劳综合征，表现为注视稳定性下降和调节滞后量增加。

3.2. 听觉脚手架理论与证据

听觉脚手架理论揭示了听觉经验对视觉时间加工能力的奠基性作用。Conway等人(2009)提出，声音信号通过其固有的时序特性(20 ms~50 ms时间分辨率)为认知系统提供了基础性时间标尺，这种听觉驱动的时序框架在发育早期通过两种机制塑造时间表征能力：其一，利用声音信号的物理属性(如音节时长、语调间隔)建立离散时间单元的划分标准；其二，通过视听同步强化(如口型–语音对应)构建跨模态时间映射能力。听障者由于缺乏这种听觉时序锚定，在视觉时间信息处理中表现出系统性缺陷，这种缺陷并非源于感官输入障碍，而是高阶时间表征能力的发展性偏移。

在时间序列解析层面，听障者的缺陷呈现任务复杂性依赖的特征。对于简单时间辨别任务(如判断两个闪光间隔是否相同)，其表现与健听者无显著差异(阈值均为30 ms~50 ms)，但在涉及动态时间结构解析的任务中缺陷显著。例如，当观察连续手势动作时，听障者对动作转折点的时间预期偏差导致轨迹预测准确率有一定的下降，这种偏差在快速动作中会进一步放大。同样，在手语理解中，其对手势节奏模式(如2 Hz重复频率的语义强调标记)的识别正确率仅为健听者的68%，而对手势持续时间的误判率高达41% (Conway et al., 2009)。这些证据表明，听觉缺失不仅削弱单一时间点判断精度，更破坏了对时间序列整体结构的把握能力。

4. 听力障碍者的视觉拍子加工特点

听力障碍，作为一种听觉系统发生的器质性或功能性异常，导致听力出现不同程度的减退。但“功能补偿假说”与“听觉脚手架假说”对听障者视觉拍子知觉与同步的表现有着不同的预期。Iversen等人(2015)采用闪光、上下运动的弹球、音调三种节奏刺激和听力正常、听力丧失两类被试，支持了“功能补偿假说”。他们的研究结果表明，健听者在弹球和音调两种条件下的同步稳定性相当，这验证了运动属性对视觉节奏感知的提升作用。而在使用闪光刺激时，听障者的拍子稳定性优于听力正常者；听障者对运动的视觉刺激产生了与健听者对听觉刺激相似的高级节奏加工(Iversen et al., 2015)。这些发现均表明，听障者的视觉节奏感知能力得到了显著的强化。

5. 总结与展望

5.1. 未来研究方向

首先需建立计算神经模型，整合功能补偿假说与听觉脚手架理论。通过引入贝叶斯预测编码框架，量化听觉剥夺后视觉代偿强度与时间表征缺陷程度的动态平衡关系，结合经颅磁刺激(TMS)干预实验验证模型预测效度。

其次还需进一步探究视听节奏整合的神经可塑性窗口。当前研究尚未明确听觉皮层跨模态重组的关键期边界。建议开展纵向队列研究，对比语前聋(< 3岁)、语后聋(> 7岁)及人工耳蜗植入者的视听节奏同步任务表现，结合动态因果模型分析初级听觉皮层与视觉皮层及负责计时加工脑区的有效连接强度。

再则需系统考察视觉节奏加工能力与高阶认知功能(如工作记忆更新、执行控制)的耦合机制。建议采用双任务范式，在节奏同步任务中嵌入N-back记忆负荷，通过时频分析揭示θ-γ神经振荡耦合强度与任务绩效的相关性。可延伸至教育神经科学领域，探究视觉节奏训练对听障儿童时序推理能力的促进效应。

最后针对听障群体的异质性特征(如残余听力水平、手语熟练度)，需建立多维生物标志物体系。建议整合静息态指数、视觉运动诱发电位潜伏期等指标，结合监督式机器学习构建干预响应预测模型。可开发自适应神经反馈系统，通过实时调节视觉节奏刺激的时空复杂度实现个性化代偿训练。

5.2. 总结

本文简要综述了听障人群在听觉剥夺条件下视觉节奏加工的行为表现与神经机制，简述了听障人群视觉节奏加工的双重特性：一方面，长期视觉代偿通过神经可塑性增强动态视觉处理能力，形成了独特的节奏同步优势；另一方面，听觉脚手架的缺失导致高阶时间表征能力的发展性偏移。本文强调跨模态代偿的复杂性，提出未来研究可以通过计算神经模型量化代偿强度与缺陷的平衡关系，结合纵向队列与多模态神经影像技术，明确听觉皮层重组的关键期及视觉节奏训练对认知功能的促进作用。此外，针对听障群体的异质性，建议构建多维生物标志物体系以推动个性化干预策略的开发，为建立基于视觉节奏的认知干预方案提供依据。

致 谢

感谢青岛市中心聋校，以及所有参与研究的听力正常志愿者与听障志愿者的支持，感谢山东师范大学心理学院实验中心的技术支持。

基金项目

省级大学生创新训练项目(S202410445295)；山东省自然科学基金青年项目(ZR2021QC134)。

NOTES

^*第一作者。

^#通讯作者。