(类)音乐节奏启动对言语加工的影响

The Effect of Music/Music-Like Rhythmic Priming on Speech Processing

摘要: 基于语言和音乐的节奏相似之处，节奏启动效应成为近年音乐心理学研究的热点。本综述回顾了国内外关于音乐或类音乐节奏启动影响后续言语加工的相关研究。首先介绍了节奏启动效应对言语理解(语义、句法)的影响，发现当启动节奏与言语韵律匹配时会促进后续的言语理解。然后介绍了节奏启动影响言语产生的速度、边界和重音加工等相关研究。音乐节奏启动言语加工的确切性质和潜在机制尚不完全清楚，因此需要进一步的实证工作来探索。

Abstract: Based on the similarities between the rhythms of language and music, rhythm priming effects have become a hot topic in recent music psychology research. This review examines both domestic and international studies on the influence of musical or pseudo-musical rhythm priming on subsequent speech processing. First, it introduces the effects of rhythm priming on speech comprehension (semantics, syntax), finding that matching the priming rhythm with speech prosody can facilitate subsequent speech comprehension. Then, it discusses studies on how rhythm priming affects speech production speed, boundaries, and accent processing. The exact nature and potential mechanisms of how musical rhythm priming influences speech processing remain unclear, necessitating further empirical research.

1. 前言

音乐和言语作为复杂的声音系统，在日常生活中扮演着重要的角色。作为普遍的人类活动，音乐和言语都是层级组织的、基于规则的系统，且都依赖于声学事件随着时间的推移展开(Jäncke, 2012; Patel, 2011; Kassler, 1983)。Patel (2003)提出了著名的“共享句法整合资源假设”(Shared Syntactic Integration Resource Hypothesis, SSIRH)，认为音乐和语言结构具有共享的排序机制(Patel, 2003)，用以解释音乐和语言跨领域相互影响的认知和神经机制。鉴于音乐和语言的结构相似之处，目前众多研究者感兴趣的是两者节奏方面的相似性(Beier & Ferreira, 2018; Bosch & Leminen, 2018; Canette et al., 2020; Cason et al., 2015a; Haegens & Zion, 2018)。节奏(Rhythm)被定义为用时间(Time)、重音(Stress)和分组(Grouping)等因素构成的声音的系统性模式；语言和音乐节奏都以这三者的系统性模式为特征(Patel, 2011)。

所谓启动效应(Priming Effect)就是启动刺激(Prime)对目标刺激(Target)在反应时上的促进作用(彭聃龄，郭桃梅，2003)。为了解释节奏启动效应，Jones等人提出了动态注意理论(Dynamic Attending Theory, DAT)，即注意对于在时间上变化的事件的动态预期和加工，通过注意资源在时间维度上的重调整来优化对外部事件的加工和预测(Jones et al., 2002; Jones & Boltz, 1989; Large & Jones, 1999)。在音乐中，DAT认为，不同的神经振荡会渗透到听觉信号结构的多个层次水平，听众不会花费同样的注意资源到语音流的所有部分，节奏可能会影响声音信号中的层级加工。DAT既适用于音乐(Large et al., 2015; Large & Palmer, 2002)，也同样适用于言语感知(Kotz & Schwartze, 2010; Pitt & Samuel, 1990)。先前研究提出，节奏启动可以调节时间注意，调动神经振荡器也参与产生分层预期，允许听者分析语音流和处理句法(Bedoin et al., 2016; Przybylski et al., 2013)。众多研究者在此理论的框架下开展了节奏启动效应的研究，进一步丰富了该理论成果。

近年来，在音乐心理学领域，节奏启动效应逐渐成为一个研究热点。但大多数研究都集中在德语、法语和英语等印欧语系的语言中，对于汉语及其他语言的研究则很少。本综述回顾了近年来关于(类)音乐节奏启动后续的言语理解和言语产生的研究，旨在为音乐节奏启动汉语言加工提供一些可借鉴的思路和研究方法。

2. 言语理解中的节奏启动效应

音乐和言语加工的跨领域一致性是当前音乐心理学研究的前沿。近年在国内外涌现了许多创新性成果。基于最新的研究进展，该综述首先从语义和句法加工两个角度阐述(类)音乐刺激促进言语理解的认知过程，认为未来有必要加强该方面的研究，为节奏训练治疗言语感知障碍提供理论基础。

2.1. 节奏启动促进语义加工

近几年的一项重大发现是，音乐训练可以促进言语加工的某些方面。长期的音乐训练提高了言语中音调、音色和时序的表现，有利于人们的言语识别、记忆和切分，并提高了正常发育和阅读障碍儿童的阅读技能(Flaugnacco et al., 2015; Elmer et al., 2014; François et al., 2013; François & Schön, 2014; Kraus et al., 2014)。除了音乐训练的长期效应外，有研究者发现听音乐也可以在较短的时间内塑造语言的编码。Cason和Schön (2012)让被试听一段类音乐的启动节奏和假词，要求其判断屏幕中的目标音素是否出现过。他们发现，当目标音素落在启动节奏的重音上要比落在重音之外检测的更快。有趣的是，在100~250 ms和250~500 ms时间窗口发现不匹配节奏分别引起了更大的负效应(N100)和正效应(P300)。这些结果表明，与随后假词或短句的音节和重音结构相匹配的节拍增强了成年人的言语感知(Cason & Schön, 2012; Cason et al., 2015a)。随后，Brochard等人(2013)探讨了在启动节奏与言语重音一致的条件下，呈现错误的目标刺激(例如，val/se中的val，va/lse中的va)对言语感知的影响。结果发现，第一个音节的正确呈现更有利于词汇的再认，然而，当第一个音节错误呈现时，会导致识别能力受损的加重(Brochard et al., 2013)。拍子同步性的这种负面影响为DAT提供了实验支持：在拍子条件下，随着更多的注意力被分配到不恰当的信息上，被试更倾向于误导性的信息识别，这反映在与非拍子条件相比，词汇判断时间增加了。这项研究对于在言语康复环境中使用音乐节奏具有重要的意义，尽管还需要更多的研究来确定误导信息对言语加工的干扰程度，以及更强烈的节奏是否会对言语加工产生更有效的影响。

为了探究启动效应的大小与个体差异是否有关，Fotidzis等人(2018)考察了音乐节奏启动是否影响视觉词汇加工，以及节奏的跨通道启动效应与音乐能力和阅读技能的个体差异之间的关系。结果表明，不匹配重音模式的目标词诱发的ERP成分表现为额叶中央区负成分的波幅增大。此外，负效应的大小与个体的音乐能力和阅读理解能力有关：个体的音乐能力和阅读理解得分越高，在节奏不匹配条件下所引起的负效应就相应越大(Fotidzis et al., 2018)。研究结果支持了语言和音乐节奏加工的共享认知神经资源的存在，并对使用基于节奏的活动进行阅读干预具有重要意义。但众多研究者都没有将不同条件下的启动违反所引起的差异进行对比，Brochard等人(2003)研究了节拍的奇偶位置对节拍违反的影响，发现即使是在毫无物理属性差别的节拍序列中，人们也会默认奇数位置为强节拍、偶数位置为弱节拍，未来的研究可以比较在强–弱启动序列违反的条件下是否比弱–强序列违反引起了更大的ERP幅值(Brochard et al., 2003)。此外，以上研究中的言语刺激多为假词或短句，音乐刺激为类音乐的节奏(Cason & Schön, 2012; Cason et al., 2015a; Fotidzis et al., 2018)，那么更复杂的音乐刺激是否能够促进更复杂的言语刺激仍有待探究，以提高音乐节奏在言语治疗领域中的生态效度。

Cason & Schön (2012)和Fotidzis等人(2018)的研究都是以词汇为目标刺激，且两项研究只是操纵了节奏的规则性而不是一致性。有证据表明，节奏一致性可能会影响对低水平言语的理解(Fiveash et al., 2020b)。因此，Hilton和Goldwater以句子为目标刺激且操纵了节奏的一致性来研究启动节奏对句子理解的影响(Hilton & Goldwater, 2021)。结果发现，在启动节奏和目标句子的重音结构不一致的情况下被试的反应时间更长、任务判断的错误率更高。但此实验的局限性在于，研究者假设句子的重音模式与启动节奏是相对应的，有可能一些被试受内隐节奏的影响在其它位置感知到了节奏重音，而不是实验中假设的位置(Fodor, 2002)。为了解决该局限性，他们在此实验的基础上将目标句以听觉形式呈现，并且为了确保被试按照实验意图感知节奏，要求其听节奏时即时地跟随节拍敲击手指，并在随后的言语刺激中继续敲击。结果发现，在节奏匹配和不匹配条件下，两个实验中的正确率和反应时间一致；在感觉运动同步测试中发现，节奏不匹配条件下被试的敲击有更加显著的可变性。两项实验均表明，与言语节奏一致的音乐节奏启动会促进后续的句子理解。该研究结果进一步丰富了DAT，重音与强节拍充当注意力吸引者，当两者一致时，个体对此声学事件的加工更加容易；而当两者不一致时，超出了个体的预期，需要消耗更多的认知资源导致对其加工变得更慢。

以上研究表明节奏预期的好处并不局限于单一通道内，甚至在跨通道的启动中也同样存在(Bolger et al., 2013; Fotidzis et al., 2018; Su, 2014)。除此之外，多感官节奏(例如听觉节奏和运动节奏)一致时，也可以提高预期。当被试跟随节奏敲击时，可以更好地检测到不规则节奏序列的细微偏差(Manning & Schutz, 2013)。与音乐相比，人们对听觉运动促进言语理解知之甚少。有研究表明，手势或头部运动与语言中重音的发音在时间上能很好地协调(Munhall et al., 2004; Rochet et al., 2008)。此外，手指敲击等有节奏的动作在振幅上与同时发生的言语振幅共同变化(Kelso et al., 1983; Parrell et al., 2014)。鉴于运动系统中的这种密切联系，时间上一致的运动很可能也会影响言语感知(Gentilucci & Volta, 2008)。Falk和Bella (2016)研究了当语言和运动节奏在时间上重合时，对语言中的重音探测是否更加准确。他们构建了24个强弱音节交替的德语短句，并将被试分为感知运动训练组、节拍提示组(只有节拍提示，无敲击动作)和控制组(无节拍提示)。结果发现，在感知运动训练组中，与节奏不一致时相比，运动节奏与言语节奏的一致导致更高的检测率和更快的检测速度；在感知运动训练组和节拍提示组中，重音位置的变化检测总体上比非重音位置更准确、更可靠和更快。这些结果首次表明听觉语言和运动节奏的时间一致有利于言语加工。Falk等人(2017)在此研究的基础上增加了一组法语母语者，结果发现，在两种语言中，相对于基线条件，在运动节奏一致条件下都增强了检测灵敏度，听觉语言和运动节奏的时间一致性会促进言语加工这一结论进一步扩展至音节节拍语言(法语)中(Falk et al., 2017)。

2.2. 节奏启动促进句法加工

除了节奏启动促进后续语义加工外，有研究者发现节奏启动还可以促进语言中的语法加工，并且这种促进效应不仅存在于正常发育的群体中，在发育异常的群体中也同样存在。Chern等人(2018)让5~8岁的儿童听短暂的节奏规则和不规则的音乐序列，然后呈现语法正确或错误的句子，要求其执行语法判断任务。结果发现与节奏不规则的音乐序列相比，节奏规则的音乐序列提高了语法判断能力，但在两个非语言控制任务中(数学逻辑运算和空间推理任务)没有发现节奏启动效应(Chern et al., 2018)。然而，这项研究中使用的非语言任务在几个方面与语言任务有很大的不同，比如组块和试次的数量及呈现方式。探索节奏启动在非语言任务中的作用，对于更多地了解节奏启动效应的起源和治疗环境具有重要作用。于是，Ladányi等人(2021)在此研究的基础上以匈牙利儿童为对象，操纵非语言任务与语言任务的相似性，发现音乐节奏启动效应具有特异性，节奏启动对语法加工的影响并不是由于听音乐增强唤醒带来的一般认知益处，而是基于节奏和句法加工之间共有的认知机制(Ladányi et al., 2021)。

不过，节奏启动需要持续多久才会对后续的语法加工产生影响呢？以往的研究大多持续30秒左右，为了验证更短时间的启动是否会产生同样的效果，Fiveash等人(2020a)以多组儿童为对象分别使用了32秒、16秒和8秒的节奏启动，结果发现，在32秒的启动下被试的表现最佳(Fiveash et al., 2020a)；但此结果可能受到被试的年龄和阅读水平的影响，未来需要在此研究的基础上对被试条件进行严格控制。此外，未来还可以在此研究的基础上通过增加时长来确定启动效果是由于启动时长的增加而变得更好还是32秒即为最优启动时长。Canette等人(2020)以健康成年人为对象，考察其在节奏启动效应下对细微语法错误的检测，同时也评估了被试在语法加工中对节奏启动的敏感性是否与自我报告的节奏能力和音乐习惯有关。结果显示，在健康成年人中，规则节奏启动后的语法加工好于不规则启动，并且个体间的差异调节了这种启动效应的大小(Canette et al., 2020)。由于健康成年人的语法知识体系已基本完善，以其为对象进行的相关研究较少，未来可以操纵启动节奏的时长来深入研究启动时长对启动效果的影响。

对于患有特定语言障碍(SLI)和阅读障碍的儿童，之前的研究已经通过比较规则的音乐启动与不规则启动的影响，发现外部节奏促进了后续语言加工(Ladányi et al., 2020; Przybylski et al., 2013)，但这种促进作用是由于规则节奏提供的益处还是不规则节奏的干扰尚不清楚。Bedoin等人(2016)以患有SLI的儿童和与之匹配的对照组为研究对象，使用音乐序列和环境音(即基线条件)对此问题进行了研究。结果发现，音乐序列后的语法判断表现优于基线序列后，从而表明节奏刺激效果确实是由于规则节奏促进了后续的语法加工(Bedoin et al., 2016)。Bedoin等人(2018)在此研究的基础上以戴人工耳蜗的儿童为对象，对其进行了长期的训练。结果发现接受节奏训练的儿童改善了后续的句法处理(Bedoin et al., 2018)。该研究与Bedoin等人(2016)进行的短期节奏启动的结果一致，将音乐启动的有益短期效果扩展到了长期训练效果，进一步丰富了音乐疗法治疗言语障碍的理论基础。

除了以发育性语言障碍的群体为对象外，有研究者还将节奏启动效应扩展到其他患者群体中。Kotz和Gunter (2015)研究了特发性帕金森病人(IPD)的语言加工缺陷是否也可以通过听觉线索来补救。一名被诊断为特发性帕金森的病人在听有语法错误的德语句子之前会先接受进行曲、华尔兹以及无声音的启动。结果表明，只有进行曲的启动才能改善句法和语义信息的加工。研究者推断，进行曲可能会导致小脑–丘脑–皮层环路的更强参与，从而补偿纹状体皮层计时功能障碍(Kotz & Gunter, 2015)。一个时间上高度可预测的外部听觉提示(进行曲)，似乎完全恢复了对句法预期违反的P600效应。同样，Canette等人(2019)也考察了节奏启动对诱发P600的影响(Canette et al., 2019)。结果发现，无论是阅读障碍成年人还是健康成年人，语法错误句与语法正确句相比都诱发了P600，且规则启动后的平均波幅大于不规则条件下。这些发现在动态注意理论(Jones, 2018)中得到了解释，音乐或语言中的节奏为听觉信号创造了层级期望，连续语音流的规则结构允许时间预测和编码，影响了语法处理，即内部节奏倾向于与外部刺激同步，在这种同步下感知者对事件的发生产生了预期，从而促进了节奏的加工、分割和整合。

3. 言语产生中的节奏启动效应

在心理语言学领域，已有大量研究探究节奏启动言语理解的认知过程，关于节奏如何影响言语产生的研究相对较少。开展该方面的研究可以为音乐训练改善言语产生障碍，听力障碍/听力老化群体的治疗提供理论基础和实践经验。在此方面的研究中，Cason等人(2015b)以听力受损儿童为对象，让儿童在节奏启动后大声朗读目标句，发现与随后短句的音节和重音结构相匹配的节拍增强了听力障碍儿童的言语产生(Cason et al., 2015b)。Hidalgo等人(2017)在此研究的基础上增加了一组正常儿童为对照组，调查了听力正常儿童和听力受损儿童在接受节奏训练后如何影响其后续的言语产生。结果发现，听力正常儿童的任务表现受到节奏训练类型的影响，而听力受损儿童只有在接受节奏训练后才会提高其对言语产生速率的敏感度，在接受言语治疗后并不会影响言语产生(Hidalgo et al., 2017)。但本研究的一个缺陷在于听力受损儿童接受训练的顺序没有进行匹配，在接受节奏训练后敏感度提高并不能完全排除言语治疗持续效应的影响，因此在未来的研究中应该对接受治疗的类型进行匹配以确定节奏训练在言语产生中的有益效果。未来还可以考虑以听力障碍/听力老化的成年人为对象考察节奏训练对其言语产生的影响，以期为节奏训练在言语治疗中的作用提供理论基础。此外，Stefaniak等人(2021)又以中风后失语症患者和正常人为被试进行了一系列声学测试，发现对节奏/节拍模式的感知能力和言语产生的流利度之间具有较强的相关性，该研究结果为节奏启动训练在言语障碍治疗中的应用进一步提供了理论基础(Stefaniak et al., 2021)。

为了考察节奏速度对言语产生的影响，Jungers等人(2016)以熟悉的音乐旋律为启动刺激，考察被试在自发言语(看图说话)下的生成速度。与Jungers等人(2002)的言语启动效应一致，音乐的速度会影响言语生成的速度，快速的音乐过后，被试言语生成速度更快，反之则更慢(Jungers et al., 2016)。Jungers (2016)等人认为，未来的研究中，应该采用无旋律的纯节奏序列考察其对言语生成速度的影响。于是，杨依依(2019)利用与以上研究相同的实验范式，采用纯节奏序列代替音乐旋律发现了同样的结果。并且，不管节奏序列是慢速还是快速，听三拍子节奏序列之后被试的言语生成速度比二拍子更快(杨依依，2019)。这表明，被试对音乐的时间知觉影响了言语的生成时间，音乐和语言领域共享时间的加工机制。未来的研究可以考察这种音乐速度、节奏节拍影响言语生成速度的持续性，尤其对于语言障碍的群体(例如口吃)，考察他们是否能从音乐训练中获得持久的语速或是习得性语速收益，从而促进他们的语言产生。

为了进一步扩展节奏启动言语产生的领域，Tooley等人(2018)调查了语速和语调边界的存在如何影响视觉呈现的目标句的节奏产生。结果表明，启动刺激影响了语速而不影响边界产生。当边界提供消除歧义的信息时也没有显示边界启动。此外，他们还研究了被试是否在类似的范式中对节奏的另一个方面(音高重音)敏感。同样，没有发现任何证据表明这种操作会影响目标句子中的音调重音(Tooley et al., 2018)。在重音节拍语言的德语和英语中发现节奏启动促进了后续的言语产生，那么作为音节节拍的汉语是否也存在此效应呢？Zhang和Zhang (2019)使用了一系列不同时间间隔的纯音来形成类音乐的启动刺激，目标刺激则为“2 + 2”、“1 + 3”结构的四字汉字。实验要求被试听完启动刺激后，大声读出屏幕中央出现的句子。ERP结果显示，当目标项节奏结构为“2 + 2”时，启动项其节奏结构不一致的情况相比一致的情况诱发了N100，即相同节奏结构的类音乐刺激和言语刺激之间会诱发启动效应(Zhang & Zhang, 2019)。这一研究结果将节奏启动效应扩展到音节节拍语言中，并且与重音节拍语言中发现的结果一致，即在节奏一致条件下会促进后续的言语产生。但这一发现与Tooley等人(2018)的研究相反，Tooley等人发现节奏一致的启动并不会促进后续语言中的重音加工，这可能与Zhang等人在研究中使用脑电技术有关(更敏感检测启动效应)，未来还需要更多的研究来进一步证实。

以往研究已经显示了节奏对言语产生的一致性效应(Cason et al., 2015a; Jungers et al., 2016; Zhang & Zhang, 2019)，但这些研究只是在项目之间的设计，外部变量可能会影响启动效应。于是，Gould等人(2015)使用了名动同形词汇(Conflict vs. Conflict)，以及它们所对应的同音异义假词(Konflikt vs. Konflikt)作为目标刺激，结果发现，当启动节奏的强节拍与音节重音一致时，词汇产生的速度较快，而当强节拍与重音不一致时，词汇产生的速度较慢。但对一致性和刺激类型进行交互作用分析时发现，在同音异义假词上存在显著的一致性效应，在真词汇上却不存在(Gould et al., 2015)。鉴于该研究缺乏单词刺激的节奏启动效应可能是由于地板效应(即单词的平均反应时间约为500~525毫秒)，Gould等人(2018)在fMRI实验中以较慢的速度呈现这些刺激时发现，节奏一致条件下在壳核引起了更大程度的激活，说明了节奏一致启动让个体形成预期进而易化了词汇产生。此外，行为结果表明，一致节奏模式下的阅读速度比不一致条件的阅读速度快，证明了在项目内设计的研究中仍然存在节奏启动效应(Gould et al., 2018)。该研究有助于优化基本节奏在言语康复中的作用，从而使节奏启动在不同的人群中可以增强言语产生。但与言语理解相比，节奏启动言语产生的研究还相对较少，未来需要在言语产生方面进行更加深入的研究，以进一步确定此效应的确切神经机制。

4. 小结和展望

本综述回顾了近年来国内外关于(类)音乐节奏影响后续言语加工的相关研究，这些发现表明音乐节奏涉及领域一般期望，可以促进言语理解和产生。不过，该领域的研究刚刚兴起，仍然有一系列问题值得进一步考察。

首先，近年来关于(类)音乐节奏启动言语加工的相关研究虽然有所增多，但大多集中在节拍/类节奏等方面的启动(Bedoin et al., 2016; Chern et al., 2018; Fotidzis et al., 2018)。以真正的音乐作为启动的研究很少，加之被启动的言语刺激多为词汇或短语，其生态效度相对不足，对于揭示音乐和言语跨领域影响的神经机制作用有限。未来还需要进一步控制音乐和语言刺激的复杂性进行深入的考察。

其次，到目前为止关于音乐启动效应的研究大多集中在德语、法语以及英语中(Cason & Schön, 2012; Cason et al., 2015a; Falk et al., 2017; Fotidzis et al., 2018)，这三种语言均属于重音节拍语言，其重音分布的规律性是否在节奏启动效应中存在一定的促进作用，还需要广泛地在音节节拍语言中展开相关研究进行证实。尤其对于汉语而言，不仅包含了声调而且属于汉藏语系，可能在句法，语义加工的诸多方面都与印欧语系存在差异。一项以汉语为目标刺激的研究(Zhang & Zhang, 2019)所得出的结论也与在重音节拍语言中的结果完全相反(Tooley et al., 2018)，造成这种现象是由于语系差异还是由于实验技术差异还需要更多的研究予以考察。

最后，音乐节奏启动言语加工有望为言语障碍提供新的治疗方法。近年来，各学科打破界限、交叉融合成为研究的新趋势和取得新成果的重要方法。对于患有语言障碍的个体来说，采用音乐疗法正逐渐成为一种新兴的治疗手段。但目前在该领域还存在一些问题，例如，启动节奏的时长对启动效应造成的影响还尚不清楚，未来有必要进一步探究两者的关系，以期找到最优启动时长来完善音乐疗法在言语障碍治疗中的理论基础和实践依据。此外，有研究者发现在节奏更强烈的启动下能够对言语理解产生更有效的影响，未来还可以在言语产生领域研究更强烈的节奏是否具有更有效的影响。鉴于节奏启动效应的确切性质和潜在机制尚不完全清楚，未来还需要进一步的实证工作进行探索。

基金项目

该文章得到辽宁省社会科学规划基金重点项目(L22AYY006)支持。