视–听注意神经机制研究综述

A Review of the Neural Mechanism of Visual-Audio Attention

摘要: 随着脑成像技术的快速发展，视–听注意的脑功能解码已成为注意研究的热点问题。国内外学者从视觉或听觉单感觉通道到视–听多感觉通道等多个角度，对视–听注意的神经机制进行了揭示。研究显示，视–听注意既受到自上而下目标驱动加工模式的调控，又受到自下而上刺激驱动加工模式的调控；视–听刺激同步性及一致性也是注意调控的重要影响因素。未来研究可以在视–听刺激同步技术及多模态成像联合技术等方面寻找突破，对视–听注意的脑功能解码做进一步探索。

Abstract: With the rapid development of functional neuroimaging technologies, the brain function decoding process of visual-audio attention has become a hot topic in attention research. The neural mechanism of visual-audio attention from visual or auditory processes to audio-visual processes has been studied by researchers at home and abroad. Researches show that visual-audio attention is regulated by both top-down (goal-driven) control and bottom-up (stimulus-driven) control. Visual-audio synchronization and consistency are also important factors affecting attention regulation. Future researches need to look for breakthrough in audio-visual synchronization and multimodal imaging techniques to explore the brain function decoding process of visual-audio attention.

1. 引言

近年来，在特定情境下注意力维持的脑功能解码已经成为脑功能研究领域的热点问题。注意力在人类工作和生活中具有重要作用，例如车辆驾驶、航海、飞行等(Cabrall, Happee, & Winter, 2016)。注意力在特定情境中的监察和探测能力，反映了大脑进行事件加工的能力。事件越复杂，就要求能够保证事件顺利执行的注意力越集中(Jahani et al., 2016)。注意力不够集中引发的事故将造成严重损失。例如，据统计，在全球，每年因交通事故造成死亡的人数大约为130万人，非死亡人数大约为200~300万人(Goniewicz et al., 2016)。而驾驶员注意力分散是造成交通事故最普遍也是最主要的原因之一(Beanland et al., 2013)。

监测注意力的方法主要分为三种：主观量表法、行为测量法及生理测量法。主观测量法操作简单，但结果受主观影响过大，并且缺乏实时性。行为测量法相对主观量表法来说更客观一些，但是同样缺乏实时性，并且实施过程会受到一些环境因素的限制(Li et al., 2018)。生理测量法能够在注意力实验的过程中提取出与注意力变化相关的生理参数，从而实现了实时监测(龚涛，2018)。很多脑功能成像技术已经被应用到了注意力维持的研究中，使揭示注意调控的神经机制成为了可能。

人类生活的环境极其复杂，通过不同的感官会从环境中收集到大量多种多样的信息。视觉和听觉是人类获取外部信息的主要通道，也是维持注意力的主要刺激来源(Chouhan et al., 2015)。已有研究表明，将注意力集中于某种感觉刺激(视觉、听觉或触觉)时，可以增强负责该种感觉刺激信号加工的大脑皮层的神经活动(龚涛，2018)。那么，一种感觉刺激的增强就有可能对另一种感觉刺激产生影响。来自不同感官的刺激信号是相互促进还是相互抑制的呢？近年来，已经有很多研究对不同感觉模态下注意力加工过程的脑神经机制进行了研究，尤其是视觉和听觉。

2. 国内外研究现状及发展动态

人脑是高效信息处理系统，视觉和听觉是外来信息传入大脑的主要通道。而在人类信息处理系统中，注意力在选择和整合信息的过程中扮演着重要角色(唐晓雨等，2021)。当人类身处特定环境中时，会有选择的将注意力偏向与当前任务相关的信息上，忽略掉不相关信息(Tootell et al., 1998)。这种偏向受到自上而下或自下而上两种模式的调控。自上而下调控模式，又叫做目标–驱动调控，即个体基于某些目的在环境中主动寻找信息(Hickey, Mcdonald, & Theeuwes, 2006)。自下而上调控模式又叫做刺激–驱动调控，即由于外部刺激的显著特征而吸引个体的注意(Hickey, Mcdonald, & Theeuwes, 2006)。目标–驱动调控是一种以条件选择变量为指导的，较慢的认知调控机制，而刺激–驱动调控是一种快速的，以场景中的显著刺激为指导的原始调控机制(Hikosaka, Miyauchi, & Shimojo, 1997)。

以往研究运用PET、EEG、fMRI及fNIRS等脑功能成像技术对视听刺激引起的注意力变化的神经机制进行了探索。研究表明，额叶及顶叶在空间注意的调控过程中扮演者重要角色。这些区域与感觉及运动相关皮质相互影响，包括，内侧前额叶皮质、背外侧前额叶皮质、扣带回、顶内沟、顶下小叶及顶上小叶(Brunetti et al., 2008; Grent-‘t-Jong & Woldorff, 2007; Stern et al., 2007)。其中，背外侧前额叶皮质已被认为是注意选择过程中自上而下调控模式的核心部位，这一区域受损会导致注意及记忆损伤(Mesulam, 2000)。侧顶叶与注意力定向息息相关(Luks et al., 2008)。背外侧前额叶和侧顶叶都会对目标刺激产生活跃反应，反应强度随着注意任务难度的增加而增强(Luks et al., 2008)。因此，这些脑区都可能在注意的调控和维持过程中发挥着作用。

2.1. 单感觉通道研究

2.1.1. 视觉注意

人类面对复杂的视觉世界，只有一小部分场景能够输入人脑，用于在特定时间和环境下指导人类的行为活动。而人类为了快速有效的进行行为活动，需要通过注意力将相关的视觉信息优先提取出来(Tsotsos, 1990)。Gola等人通过监测EEG信号发现，无论是老年人还是青年人在做视觉注意任务时，都会在正确操作前在枕部记录到beta波，而在错误操作前则不存在beta波。因此，他们认为beta波与视觉注意有关(Gola et al., 2013)。

视觉注意究竟是目标–驱动调控，刺激–驱动调控还是同时受两者共同调控仍然存在争议。基于脑成像技术的人类视觉皮质研究为视觉注意力调控模式的争论提供了神经层面的证据。在目标–驱动调控视觉注意研究方面，Clark等人的研究证实，只有当视觉输入经过初级视皮层V1区时，才会引发自上而下注意信号的响应。当实验对象接收到视觉指导信号后，其大脑皮层的激活强度在面对与指导信号一致的注意力任务时要高于非指导信号注意力任务，并且随着注意任务难度的增加而增加(Clark & Hillyard, 1996)。Martínez等人进行了空间注意的EEG与fMRI联合研究，被试需要在干扰矩阵中搜索异常目标。EEG结果表明，刺激启动后最初的神经活动定位于纹状皮层，并不受到空间注意的调节。而fMRI结果则显示，注意能够引起初级视觉皮层的响应(Martínez et al., 1999)。在刺激–驱动调控视觉注意研究方面，PET和fMRI的研究均表明，刺激信号的特征属性能够激活V1、MT+、V5等视觉皮质区(Liu et al., 2003; Liu & Mance, 2011)。将注意力放在整个视觉范围内时，视觉扫过特定刺激特征时会引起与该特征相关的皮质区激活。例如，一个运动刺激会激活大量运动相关感觉区域——MT区的反应，而颜色变化刺激会激活大量颜色选择区——V4/V8区的反应(Schoenfeld et al., 2007)。

2.1.2. 听觉注意

听觉注意是人类过滤外界繁杂的感觉信息，选择有用信息的另一个重要途径(Hernandez-Peon, 1966)。听觉注意同样受到自下而上刺激–驱动模式和自上而下目标–驱动模式的调控(Kaya & Elhilali, 2016)。自下而上听觉注意力调控模式的研究多以声谱特征中的时间、频率、振幅、音调、音色、熵值以及噪音等为实验刺激，通过行为来反应注意力变化(Kalinli & Narayanan, 2007; Wang et al., 2015)。而自上而下听觉注意力调控模式的研究则是通过神经激活程度来反应注意力变化，更好的体现了听觉皮质的激活是受指导信号注意力调控的(Mesgarani & Chang, 2012; Weinberger, 2011)。听觉注意调控的神经机制也通过脑成像测技术被证实(Langner et al., 2012; Puschmann et al., 2017)。Petkov等人的研究表明外侧颞叶听觉皮层的带状区在声信号刺激引发注意后会产生强烈的激活(Petkov, 2004)。Fritz等人通过一系列的实验证实了一个关于听觉注意的重要推论，既听觉皮质通过改变响应特征使目标信号能够更好的与干扰信号区分开。也就是说，听觉皮层对刺激的反应与接收到的任务有关，这符合自上而下调控模式(Fritz et al., 2007)。Alho等人发现对连续语言刺激的选择注意调控发生在颞上回和颞上沟(Alho et al., 2014)。

揭示鸡尾酒会效应(Cocktail party effect)的神经机制是听觉注意研究的一个重要方向。鸡尾酒会效应是指人们在嘈杂的环境中将注意力集中在与某一个人的谈话之中而忽略背景中其他的对话或噪音的选择注意能力(Golumbic et al., 2013)。Ding等人的研究显示，在多重听觉信号中进行注意选择的神经加工位于后听觉皮层，并且即使目标刺激和背景刺激的声信号在频谱图上完全重合时，被试听觉皮层对二者声音的神经编码也是单独进行的(Ding & Simon, 2012b)。Golumbic等人的研究则表明，大脑使用低频相位、高频振幅的波跟踪语音流。在低级听觉中枢，注意力通过增强皮质对目标语音流的跟踪来调节语音表征，但背景语音也被表征。在高级听觉皮质中枢则表现出了更高的选择性，因为在该脑区检测不到背景语音的表征(Golumbic et al., 2013)。Power等人利用听觉诱导扩展频谱分析(Auditory evoked spread spectrum analysis, AESPA), 分别对两个同时出现的语音刺激进行线性脉冲反应测量，结果证明将注意力集中到两个语音刺激中的一个，会在左脑产生对这两个语音刺激的脉冲反应，二者之间会有大约200 ms的延迟(Power et al., 2012)。O’Sullivan等人则通过EEG测量提出鸡尾酒会效应神经调控的关键点在200 ms左右(O'Sullivan et al., 2014)。Evans等人发现，大脑对背景噪音和目标语言刺激的加工作用于同一通路，注意任务完成越好的个体对左颞上回的激活越强烈(Evans et al., 2016)。Begau等人的研究证实视–听混合背景下产生的ERPs存在年龄差异，只有老年人的theta波和beta波在视觉和听觉条件之间存在差异，且与年轻组相比，年长组beta扰动更强烈(Begau et al., 2022)。

2.2. 多感觉通道研究

虽然有关注意加工的研究起初只关注于单一感觉通道，但越来越多的研究开始聚焦于多感觉通道(Lee et al., 2020)。如何从复杂的多感觉模态信息网络中提取某一感觉信号，及多个感觉通道信息如何相互整合是主要难题(Begau et al., 2022; Santangelo & Macaluso, 2012)。

2.2.1. 视觉注意与听觉注意的比较研究

一些研究结果表明，听觉刺激相对于视觉刺激更能够引发顶枕部α频带信号(8~14 Hz)的激活(Trenner et al., 2008)。Li等人的研究证实，视觉空间注意和听觉空间注意的脑皮质功能激活区存在重叠区域，顶叶及额叶在听觉空间注意任务和视觉空间注意任务测试过程中都会被激活。但是顶叶在视觉时间注意任务时会被激活，在听觉时间注意任务时不会被激活(Li et al., 2007)。Grani等人则证实了视觉和听觉组合在一起的信号刺激比二者单独存在的信号刺激更能够吸引人的注意力，也能够引发更多的行为反应(Grani et al., 2014)。事件相关电位(ERPs)研究发现，当用听觉刺激引发注意时，听觉加工在Na成分的潜伏期(约30 ms)以及P1成分期间(约90 ms)受到调节；而当视觉刺激引发注意时，视觉输入在C1 (约60 ms)成分早期的潜伏期，P1 (80~100 ms)成分期间及N1成分时受到调节(Karns & Knight, 2009; Talsma & Woldorff, 2005)。近期的fMRI证据显示，当利用为对话添加噪音及为画面添加马赛克的方式改编听觉刺激质量及视觉刺激质量时，随着视觉刺激质量和听觉刺激质量的提升都会引起双侧颞上回和颞上沟激活的增强。此外，视觉刺激质量和听觉刺激质量的下降还会引起额顶叶激活的增强，这可能反映了注意力需求的增加。最后，与将注意力集中在视觉刺激相比，将注意力集中在听觉刺激能引发角回、右颞极、眶额、腹内侧前额叶和后扣带回激活的增强(Leminen et al., 2020; Zhao et al., 2021)。

2.2.2. 视觉注意与听觉注意相互转换研究

Rapela等人运用脑电技术对视听注意快速转换间的脑电与持续性视觉注意或听觉注意的脑电的差异进行了比较研究。结果显示，当实验对象接收到“看”的指令后，其与注意相关的脑电活动在从听觉刺激快速转换为视觉刺激时要高于始终集中于视觉刺激时。当实验对象的注意在视觉刺激与听觉刺激间快速转换时，脑电信号会随着指令与视觉刺激间间隔的增加而减弱。脑区视觉注意的衰退甚至能持续到注意已经转移到听觉刺激上，表明视觉与听觉注意间存在某种交叉作用，能够提高注意水平，并且不仅作用于单一感觉注意，还作用于任务执行过程中涉及到的其他感觉注意(Rapela et al., 2012)。陈雪莹等人也进行了视觉和听觉跨通道注意转移的ERPs研究。结果证实，视觉和听觉线索目标刺激的N1，P1和P3成分皆出现通道转移的主效应。听觉目标刺激在N1成分上在有通道转移时的引发的波幅更大，在P1和P3成分上在无通道转移时引发更大的波幅。视觉目标刺激在N1，P1和P3成分上在有通道转移时引发的波幅都要大于在无通道转移时引发的波幅。在视觉和听觉中，有无通道转移引发的脑电活动的差异主要集中在额区(陈雪莹，吕勇，2013)。视–听注意的跨通道转换不仅体现在通道间转变，也存在于通道间传递。例如，在情绪对注意调控的研究中，发现无论视听情绪刺激是否一致，在200~300 ms的时间窗内，视–听刺激同步呈现时提取的听觉ERPs都明显大于单独呈现听觉刺激时的ERPs，说明一个通道的激活会传递给另一个通道(Chen et al., 2022)。无论将视觉还是听觉设置为任务相关，在有消极情绪呈现的情况下，情绪一致刺激呈现180 ms后的ERPs均比情绪不一致刺激呈现180 ms后的ERPs显著活跃。相对于情绪一致刺激，情绪不一致刺激在400~550 ms内出现的N400成分显现出了更高的负面影响(Foecker, 2019)。表明与情绪相关的视–听感觉通道间的信息是自动交互的。又如，在空间选择注意的研究中发现，听觉目标刺激呈现200~400 ms间出现的Nd成分并不会因周围视觉刺激是否受到关注而改变，但当听觉刺激单独呈现时会减少(Zhao et al., 2021)。

2.2.3. 注意的多感觉通道整合研究

有关视–听注意多感觉整合(Multisensory integration, MSI)的研究也受到了人们的广泛关注。多感觉整合是个体将不同感觉通道(如视觉、听觉、触觉)的信息整合为统一、连贯、稳定的有意义知觉过程(王爱君等，2020；Feng, 2022)。能够整合来自多种感官的信息是我们认知周围世界的基本要求。通过注意的调控，多个感觉通道输入的信息被整合到不同的加工阶段，最终形成整体认知(Badamdorj et al., 2021; Ding & Simon, 2012a; Shamma, Elhilali, & Micheyl, 2011)。如，在听一个人说话时，我们的感觉系统能够将我们耳朵听到的声音和眼睛看到的说话者的手部动作和唇部运动整合起来，最终让我们对说话者叙述的事件形成一个整体的认识(Schutz & Silverman, 2011)。神经影像研究已经显示，多感觉通道信息整合涉及多个脑皮层区域。例如，颞上区和内侧前额叶都参与了语言和唇部运动的整合(Ruesseler et al., 2017)。再如，听觉刺激与视觉刺激语义一致会引起右侧颞中回和颞上回显著激活(Plank et al., 2012)。与单独的听觉刺激相比，只有当同步呈现的视觉刺激与听觉刺激指示相同时，在视觉皮层和听觉皮层进行的语义追踪加工及听觉注意编码才会增强(Fu, Wu, & Chen, 2019; Fu & Chen, 2020)。颞顶叶连接区和颞前叶也被普遍认为在跨通道语义表征中起着关键而特殊的作用(Mirman, Landrigan, & Britt, 2017; Ralph et al., 2016; Schwartz et al., 2011)。电生理的研究显示，选择注意的调控机制不会局限于一个单一的感觉模态，可以包含或跨越多个感觉系统(Busse et al., 2005)，来自多个感官系统的信息也不会单独加工，而是会在多重情境下整合到一个多感觉认知系统中进行加工(Fort et al., 2002a, 2002b)。注意的多感觉通道整合还受到时间同步性的调控，例如ERP研究证实，仅当视–听刺激同步时，枕叶早期跨感觉通道相关P195成分和顶叶晚期跨感觉通道相关N440成分才显著(Feng et al., 2022)。

注意与多感觉整合的相互作用关系复杂又具有争议。一方面，是因为注意与多感觉整合的相互影响具有多个水平(Rohe, Ehlis, & Noppeney, 2019)；另一方面，无论注意还是多感觉整合都是复杂、多层面的过程，他们作用于感觉加工的调控，并最终影响行为(Macaluso et al., 2016; Mole, 2020)。Giard等人和Molholm等人提出了视听融合研究的理论模型。他们认为，视听整合就是同时接受视觉与听觉刺激后的ERPs (Multisensory audiovisual, AV)与单独接受视觉刺激的ERPs (Unisensory visual, V)和单独接受听觉刺激的ERPs (Unisensory auditory, A)之和(A + V)的差值(Giard & Peronnet, 1999; Molholm et al., 2002)。随后，Durk等人基于这一理论对视听融合与注意的相互作用关系进行了研究。结果显示，只有当视觉和听觉同时被注意时，才会在P50成分发现视听融合效应，即P50成分的视听融合ERPs比单独的视觉和听觉ERPs之和小。他们还发现，当被试在视听共同刺激任务中将注意力集中于视觉刺激时，会发生一个延迟的前额叶负波增强，而这种负波增强与听觉刺激注意加工负波极其相似，暗示着以视觉刺激为主的视听注意加工在后期已经从视觉注意加工传递到了听觉注意加工(Durk, Doty, & Woldorff, 2007)。

Xi等人针对注意调控视–听整合的神经机制进行了一系列有价值的研究。首先，他们应用fMRI研究证实了视–听整合注意能够引起前颞叶、颞顶联合区以及额顶叶的激活，并且前颞叶激活程度最高，表明视听整合注意加工是一个需要多个皮层网络联合加工的复杂过程，前颞叶在其中发挥着重要作用(Xi, Li, Gao, He, & Tang, 2019)。然后，他们对比了注意状态和非注意状态下视–听整合的神经机制，结果表明，初级视觉皮层、初级听觉皮层及颞上回、颞中回是注意调控视–听整合的重要脑区，且注意状态下的脑区激活都要显著高于非注意状态下的脑区激活(Xi, Zhang, Gao, Li, Liu, & Li, 2019)。在最新的研究中，他们通过添加听觉干扰和视觉干扰排除了视–听整合中的基本刺激整合，提取出了更高水平的语义整合。结果显示，在注意状态下，在220~240 ms的双侧枕颞区和560~600 ms的额区分别出现了两次语义整合效应；在非注意状态下，只在340~360 ms的中央前额区发现一次语义整合效应。说明，在注意状态下，视–听语义信息首先进行一次整合，再针对当前任务进行一次再分析，符合目标驱动的自上而下注意调控模式；在非注意状态下，没有进行注意分配，只进行了一次无意识的自动语义整合(Xi et al., 2020)。Rohe等人结合心理物理法、fMRI及最大似然估计法，发现听觉皮层和视觉皮层分别主要编码听觉刺激和视觉刺激中的空间定位信息，而顶内沟则是对视–听整合后的信息进行空间表征。最重要的是，顶内沟对于视听整合信号内的空间信息表征是受到注意的调控的，也就是受到自上而下模式的调控(Rohe & Noppeney, 2018)。来自ERPs的证据显示，早期的视–听整合发生在40~160 ms的注意相关脑区，视–听整合信号空间及语义加工发生在200~280 ms的与注意目标相关的脑区，后期的视–听整合发生在320~520 ms的决策相关脑区。并且在视–听拼写任务中神经网络信息传递的能力和效率在40~160 ms、200~280 ms及320~520 ms都要高于单一视觉拼写任务(Lu et al., 2020)。

腹语效应是视–听整合发生扭曲的现象，声信号的空间定位被视觉信号输入扭曲，以至于观察者误以为声音发出自被控制的木偶，而不是控制木偶的人(Jack & Thurlow, 1973)。通过EEG研究验证空间注意是否能够调节腹语效应，结果显示自上而下的注意抑制了对侧颞电极上的alpha波(10 Hz)的波幅，而自下而上的注意将脑电相位转移到了theta波(7 Hz)，而不是抑制振幅。因此，两种不同的空间注意对于腹语效应进行调节的神经机制也是不同的(Kumagai & Mizuhara, 2016)。

2.3. 认知障碍人群视–听注意研究

认知障碍人群对视觉、听觉的感知和对注意的加工都可能会存在某种异常，因此，越来越多的研究者开始探索该类人群视–听注意加工的差异(Daibert-Nido et al., 2021)。例如，Kang等人通过对阅读障碍(Dyslexia)儿童在目标搜索任务中事件相关电位的研究，发现阅读障碍儿童在视觉搜索任务中诱发的P300波幅显著低于非阅读障碍儿童，而P300成分通常被认为与视觉空间注意及注意的分配和持续加工有关(Kang et al., 2016)。Fan等人发现，高功能孤独症患者(High-functioning autism, HFA)在进行视觉注意判断任务过程中，虽然其左右半球的上前扣带回、右缘上回、梭状回等会发生明显激活，但与正常发育个体间并不存在显著差异，因此认为该类人群小脑和顶叶并不存在异常(Fan et al., 2012)。对注意力缺陷多动障碍(Attention deficit/hyperactivity disorder, ADHD)儿童的研究发现，在视觉注意定向任务中，他们与无关信息自主加工的P2成分会显著增强，而与工作记忆相关的CNV波幅会明显降低(Ortega et al., 2013)。对注意力缺陷多动障碍视–听整合注意研究发现，注意力缺陷多动障碍患者无论是对单独视觉刺激、单独听觉刺激还是视–听同步刺激的反应都要快于正常对照组。EEG分析结果显示，无论是注意力缺陷多动障碍患者还是正常对照组都存在多感觉整合早期加工，并且注意力缺陷多动障碍患者在刺激后的早期潜伏期110~130 ms时，在顶枕区会进行更多的多感觉整合加工(McCracken et al., 2019; McCracken et al., 2020)。在述情障碍患者中则发现，无论视–听情绪刺激是否一致，高述情障碍被试与低述情障碍被试相比，P2成分振幅都更高，情绪识别能力都更差。贝叶斯统计显示，述情障碍患者情绪的多通道整合情况与以往研究中发现的多通道整合ERP成分(N1和N2)无差异(Wang et al., 2021)。说明述情障碍患者虽然在视觉或听觉单通道上存在情绪识别障碍，但是在多通道整合上是没有缺陷的。

3. 小结和展望

人类的感知是通过多个感觉通道不断输入的信息所控制的。本文从单一的视觉或听觉到视–听多感觉整合对视–听注意的神经机制进行了系统的梳理。众多研究结果表明，视听注意既受到自上而下目标驱动加工模式的调控，又受到自下而上刺激驱动加工模式的调控。这是因为人类在感知周围环境时即受到环境中一些视觉及听觉刺激的特定特征的影响，又受到自身行为目标、先前经验、短时记忆等内在因素的影响。自上而下调控和自下而上调控对稳定、准确的认知加工至关重要，探索二者的神经网络组成与联合也一直是认知科学的研究重点。进一步的神经层面的研究显示，同步的且一致的多感觉刺激对注意具有增进的作用。视觉和听觉同步的信号刺激比单独的视觉信号刺激或听觉信号刺激更能够引起人的注意，也能够引发更多的行为反应，并且只有听觉刺激与视觉刺激语义一致时才会引起大脑皮层一些区域的显著激活。这可能是由于视觉注意与听觉注意都占用着同一注意资源，而不一致的听觉与视觉信号的输入会降低目标信号所分配到的注意资源，从而对于目标刺激的神经加工也会降低。对于多感觉加工的方式，虽然一些证据表明，不同感觉通道输入的信息是以平行的方式处理的，而且只在高级中枢进行整合加工，但也有证据表明，一些多感觉整合在初级感觉中枢就存在了。

脑功能成像技术短时间内的迅猛发展，助力了揭示视–听注意神经机制的研究。然而，与许多快速发展中的科学领域一样，视–听注意的脑功能解码在探索过程中也遇到了很多困难，发现了一些问题，总结了一些经验。

3.1. 视–听多感觉通道整合是研究趋势

上文的研究均表明，听觉注意与视觉注意无论是在神经层面，还是在行为层面都不是相互独立的。实际上，人类从环境中接受的信息基本不会是纯视觉或者纯听觉的，进行视–听多感觉通道整合研究，探索视–听刺激对注意影响的神经机制更加具有现实意义。单一感觉刺激对注意的影响与视–听同步刺激对注意的影响是否存在差异？促进注意与视听融合通道相互影响的神经网络是什么样的？最能解释注意与视听融合通道相互影响的模型是哪个？这些问题尚需进一步探索。

3.2. 视–听刺激同步是挑战

视–听多通道整合是感觉–注意调控的神经机制研究的发展方向，相应的，视–听刺激同步就成为了该类研究的技术关键。因为视–听刺激同时呈现是此类研究的主要环节，只有视–听刺激同步达到一定水平，才能保证研究结果的准确性。人类具有很强的辨别视觉信号与听觉信号是否同步的能力，能够在视频中注意到画面与音频非常微小的不匹配，因此，在对人类视–听注意进行研究时就更需要保证视–听刺激的同步性。目前，参考已被广泛接受的将单一感觉刺激融合成多感觉刺激的方法(Vroomen & Keetels, 2010; Werner & Noppeney, 2011)，实现视–听刺激同步的做法，是将纯音刺激的频率与视觉刺激的脉冲频率调整到同一频率(Keitel & Müller, 2015)。但是，这种方法只实现了视觉刺激与听觉刺激的在时间上的同步，却不能保证空间同步，还需要更加复杂和精确的技术及模型实现视觉刺激与听觉刺激的时间–空间同步。

3.3. 多模态成像研究是新手段

采用不同脑成像技术对大脑数据进行共同采集被称为多模态成像研究(叶佩霞等，2017)。PET、EEG、fMRI及fNIRS等多种脑信号技术均可用于注意的神经机制研究。然而，每种技术都有各自的优点和局限性：从时间分辨率来说，EEG要高于fNIRS和fMRI，最低的是PET；从空间分辨率来说，fMRI要高于PET，其次是fNIRS，最低的是EEG；PET需要将标记有放射性核素的蛋白质、核酸等物质注入人体才能进行脑信号测量；fMRI虽为非侵入式的技术，但是设备费用高昂且携带不便，无法进行较灵活的实验；EEG和fNIRS即属于非侵入式技术，携带上也相对来说比较便利，但是又各自存在空间分辨率或时间分辨率低的缺点(熊馨等，2018)。多模态成像技术集合两种及以上成像技术的优点，抵消缺点，既可以对同一研究问题的不同模态数据进行相互比较，又可以提供较全面神经信号信息，能够更加准确揭示认知加工神经机制。

基金项目

本研究得到内蒙古自治区自然科学基金联合项目(2020LH03014)、内蒙古师范大学高层次人才科研启动项目(2019YJRC015, 2020YJRC016)、内蒙古师范大学基本科研业务费项目(2022JBQN119, 2022JBQN116)的资助。

NOTES

^*通讯作者。