1. 引言
在日常生活中，我们每时每刻都在接受来自不同感觉通道的大量信息。多感觉整合(multisensory integration)是有助于我们组合和处理不同感觉通道信息的重要机制。多感觉整合是指将来自不同感觉通道的信息相互作用并整合为统一、连贯、有意义的知觉信息的过程(Tang et al., 2016)。多感觉整合有两种表现形式，最常见的是多感觉促进效应，通过多感觉整合过程，能够促进个体对目标刺激的检测、识别和定位。相比单通道(视觉或听觉)刺激，个体对同时呈现的多感觉通道刺激的反应更快速更准确(Mishler & Neider, 2016)。第二种表现形式是多感觉错觉效应，它也是不同通道的信息相互作用的结果，常见的错觉效应有腹语术效应、McGurk效应、双闪光错觉效应等，其中McGurk效应是一种以视觉通道信息为主导的视听整合现象。McGurk效应指的是当特定发音的视觉刺激(口型)与特定发音的听觉刺激同时呈现时，个体可能产生新的听觉感知的现象。经典的McGurk效应(McGurk & MacDonald, 1976)是“ga”的口型和“ba”的音频同时呈现，个体可能会感知到另一个音节“da”。多感觉整合能力的缺陷将导致阅读障碍，社交能力的缺陷，在老年人群体，自闭症群体中比较常见。因此探寻多感觉整合能力的知觉训练方式尤为重要。动作游戏训练作为知觉训练方式的一种，受到了研究者们的广泛关注，动作游戏具有情节紧张刺激、物体运动迅速的特点，玩家需要保持高度注意来觉察和发现目标并做出快速反应，对玩家的视觉和视觉–动作反应系统要求很高(Green & Bavelier, 2003)。已有研究表明，进行过动作游戏训练的个体在多感觉整合时间维度方面具有一定的优势，动作游戏玩家有更精细的时间窗口(Donohue et al., 2010)。然而，对于动作游戏训练对多感觉整合其他方面的影响尚不清楚。为了更好地发展动作游戏训练方式，需要对动作游戏玩家多感觉整合的能力进行更加全面的考察。鉴于此，本文结合多感觉整合的两种表现形式，探讨动作训练与多感觉整合的关系。以非游戏玩家作为对照，探究动作游戏玩家在多感觉整合能力上是否具有优势。
以往的研究发现，动作游戏玩家在许多认知能力任务中均表现出优势效应，且研究者证实了动作游戏经验与认知能力提升的因果关系。研究主要集中在视觉能力上，动作游戏能够促进视觉注意能力的发展(Cain et al., 2012)。动作游戏玩家的视觉空间注意分配、视觉分辨能力优于非游戏玩家(Green & Bavelier, 2007)。动作游戏训练还对视觉工作记忆有积极作用(Blacker et al., 2014)。有研究证明仅通过视觉训练，不仅能提高视觉时间处理，更重要的是，视觉训练能够提高跨通道的时间精度，即多感觉整合时间绑定窗口更窄，说明单通道的经验能够影响多感觉整合过程(Stevenson et al., 2013)。同时有研究者对动作游戏训练与多感觉整合的关系进行探究。研究者选取动作游戏组和非游戏组两组被试，通过同时性判断任务和时序判断任务来比较两组被试的视听整合的时间窗口大小。研究表明，在两个任务中，经过动作游戏训练的个体能在更窄的时间窗口内做出更多正确的反应，说明动作游戏玩家有更精确的多感觉时间处理能力(Donohue et al., 2010)。综上，本研究认为，动作游戏玩家很有可能从视觉优势延伸到多感觉整合优势。基于此，本研究提出两个假设：H1：相比于非游戏玩家，动作游戏玩家对于同时出现的视听刺激反应更快、更准确。H2：动作游戏玩家的多感觉错觉效应量显著高于非游戏玩家。
2. 实验一：动作游戏玩家的多感觉整合促进效应
2.1. 方法
2.1.1. 被试
参照以往研究者(Green & Bavelier, 2006)的标准，本研究所选取的动作游戏包括射击类游戏和多人在线竞技游戏。通过游戏情况使用调查表，未玩过动作游戏的个体归为非游戏玩家。有动作游戏经验同时符合以下三项指标的个体归为动作游戏玩家。玩动作游戏的时长大于1年，近6个月玩动作类游戏的频率每周4天以上，每周总时长8个小时以上。最终动作游戏玩家和非游戏玩家各20名参与后续行为学实验，被试视力或矫正视力正常，听力正常。
2.1.2. 实验设计
实验采用2 (被试类型：动作游戏玩家、非游戏玩家) × 3 (目标刺激类型：视觉、听觉、视听觉)两因素混合实验设计。玩家类型为被试间变量，目标刺激类型为被试内变量，因变量为反应时和正确率。
2.1.3. 研究工具
游戏使用情况调查表。参照以往研究者(Anderson & Dill, 2000)编制的电子游戏接触问卷(Video Game Questionnaire, VGQ)。问卷包括两个部分，第一部分让被试列举3~5个玩的最多的电子游戏名称，第二部分要求被试回答玩动作游戏的时间、近半年玩游戏的频率，以及每天的在线时长等。
2.1.4. 研究程序
实验阶段每个试次的流程如图1所示：首先，注视点在屏幕的中央随机呈现800~1000 ms，其次目标刺激在左/中/右呈现，目标刺激包括单独的视觉刺激、听觉刺激，视听觉组合刺激三种类型，目标刺激呈现时间为100 ms，之后呈现1000 ms的注视点以便被试做出相应的反应。实验过程中，目标刺激会出现在三个位置并且每个位置出现的概率相等(1:1:1)，实验要求被试既快又准地对左右两侧呈现的目标刺激做出按键反应(键盘上的“B”)，对中央呈现的刺激不反应。练习实验共18个试次，正式实验共180个试次，其中包括120个go试次(40个听觉试次，40个视觉试次，40个视听觉试次)和60个no-go试次(20听觉，20视觉，20是视听觉)。整个实验大约10分钟。
2.2. 结果与分析
数据分析之前，剔除无法分清声音刺激方向和没有对听觉刺激做反应的的被试。最终共剔除被试12人，剩余有效被试28名(游戏组14名，非游戏组14人)。
2.2.1. 正确率
不同条件下的正确率如表1所示，以目标刺激类型(视觉、听觉、视听觉)和被试类型(动作游戏玩家、非游戏玩家)为自变量，对正确率进行重复测量方差分析。
注：目标刺激(V/A/AV)分别代表视觉(visual)、听觉(auditory)和视听觉(audio-visual)目标。目标刺激会出现在三个位置并且每个位置出现的概率相等。ITI是指试次间的时间间隔(inter-trial interval)。图中表示的视听目标出现在左侧的情况。
Figure 1. Process diagram
图1. 流程示意图
Table 1. Reaction times and accuracy under different conditions (M ± SD)
表1. 不同条件的反应时和正确率(M ± SD)
目标刺激类型主效应显著，F(2,25) = 8.469，p = 0.002，
= 0.404，视觉目标的正确率显著大于听觉目标正确率，视听觉目标也显著大于听觉目标正确率，表现出了双通道加工优势。被试类型主效应不显著，F(1,26) = 0.254，p = 0.618；目标刺激类型与玩家类型交互作用不显著，F(2,25) = 1.233，p = 0.375。
2.2.2. 反应时
以目标刺激类型(视觉、听觉、视听觉)和被试类型(动作游戏玩家、非游戏玩家)为自变量，对反应时进行重复测量方差分析。结果如图2所示。目标刺激类型主效应显著F(2,25) = 117.116，p < 0.001，
= 0.904，事后比较发现，视听觉目标反应时(451 ms)显著小于视觉目标反应时(495 ms)和听觉目标反应时(573 ms)，视觉目标反应时(495 ms)显著小于听觉目标反应时(573 ms)。视听觉目标同时呈现时反应时最短，表现出双通道加工优势。被试类型主效应不显著，F(1,26) = 1.972，p = 0.172。目标刺激类型与被试类型的交互作用边缘显著，F(2, 25) = 2.794，p = 0.08。
注：***p < 0.001。
Figure 2. Mean reaction times across conditions
图2. 不同条件下的平均反应时
2.3. 小讨论
实验结果表明，动作游戏玩家和非游戏玩家对视听目标的反应时显著小于视觉目标、听觉目标的反应时。即无论是动作游戏玩家还是非游戏玩家都表现出双通道信息的加工优势。但是在本研究中，定位检测任务较容易，易出现天花板效应，因此不易看出两组差异。同时，本研究选取的大学生群体，多感觉整合能力可能已经达到了一个比较完善的水平。在今后研究中可以选取本身多感觉整合能力存在缺陷的被试，通过进行动作训练进行干预研究，来更加准确的考察动作训练对多感觉整合的影响。
3. 实验二：动作游戏玩家的多感觉整合错觉效应
3.1. 方法
3.1.1. 被试
同实验一。
3.1.2. 实验设计
实验采用2 × 3两因素混合实验设计，被试间变量为被试类型，分为动作游戏玩家和非游戏玩家两个水平。被试内变量为刺激类型，分为纯听觉刺激、视听一致、视听不一致三个水平。因变量在纯听觉刺激和视听一致的条件为正确率，在视听不一致的条件为反应类型。
3.1.3. 实验材料
参照以往研究者(Mallick et al., 2015)的实验程序，纯听觉刺激为2个2 s的音节“ba”和“ga”。视听刺激包括两种，视听一致刺激共24个，由8名英语母语者录制的3种音节“ba”、“ga”和“da”；视听不一致刺激共8个，同样由8名英语母语者录制，经过合成后，发音口形为“ga”匹配的声音是“ba”。
3.1.4. 研究程序
实验在隔音良好的房间里进行，通过耳机呈现声音，被试坐在屏幕前约65 cm处，要求被试注视屏幕，同时认真仔细地听声音，根据自己听到的声音进行按键反应“B”、“D”、“G”。当听到“ba”按B键，听到“da”按D键，听到“ga”按G键。包括练习和正式实验，练习实验共18个试次，正式实验共包括120个试次，听觉刺激呈现24次，视听一致刺激呈现48次，视听不一致刺激呈现48次，刺激随机呈现，时间大约10分钟。实验阶段每个试次的流程如下：首先，注视点在屏幕的中央呈现1000 ms，接下来呈现目标刺激，在纯听条件下，屏幕为黑色背景，通过耳机呈现一个音节的声音；在视听一致条件，屏幕中说话者的口型与耳机播放的音节一致；在视听不一致条件，屏幕中说话者的口型与耳机播放的音节不一致。被试需要在2000 ms内作出按键反应，被试没有反应则直接进行下一个试次。刺激呈现方式如图3所示。
注：人脸右侧音节表示说话者的口型，图片左侧的喇叭表示实际的音频，在视听一致条件下嘴型和音频一致，共有三种组合，/ba/、/ga/、/da/。在视听不一致条件，嘴型和音频不一致，只有一种嘴型/ga/和音频/ba/的组合。纯听觉刺激条件下，呈现黑屏，音频共有两种，/ba/和/ga/。
Figure 3. Presentation of stimuli
图3. 刺激呈现方式
3.2. 结果与讨论
数据分析之前，剔除在纯听和视听一致条件下，个人正确率超出平均正确率的正负3个标准差的被试，共剔除被试4人，剩余有效被试36名(游戏组18名，非游戏组18名)。
3.2.1. 正确率
以目标刺激类型(听觉、视听一致)和玩家类型(动作游戏玩家、非游戏玩家)为自变量，对正确率进行重复测量方差分析。目标刺激类型主效应不显著，F(1,34) = 2.313，p = 0.138。玩家类型主效应不显著，F(1,34) = 0.707，p = 0.406；目标刺激类型与玩家类型交互作用不显著，F(1,34) = 0.483，p = 0.492。
3.2.2. McGurk效应
当出现视听不一致刺激时(视觉“ga” + 听觉“ba”)，被试按“D”表示被试做出融合反应(即发生McGurk效应)，按“G”表示被试做出视觉反应，按“B”表示被试做出听觉反应。以玩家类型为自变量，分别对融合反应、视觉反应、听觉反应做独立样本t检验，结果发现，融合反应比率差异显著，动作游戏玩家的融合反应比率显著大于非游戏玩家，t(18) = 2.177，p = 0.038。
3.3. 小讨论
实验结果表明，动作游戏玩家和非游戏玩家都在视听不一致刺激中融合反应都显著大于视觉反应、听觉反应。两组均表现出多感觉整合错觉效应。且动作游戏玩家的融合反应比率显著大于非游戏玩家，McGurk效应的个体差异可能与个体对视觉或听觉信息的依赖程度有关，对视觉信息依赖程度高的个体更容易受到视觉信息的影响，进而发生更多的McGurk效应(罗霄骁等，2018)。在本研究中，动作游戏玩家McGurk效应大于非游戏玩家，这可能与动作游戏玩家通过长期的游戏训练培养了出色的视觉能力使其更容易受到视觉信息的影响。
4. 总讨论
从实验一的结果可知，动作游戏玩家和非游戏玩家均表现出多感觉促进效应。从实验二的结果可知，动作游戏玩家和非游戏玩家均表现出多感觉错觉效应，同时动作游戏玩家McGurk效应量大于非游戏玩家。两个实验的结果虽然不完全相同，但存在相似之处，这可能与定位检测任务和McGurk范式的机制不同有关。多感觉促进效应更能直接体现多感觉整合的过程，而多感觉错觉效应虽然也是一种多通道信息相互作用的结果，但在生活当中体现的很少，且受到多种因素的影响，实验结果不稳定。对于多感觉整合个体差异的研究有以下三种类型，其一是对于特殊人群(自闭症患者、阅读障碍者)多感觉整合特点的研究(Breznitz, 2002)。当阅读障碍患者和正常被试进行语言和非语言学的任务过程时，发现阅读障碍患者在视觉和听觉信息的加工速度和成绩都显著低于正常被试，比较他们的脑电活动发现，阅读障碍患者不能同时加工视觉信息(字形)和听觉信息(发音)。对于自闭症患者，研究表明多感觉整合能力存在明显的缺陷，自闭症患者不能将言语和其特定的表情或身体姿势信息整合起来，从而影响了交往和沟通能力(Kwakye et al., 2011)。由此可见，多感觉整合能力对于阅读理解、社会交往都起着非常重要的作用，多感觉整合的缺陷对人们的正常生活会造成一定的影响。研究者也在积极探索多感觉整合能力的训练方式，来帮助阅读障碍患者、自闭症患者、老年人等(李先春等，2012)。其二是在实验室中，通过比较个体在知觉训练前后多感觉整合时间窗口的大小，检验多感觉整合在时间维度上的可塑性。时间的同步性对于整合的发生起着重要的作用，来自不同通道的感觉信息在时间上越一致，越容易被感知为一个知觉对象，但成对的刺激不一定是精确同步的，在接近的情况下呈现的多感官刺激仍然整合为一个统一的知觉对象。因此，多感觉整合仅发生在一个有限的时间间隔内，通常是0~200 ms，在实验过程中通常用多感觉整合时间窗口作为指标(Hairston et al., 2005)。其三是对于后天经过训练的人群(音乐训练、动作游戏训练等)的多感觉整合能力的研究，来检验多感觉整合的长时可塑性。例如，研究者使用双闪光错觉范式对音乐家和非音乐家多感觉整合的时间窗口进行量化。结果发现与没有经过音乐训练的个体相比，经过音乐训练的个体对同时出现的视听线索有更快、更准确的反应，同时有更加精确的时间窗口。研究证明了音乐家在听觉的优势能延伸到其他通道，视听整合能力更强(Bidelman & Gavin, 2016)。根据前人的研究，动作游戏训练或是其他知觉训练对多感觉整合的影响主要体现在多感觉整合的时间窗口上。时间因素对于整合是否发生起着非常重要的作用，更窄的时间窗口意味着人们能够更准确的判断信息是否属于相同的来源，避免了生活中很多错误的判断。
本研究存在一定的局限和不足，首先，在研究一中所采用的定位检测任务，两组被试都有很好的表现。可能存在天花板效应，在今后的研究中可以增加实验难度。其次，由于实验条件的限制，本研究只进行了动作游戏玩家和非游戏玩家横向比较，揭示的是动作训练与多感觉整合的相关关系，由于多感觉整合能力可能在成人阶段已经达到了成熟。同时被试也可能在生活中有体育运动、音乐训练的经验，也会对实验结果产生影响，因此要想更加准确的去探究动作游戏训练对多感觉整合的影响，可以利用纵向研究的实验设计，通过对非动作游戏群体进行动作游戏训练。此外，本研究具有现实意义，其一多感觉整合普遍存在于我们的现实生活中，帮助人们对目标进行识别、定位。考察动作游戏玩家多感觉整合过程，可以促进多感觉整合能力的知觉训练的发展。其二对于大学生动作游戏的研究，可以帮助我们发挥动作游戏的积极作用，对青少年加以引导，适当监督与限制他们的游戏时间以及游戏的类别，提高青少年的认知能力。
5. 结论
动作游戏玩家和非游戏玩家均表现出多感觉促进效应。动作游戏玩家和非游戏玩家均表现出多感觉错觉效应，且动作游戏玩家多感觉错觉效应量更大。