1. 引言
我们生活在一个多模态信息的世界里，周围环境中充斥着视觉、听觉、触觉等多个模态的信息，一个复杂的事件往往由多重模态信息构成。相应地，我们的大脑可以利用多模态整合(Multisensory Integration)的机制对来自不同感觉通道的信息进行加工，这不仅加快了对复杂信息的处理速度，而且极大提高了感知的精度。这种多模态的整合被研究证实存在于多个感知领域，比如视听觉的整合和听触觉的整合等。不同模态的刺激在时间上的接近性是大脑判断是否对两个刺激进行整合的一个重要因素(Kayser & Logothetis, 2007)。当两个刺激在时间上是一致时，多模态整合的效益将会达到最大化。例如在视听刺激中，说话人的声音与视频中呈现的嘴唇运动同步时，语言的可理解性将会最大化(Van Wassenhove, Grant, & Poeppel, 2007)。
但是由于一些因素比如刺激信号源之间的物理距离，不同感觉通道之间的神经转导速度的差异等，多模态的神经信号在大脑中的时间一致性通常很难达到。研究显示我们的大脑为这种广泛存在的时间不一致性提供了灵活的补偿机制。比如在视听觉刺激整合中，由于视觉系统的视网膜采用了电化学的传感系统，相较于快速的听觉传导系统，延迟了约30~50 ms (King & Palmer, 1985)。大量研究表明，在近场中，大脑可以将视听觉的主观性同时性(Point of Subjective Simultaneity, PSS)向视觉超前的方向移动(Fujisaki, 2004)。同时这种校正是非常灵活和迅速的，不需要很长的时间适应。最近研究发现，即使只经过单个试次的训练适应，大脑也可以快速做出这种校正。这种近乎在线的及时的快速校正对于大脑快速对外界的情况做出判断和适应具有重要意义(Der Burg, Alais, & Cass, 2013)。此外在视触觉刺激中也发现了这种快速校正现象(Lange et al., 2018)。
听觉和触觉这两个通道之间存在着广泛的整合(Bellido, Barnes, & Crommett, 2018; Schurman et al., 2006)。例如在音乐感知中，我们不仅可以听到音乐，也可以利用触觉信息感受到音乐，尤其是音乐的节奏等信息(Huang et al., 2012)。相关的ERP (Event-Related Potential)研究也证实了，听触模态混合的音乐节拍序列所诱发的ERP幅度相对于单模态的音乐节拍诱发的ERP幅度显著升高，呈现出多模态整合中的超加性效应(吴天序&王小勤，2016；Stein & Stanford, 2008)。目前针对听触觉刺激的时间校正研究较少，本文则利用心理物理实验的方法，对这一问题进行探讨，并且对听触觉整合现象进行更深一步的研究。
2. 方法
2.1. 实验内容
本实验采用了同时性判断任务的范式(Simultaneity Judgment, SJ)，相比于其他的范式例如时间顺序判断(Time-Order Judgment)，这种任务更加易于执行。实验刺激材料为随机呈现的具有不同SOAs (Stimulus Onset Asynchrony) (±300, ±150, ±125, ±100, ±75, ±50, ±25, 0 ms)的听触觉双模态刺激配对，其中听觉、触觉刺激均为click刺激，刺激持续时间为10 ms，采样率为44100 Hz。实验刺激均通过MATLAB软件生成，呈现系统通过Psychotoolbox软件包完成。被试的任务是判断这两个刺激是否是同时发生的，从而得到被试的同时性报告。
2.2. 被试
实验对象为11位清华大学在校生，全部被试均无专业的音乐背景，平均年龄为21 ± 2岁，视力或校正视力正常，听力正常，触觉正常，均为右利手。被试均被告知实验详情，且签署了清华大学行为实验知情同意书。在实验结束后，被试均获得了相应的报酬。
2.3. 实验系统
采用位于清华大学生物医学工程系听觉实验室的听触觉测试系统，实验刺激由两个通路呈现，一个通路以听觉模态呈现，另一个通路以触觉模态呈现给被试。听觉刺激的播放采用专业级别的声学耳机(型号HD280 Pro，Sennheiser)播放给被试。触觉刺激则通过压电陶瓷触觉刺激仪(PTS-C2, Dancer Design)呈现至被试的左手指，此刺激仪的输入信号与输出信号延时误差小于1 ms。整个实验均在具有隔音效果的双层屏蔽室(IAC 1202-A)内进行。听觉刺激和触觉刺激的强度均会在正式实验前调整至各个被试的舒适水平。
2.4. 实验流程
被试按照自己舒适的姿势坐在屏蔽室内的椅子上，佩戴耳机并正对前方设置的显示屏。屏幕上会显示任务提示说明，15个不同SOAs的刺激每个重复30次，共计450个试次，分成3个组，按照完全随机的顺序呈现给被试，被试需要对刺激的同时性做出按键反应。每组实验之间，被试可以进行5~8分钟的休息，整个实验进行约40分钟。实验流程如下图1所示：
Figure 1. Experimental procedure of auditory and tactile simultaneity judgment
图1. 听触觉同时性判断的实验流程
2.5. 数据处理
得到单个被试的同时性报告(Simultaneity Report, SR)数据后，为了得到被试的PSS (Point of Subjective Simultaneity，定义为被试感知到的同时性概率最大时所对应的时间间隔)，通过观察数据分布的特点，发现数据呈现偏侧化的不对称分布，因此采取了偏态高斯分布对数据进行了建模拟合(Yarrow et al., 2011; Van der Burg, Orchardmills, & Alais, 2015; Lange et al., 2018)，其中公式如下：
cdf指的是累积概率密度函数，a，b，c，d，e均为参数。
为了分析上一个试次
对当前试次时间校正的调制作用，即听触觉刺激的快速校正是否存在，我们主要考虑模态顺序(即听触觉刺激的先后)和SOA长短这两个影响因素。我们将数据进行拆分，对于当前试次，按照
的模态呈现顺序分为“听触”(AT，听觉在前，触觉在后)和“触听”(TA，触觉在前，听觉在后)两组。我们把
的SOA绝对值小于100 ms分为“短SOA (Short)”，大于或等于100 ms分为“长SOA (Long)”两组，分别进行拟合分析，得到两种情况下的PSS。对每种情况下的数据进行拟合后，进行比较分析，对于PSS_AT和PSS_TA，PSS_Long和PSS_Short分别进行双尾配对样本t检验，其差值的正态性分布利用Kolmogorov-Smirnov方法进行检验，设置p < 0.05作为显著性水平。
同时为了考虑刺激模态顺序和SOA长短两个因素之间是否存在相互作用，我们将模态顺序(听触，触听)、SOA (长，短)做了2 ´ 2的重复测量方差分析，做方差分析前利用Kolmogorov-Smirnov法对数据的正态性分布进行了检验，利用Leven方法对数据的方差齐性进行了检验。
3. 实验结果
3.1. 听触觉的快速时间校正结果：模态呈现顺序组比较
图2所示的为当
分别为AT和TA时的数据以及曲线拟合的结果。由图2(a)可以看出，前一试次的刺激模态顺序不会影响被试者的同时性报告数据的分布，两种情况下的拟合曲线也是相似的。图2(b)的PSS (拟合曲线的峰值点对应的坐标SOA的值)对同时性数据进行了量化，结果显示，两种情况下的PSS经过双尾配对样本t检验后，不存在统计性显著差异。
(a) (b)
Figure 2. Mean simultaneity reports and PSS measurement with the preceding trial’s modality order into consideration, PSS_AT and PSS_TA respectively. (a) Mean simultaneity reports for two conditions:
with AT order and TA order, black represents the preceding trial’s modality order is AT; red means TA modality order; error represents standard error of mean. (b) Each subject’s PSS in AT and TA respectively and averaged PSS across subjects, each “*” represents the PSS of single subject
图2. 前一试次的模态顺序为听触和触听条件下，被试的同时性报告数据分布和主观同时性点的测量。(a) 两种情况下所有被试的平均同时性报告数据分布，黑色表示上一试次的模态顺序是听触，红色表示上一试次的模态顺序是触听，所标误差为均值标准误差；(b) 两种情况下，所有被试的主观同时性点的值和平均值，每个“*”代表单个被试的主观同时性点
3.2. 听触觉的快速时间校正结果：长短SOA组比较
图3所示的为当
分别为长SOA和短SOA两种情况下被试的反应及拟合结果。由图3(a)可以看出，
为长SOA和
为短SOA两种情况下，被试的同时性报告数据分布是不一样的。具体的，
为长SOA相对于
为短SOA时，被试者的同时性曲线向触觉超前的方向发生了偏移。图3(b)显示的两种情况下的PSS分布对这种偏移进行了量化，经双尾配对样本t检验显示(t(10) = 3.730, p = 0.004)，PSS_Long显著高于PSS_Short。进一步地，我们用DPSS(PSS_Long − PSS_Short)来作为校正效应大小的量化方式，在这个分析中DPSS为16.36 ms。
(a) (b)
Figure 3. Mean simultaneity reports and PSS measurement with the preceding trial’s SOA into consideration, PSS_Long and PSS_Short respectively. (a) Mean simultaneity reports for two conditions:
’s SOA longer than 100 ms (Long) and shorter than 100 ms (Short), show in red and black. (b) Each subject’s PSS in long SOA and short SOA respectively and averaged PSS across subjects
图3. 前一试次的SOA为长和短两种情况下，被试的同时性报告数据分布和主观同时性点的测量。(a) 两种情况下所有被试的平均同时性报告数据分布，红色表示上一试次是长SOA的刺激，黑色表示上一试次是短SOA的刺激；(b) 两种情况下，所有被试的主观同时性点的值和平均值
3.3. 两种因素交互下的快速时间校正(模态顺序SOA ´ 长短)
图4进一步展示了模态顺序和SOA长短之间的交互作用，图4(a)显示的是四种情况下所有被试的同时性数据分布，图4(b)是四种情况下的PSS值的分布及均值结果。我们对四种情况(听触，触听) ´ (SOA长，SOA短)进行了统计分析，采用重复测量2 ´ 2 ANOVA进行了统计，结果发现，SOA长短对听触觉的快速时间校正具有主效应(F(1,40) = 5.558, p = 0.023)，而模态顺序的主效应不显著，同时SOA长短与模态顺序间不存在交互作用。
4. 讨论
我们生活中在一个多模态的世界里，大脑对多模态信息的整合有助于提高感知的速度和精度。例如在钢琴学习中，琴键声音和按压琴键的触觉联合反馈可以更好地提高演奏者的技巧(Lappe et al., 2011)。理论认为，多模态信息的时间同步性被认为是大脑进行多模态信息整合必要条件(Meredith, Nemitz, & Stein, 1987)。而我们的大脑也可以对由于物理延迟或者神经潜伏期不同造成的延迟，进行灵活的校正。这种校正不需要很长时间的适应，甚至在单个事件的刺激下，就可以产生这种快速同步校正。在本实验中，我们通过同时性判断任务，发现在听触觉刺激中，存在这种快速时间校正现象，并且这种校正受到上一试次的SOA长短调制。
(a) (b)
Figure 4. Mean simultaneity reports and PSS measurement with
modality order × SOA length. (a) Mean simultaneity reports for four conditions: auditory leading and long SOA, tactile leading and long SOA, auditory leading and short SOA, tactile leading and short SOA; (b) Each subject’s PSS in AT_Long, TA_Long, AT_Short, TA_Short and averaged PSS across subjects
图4. 前一试次为“模态顺序 × SOA长短”情况下，被试的同时性报告数据分布和主观同时性点的测量。(a) 四种情况下所有被试的同时性报告数据分布：听触长SOA，触听长SOA，听触短SOA，触听短SOA；(b) 所有被试在四种情况下的主观同时性点的值和平均值
相较于之前报道过的视听觉刺激的快速校正现象，PSS约为30~50 ms，听触觉的同时性可塑性稍弱一些。值得指出的一点是，与视觉和听觉不同的是，触觉感知必须与感官器官(皮肤)接触，所以在导致不同模态刺激异步性的因素里，其物理转导的时间可变性比较小。因而触觉与其他模态的同步性校正中，其可塑性和灵活性相对较小一些，在校正的时间尺度上也会有所不同。
在本研究中发现听触觉的PSS受上一试次的SOA的长短的调制。在上一试次是较长SOA情况下，PSS的偏移量明显高于上一试次是短SOA情况下。但是并不是SOA越大，PSS的偏移量就越大。大脑对于多模态刺激的整合，有一个整合时间窗，只要两个刺激时间落入这个窗内，就可以被整合成一个统一的事件，当刺激间的间隔超出了这个时间窗，大脑则会进行时间校准(Spence & Squire, 2003)。但是时间校准的作用范围也是有限制的，在视听领域内，校正效应在SOA为100~200 ms时最大，这一间隔的两个刺激被试往往认为是不同时的，但却是相关的(Fujisaki, 2004)。随着间隔的变大，大脑会认为两个刺激是不相关的，大脑产生整合的概率也很低。在视听领域，时间校准的作用范围在2500 ms以内(Der Burg, Alais, & Cass, 2013)，对于听触觉领域还需要更多的研究。
5. 结论
本文针对听触觉领域是否存在快速时间校正这一问题，设计了同时性判别任务，对这一问题进行了研究。结果发现，听触觉领域存在着快速在线式的时间校正，并且这种校正程度受到上一次的SOA长短的调制，显示了听触觉整合在时间维度上的可塑性。