1. 引言
人口老龄化现如今已成为整个社会面临的重大问题,关系到社会稳定和可持续发展等方面,随着我国人口老龄化趋势加快,促进健康老龄化已是必然之举[1]。为防止老龄化问题进一步加深,《“健康中国2030”规划纲要》提出:要推进老年医疗卫生服务体系建设,推动医疗服务向社区、家庭延伸;健全医养机构合作机制,支持养老机构开展医疗服务;推进健康与养老服务一体化,促进慢性病防治管理与居家、社区及养老机构结合,加强老年人体质健康干预计划制定实施和慢性病管理系统建设,为健康老龄化提供应对方式[2]。随着经济与文化发展,现在人们普遍意识到,感觉衰退是衰老过程中的一个正常组成部分,随着年龄的增长,老年人的视力趋于下降,听觉阈值趋于上升,甚至引发了老年人健康状况问题和认知功能下降。因此,探究视听觉对外界信息的感知及认知外界环境具有重要意义,可以为实施延缓老年人认知衰退方案提供理论基础,进一步促进健康老龄化。
2. 文献综述
多感觉整合(Multisensory Integration)是指将来自不同感觉途径或同一感觉途径内的不同信息融合成一致且连贯的整体信息的过程[3]。人类所接收的信息中有97%是来自视觉和听觉,因此在多感觉整合的研究中视听觉整合十分受关注。视听觉整合(Audio Visual Integration, AVI)是指大脑将接收到来自视觉和听觉通道传来的信息有效地融合为统一、连贯的知觉过程[4]。视听觉整合的发生遵守三个规则:时间规则(Temporal Rule)、空间规则(Spatial Rule)、逆效应(Invers Effectiveness)。时间规则是指视觉信号和听觉信号满足在一定的时间内达到发生AVI的脑区才能发生AVI,这段时间被称为AVI时间窗口(Time Window of Audiovisual Integration, TWAI) [5];空间规则是指视觉刺激与听觉刺激满足空间相邻的条件才能够发生AVI [6];逆效应是指视觉刺激和听觉刺激有效性的下降能够促进AVI [7]。有研究发现,AVI效应主要存在的效应是冗余效应(Redundant Effect),即与单感觉视听通道相比,当视觉信息和听觉信息同时呈现时,人们的反应将变得又快又准,起到补偿作用[8] [9],因此,冗余效应的大小是检测AVI效应的重要行为学指标[10]。
视觉和听觉通道信息的物理属性对AVI的发生具有十分重要的作用。研究者们通过运用差异化的刺激属性和任务类型探究老年人群的AVI能力,例如Laurienti等人[8]开发了一种静态语义视听觉辨别任务,此任务中,视觉刺激由具有各种颜色的圆盘组成,听觉刺激由描述这些颜色词的发音所组成。研究发现,相较于年轻人,老年人在处理单一通道的视觉或听觉信息时的反应时间有所增加。然而,在处理双重通道的视听觉信息时,老年人的反应时间则显著短于他们在处理单一通道信息时的反应时间。进一步通过竞争模型(Race Model, RM)分析反应时,发现相比于年轻人,老年人在视听觉信息整合方面的积极效果更为显著。此外,Peiffer等人[11]运用了相似的研究方法,采用简单的刺激,比如以视觉上是二极管,听觉上是白噪音来研究老年人的AVI,结果发现老年人在单独的视觉或听觉刺激下的反应与年轻人之间没有显著性差异,但老年人在处理跨通道视听觉刺激时反应速度超越了年轻人,即老年人的AVI强于年轻人。老年人不仅AVI能力明显优于年轻人[12],而且在信息整合时间窗口(TWAI)上也比年轻人更加延长[13] [14]。也有研究发现,与单通道视觉或听觉刺激相比,被试对双通道视听语义一致的刺激反应更迅速[15],对双通道视听觉一起呈现的面孔和声音刺激的反应也更快[16]。然而,Mahoney等人[17]采用视觉刺激为黑色星号和听觉刺激为1000 Hz Tone的简单视听觉刺激,结果却发现老年人的AVI低于年轻人。由此可见,关于不同刺激引发老年人的AVI强于还是低于年轻人目前没有一个统一的结论。以上研究结果说明对于差异化属性的物理刺激,人们的整合加工机制机理可能是不同的。
随着年龄增长,老年人在对复杂信息做出视听觉信息反应时,大脑各脑功能区的连接性如何变化以及与年轻人是否存在差异尚不清楚。有研究表明,当实验材料从简单变为复杂,即从无意义变为有意义时,老年人在识别刺激间的同时性、刺激呈现的时间顺序以及刺激之间的关联关系变得愈来愈吃力[18] [19]。Wang等人[20]考虑到AVI受视觉和听觉信息之间的时间关系的影响很大,则利用了视听时间异步整合任务研究与年龄相关的脑功能连接,得出老年人在更大的认知需求中需要更高的脑功能连接,但在更为复杂的认知需求中,老年人与年轻人的AVI能力是否依旧存在差异尚不清楚。之后,Yang等人[21]研究发现在静态简单刺激条件下,老年人和年轻人的AVI没有显著差异,但在动态手持工具和动态语音刺激条件下,发现老年人的AVI效应显著大于年轻人。另外,在Ren等人[22]研究中发现老年人在处理简单的无意义视听刺激时的AVI能力降低,但在处理符号性视听刺激时的AVI能力与年轻人相当,甚至更大,且老年人对有意义、非言语(简笔画)的AVI显著高于年轻人,猜测可能会诱发最高的整合补偿。该研究结果进一步表明,虽然老年人的AVI能力受损,但是在衰老的大脑中建立了一种补偿机制,该机制在处理复杂的语义视听刺激时可以被激活。
综上所述,研究者们对AVI做了不少研究,大多数实验只是在简单刺激下,将跨通道视听觉整合与单通道听觉、单通道视觉进行了系统的比较,并探究发生AVI时的神经机制。但是对随年龄的增长,AVI效应变化的研究较少,对有意义、非言语的刺激整合研究结果存在争议。因此,本研究为解决以上问题,将开展对AVI的探究,进一步考察跨通道视听觉整合的老化,以此为延缓感知衰退训练方案提供可靠的理论基础,为知觉干预产品的开发提供科学依据与新视角,提高人们的生活幸福感。
3. 方法
3.1. 被试
本研究以高校大学生、社区老年人两组为研究对象,年龄范围分别在18~21岁(平均年龄:19.40岁 ± 0.68岁)、49~73岁(平均年龄:61.65岁 ± 5.23岁),采用G*power 3.1进行样本量计算,得出至少一共需要24名被试参与实验。本研究最终招募了20名高校大学生和20名社区老年人参与实验。所有被试的听力、视力或矫正视力正常,无色觉异常,均为右利手,未曾遭受精神障碍或脑部伤害。实验结束后,被试将得到相应的酬劳。
3.2. 实验材料
本研究采用软件E-Prime 3.0编制的Discrimination Task范式为基础完成刺激呈现的实验程序及行为学数据收集。刺激的选取为语义一致的听觉和视觉刺激。研究中采用了两种属性的刺激,即动物与非动物。所有的视觉刺激都根据大小、亮度和对比度进行匹配,视觉刺激大小为250 × 145 (单位:像素)。听觉刺激为在语义上与视觉刺激相一致的刺激,根据双耳的听力平均值,声音为60 dB强度的双耳传递。感觉通道包括单独视觉刺激V、单独听觉刺激A以及跨通道视听觉刺激AV三种类型。刺激分为靶刺激(Target)和标准刺激(Standard)两种(见图1(B)),其中靶刺激是由刺激属性为动物的V刺激、A刺激、AV刺激组成;标准刺激是刺激属性为非动物的V刺激、A刺激、AV刺激组成,共使用了12个动物刺激(4个A刺激、4个V刺激和4个AV刺激)和12个非动物刺激(4个A刺激、4个V刺激和4个AV刺激)。
实验分为静态简笔画图像视听觉辨别任务和静态实物图像视听觉辨别任务,在静态简笔画和静态实物图这2种实验条件下,仅仅改变视觉刺激的材料,即视觉刺激依次为动物和非动物的简笔画(格式:BMP)、实物图(格式:BMP)。
(注:实验流程图与刺激材料仅以实验条件为静态简笔画下的流程图和刺激材料为例)。
Figure 1. (A) Schematic of the audiovisual discrimination task procedure; (B) Target and standard stimulus materials
图1. (A) 视听觉辨别任务的实验流程图;(B) 靶刺激与目标刺激材料
3.3. 实验程序
采用语义分类任务来评估AVI效应,视觉刺激呈现在显示屏的正中央,呈现时间为500 ms;听觉刺激通过左右扬声器的左右声道呈现,呈现时间为500 ms,被试眼睛与视觉刺激在同一水平上且相距65 cm。每一个测试开始时,在屏幕中心呈现一个3000 ms的注视点,之后是视觉刺激V、听觉刺激A以及跨通道视听觉刺激AV随机呈现500 ms,刺激间随机间隔(Inter Stimulus Interval, ISI)为1500~2500 ms的随机整数,要求被试对靶刺激(Target)和标准刺激(Standard)做出既快又准的按键反应,即对刺激的语义特征是动物的按鼠标左键,非动物的按鼠标右键。值得注意的是,在语义分类任务中只包含了一致的跨模态形式,例如:狗的叫声“汪汪”与狗的图像配对。在每一种实验条件下,每个刺激类型呈现60试次,共360试次,约20 min (见图1(A)),则两个实验共需40 min,被试将进行两个实验的顺序是完全随机的。
3.4. 数据分析
击中率(Hit Rate, HR)是指正确反应试次占靶刺激总数的比例。平均反应时(Mean Reaction Time, MRT)是指对同一个刺激所有在平均值 ± 2.5个标准差之间的反应时的平均值。竞争模型(RM)是根据各种条件下反应时间(10 ms为单位)的累积分布函数(Cumulative Distribution Functions, CDFs)计算得出的,即P(RM) = [P(V) + P(A)] − P(V) × P(A)。通过RM对被试反应时的积累量分布概率进行检验,评价视听觉整合的时间窗口,AV和RM的累积分布函数存在显著差异的时间段定义为视听觉整合时间窗口,从刺激呈现到最大视听觉整合效应定义为峰值潜伏期,可根据视听觉整合窗口和峰值潜伏期评估视听觉整合发生的早晚。
首先,对被试的行为数据进行筛选,剔除被试未反应以及反应时间在200 ms~1200 ms以外的数据,对反应时间、击中率进行测量,计算出每一个被试在每一种条件下的击中率和平均反应时。其次,将击中率和平均反应时进行2 (被试组别:老年人、年轻人) × 2 (刺激类型:简笔、实物)重复测量方差分析,以此来评估被试在不同实验条件下的反应差异。最后,为了评估视听觉整合效应,通过建立竞争模型(RM)对每一个被试的基本反应时间进一步分析,并通过计算曲线下面积(Area Under Curve, AUC)来评估视听觉整合能力。为检测视听觉整合效应的存在以及排除个体差异,则只有当P(AV) − P(RM)有13个及以上10 ms连续时间点差异显著时(13个时间点 = 130 ms),才能将其定义为存在视听觉整合[23]。
4. 结果
4.1. 击中率
所有实验条件下的击中率均大于85%,如表1所示。对视听觉刺激AV的击中率进行2 (被试组别:老年人、年轻人) × 2 (刺激类型:简笔画、实物图)的重复测量方差分析显示,刺激类型主效应不显著[F (1, 38) = 0.059, p = 0.810,
= 0.002],即被试在刺激类型为简笔画和实物图时对靶刺激的击中率无差异;被试组间效应显著[F (1, 38) = 4.742, p = 0.036,
= 0.111],即老年人在各刺激类型下对靶刺激的击中率显著高于年轻人。此外,被试组别 × 刺激类型[F (1, 38) = 0.012, p = 0.914,
= 0.000]交互作用不显著。
4.2. 平均反应时
如表1所示,对视听觉刺激AV的平均反应时进行2 (被试组别:老年人、年轻人) × 2 (刺激类型:简笔画、实物图)的重复测量方差分析显示,刺激类型主效应显著[F (1, 38) = 6.855, p = 0.013,
= 0.153],即被试在刺激类型为实物图时对靶刺激的反应速度显著快于简笔画;被试组间效应显著[F (1, 38) = 29.065,p = 0.000,
= 0.433],即年轻人在各刺激类型下对靶刺激的反应速度显著快于老年人。此外,被试组别 × 刺激类型[F (1, 38) = 0.025, p = 0.874,
= 0.001]交互作用不显著。
Table 1. Hit rate and mean reaction time of participants in each audiovisual discrimination task
表1. 各视听觉辨别任务中被试的击中率和平均反应时
|
|
老年人 |
年轻人 |
|
|
击中率/% |
平均反应时/ms |
击中率/% |
平均反应时/ms |
静态简笔画 |
V |
95 (3) |
632 (70) |
93 (5) |
532 (75) |
A |
90 (6) |
814 (77) |
90 (9) |
712 (102) |
VA |
96 (3) |
650 (65) |
93 (7) |
538 (82) |
静态实物图 |
V |
92 (4) |
622 (64) |
91 (6) |
517 (58) |
A |
92 (6) |
791 (65) |
88 (7) |
685 (95) |
VA |
96 (3) |
634 (64) |
93 (5) |
519 (67) |
注:( )表示标准差SD。
4.3. 竞争模型
为了进一步评估老年人和年轻人之间的视听觉整合差异,并探究不同语义刺激辨别任务之间的AVI效应的差异,在反应时的基础上,采用了竞争模型(RM)进行分析,通过比较视听觉刺激条件下与竞争模型条件下的累积分布函数,得出了老年人(如图2(A)、图2(B))和年轻人(如图2(C)、图2(D))的AVI效应。
Figure 2. Cumulative probability distributions of responses to each stimulus type for older and younger adults across different semantic-stimulus discrimination tasks. Panels A and B display the cumulative distribution functions (CDFs) of response times to audiovisual stimuli and those predicted by the race-model, respectively, for older adults during the audiovisual integration of semantically meaningful static line drawings and static real-object images. Panels C and D present the corresponding CDFs for younger adults under identical task conditions
图2. 在不同语义刺激辨别任务下老年人与年轻人对各刺激反应的累积概率分布。其中A、B分别表示老年人在静态简笔画、静态实物图语义刺激的视听觉整合辨别过程中对视听觉刺激的辨别反应时间累积分布函数和竞争模型的累积分布函数;C、D分别表示年轻人在静态简笔画、静态实物图语义刺激的视听觉整合辨别过程中对视听觉刺激的辨别反应时间累积分布函数和竞争模型的累积分布函数
在竞争模型中,通过不同语义刺激辨别任务下老年人与年轻人的AVI效应比较发现,两组被试在静态简笔画、静态实物图两种语义刺激辨别任务中均发生了显著的视听觉整合抑制现象(p < 0.05,单样本t检验),如图3所示。同时,老年人在两种语义刺激辨别任务中的视听觉整合抑制现象显著高于年轻人(p < 0.05,独立样本t检验)。由此可发现,与年轻人相比,老年人在静态简笔画、静态实物图两种语义刺激条件下发生的AVI效应更强。
Figure 3. Audiovisual integration under different semantic-stimulus discrimination task conditions
图3. 不同语义刺激辨别任务条件下的视听觉整合
通过竞争模型分析结果发现,如表2所示,在静态简笔画辨别任务中,与年轻人相比,老年人的AVI效应较高(16.9 ms vs. 8.0 ms),但AVI效应没有延迟(630 ms vs. 680 ms);在静态实物图辨别任务中,与年轻人相比,老年人的AVI效应较高(24.1 ms vs. 11.9 ms),但AVI效应没有延迟(570 ms vs. 570 ms)。在静态简笔画辨别任务中,老年人发生的AVI时间窗口230 ms (470~700 ms)小于年轻人250 ms (640~890 ms);在静态实物图像辨别任务中,老年人发生的AVI时间窗口480 ms (450~930 ms)大于年轻人260 ms (500~760 ms)。此外,与静态实物图相比,老年人与年轻人在静态简笔画语义刺激辨别任务中,AVI效应均较低(16.9 ms vs. 24.1 ms; 8.0 ms vs. 11.9 ms)且延迟(630 ms vs. 570 ms; 680 ms vs. 570 ms)。该结果表明,老年人在静态简笔画、静态实物图两种语义刺激辨别任务下的AVI效应比年轻人更强,但发生的AVI效应延迟性与年轻人没有显著性差异。同时,老年人的AVI时间窗口相比于年轻人发生了前移,两组被试在静态实物图语义刺激条件下的AVI效应更强且发生提前。
Table 2. Participants’ time window of audiovisual integration, peak latencies, and area-under-the-curve values under different conditions
表2. 不同条件下被试的AVI时间窗口、峰值潜伏期及曲线下面积(AUC)
单位:cm |
|
|
AVI时间窗口 |
峰值潜伏期 |
AUC |
静态简笔画 |
老年人 |
470~700 |
630 |
16.9 |
年轻人 |
640~890 |
680 |
8.0 |
静态实物图 |
老年人 |
450~930 |
570 |
24.1 |
年轻人 |
500~760 |
570 |
11.9 |
5. 讨论
本研究旨在系统地探究不同复杂程度语义刺激对视听觉整合的影响及老化效应。研究结果表明,两组被试对静态实物图刺激的反应速度快于静态简笔画,在静态简笔画图像和静态实物图像这两种条件下,老年人对各种刺激的击中率高于年轻人,但反应速度慢于年轻人。此外,通过对竞争模型的分析发现,两组被试在两种不同复杂程度的语义刺激辨别任务中均发生了视听觉整合抑制现象,且老年人的视听觉整合抑制能力显著强于年轻人,表明老年人的AVI效应强于年轻人,但发生的AVI效应延迟性与年轻人没有显著性差异,与此同时,老年人的AVI时间窗口前移。此外,与静态简笔画语义刺激相比,两组被试在静态实物图语义刺激条件下的AVI效应更强且发生提前。
5.1. 老年人的视听觉整合能力强于年轻人
在不同复杂程度语义刺激条件下,老年人和年轻人均发生了显著的视听觉抑制现象,且老年人的AVI效应强于年轻人。Ren等人[23]通过改变听觉刺激与视觉刺激之间呈现的时间间隔以此来研究老年人视听觉整合变化,发现在听觉刺激与视觉刺激或者视觉刺激与听觉刺激先后呈现的时间间隔为150 ms时,老年人与年轻人均发生了视听觉抑制效应。Jansen等人[24]研究了最大视觉强度随年龄的变化,发现老年人的视听觉整合能力显著强于年轻人。Laurienti等人[8]通过静态语义视听觉辨别任务探究AVI随年龄变化的情况,发现老年人的双通道视听觉整合的促进效应比年轻人强。同时,Ren等人[22]采用有意义和无意义视听材料来研究老年人与年轻人AVI效应的差异,发现在语义图像辨别任务中,老年人的AVI效应高于年轻人。这些研究结果与本研究结果一致。对于两组被试均发生视听觉抑制效应的原因可能由于被试在没有注意负荷的情况下,对熟悉的语义刺激的反应出现倦怠及注意力涣散而导致[25]。针对老年人而言,视听觉整合能力显著强于年轻人的原因也许与多感觉整合效应之一的逆效应有关,即单一感觉刺激的有效性降低能够促进多感觉整合[7] [26]。Senkowski等人[27]研究发现低强度的视听觉刺激能够诱发出早期整合在右前和左后头皮部位,而高强度视听觉刺激不能诱发出早期整合,同时低强度视觉刺激和听觉刺激进行配对比高强度视觉刺激和听觉刺激配对在丘脑核中激活了更剧烈的整合现象[28]。由此根据逆效应原则,老年人的视觉能力和听觉能力随年龄增长而下降,则可能导致老年人跨通道视听觉整合提高。此外,Talsma等人[29]进行系列研究表明,注意力在视听觉整合的多个阶段具有调节作用,如在有注意下的AVI效应会高于无注意下的AVI效应。老年人对视听觉刺激的反应速度明显慢于年轻人,但视听觉整合能力明显高于年轻人,产生这一现象的原因可能是老年人为了增强AVI效应以此来防止注意力的下降。根据知觉负载理论(The Perceptual Load Theory),注意资源并不是无限的,如果在某一项任务上花费的注意资源较多,则导致在处理其他任务时注意资源就会变少[30]。在实验中,由于静态简笔画相比于静态实物图,存在的元素及特征较为丰富,且在日常生活中不常见,则在识别时需要更多的注意资源,这将使被试只能利用较少的注意资源完成视听觉辨别任务,因此导致老年人与年轻人对静态简笔画刺激的AVI效应降低。
5.2. 老年人的视听觉整合发生时间提前
在所有语义刺激视听觉辨别任务中,与年轻人相比,老年人的AVI时间窗口发生了前移,但峰值潜伏期的时间点与年轻人没有显著性差异。与以往研究不同的是,本研究要求被试对非目标刺激同样做出反应,即对非动物的视听觉刺激做出按鼠标右键反应。同时,在前人基础上,将简单无意义图像更换为不同复杂程度语义图像,发现在语义辨别任务中,与年轻人相比,老年人的AVI的时间窗前移。Stephen等人[31]通过应用MEG来测量听觉和视觉整合的衰老相关变化,得出老年人的平均反应时显著慢于年轻人,同时,随着年龄的增长,中枢神经系统经常对处理视听觉信号发生延迟,这主要归因于脱髓鞘的变化。也有相关研究发现由于老年人的基本认知功能、视力以及听力的降低,而使得老年人对视听觉刺激反应变慢,进而导致视听觉整合发生延迟[32] [33]。Diederich等人[13]研究发现老年人整合时间窗口(TWAI)明显比年轻人长。Wu等人[14]通过探究年龄对外周视听刺激诱发的多感觉整合的影响,得出当视听刺激外周呈现时,老年人的视听行为易化时间窗口比年轻被试更长,也延迟更多。这些针对老年人AVI时间窗推迟的结果与本研究结果相矛盾。对于老年人AVI发生的时间窗口相较于年轻人提前这一情况,这可能与老年人的知识经验有关。由于晶体智力随年龄的增长逐渐提高[34],在面对动物与非动物刺激条件时,老年人会基于经验的作用从而对视听语义刺激进行更迅速地整合。对于老年人的AVI峰值潜伏期的时间点与年轻人没有显著性差异与Peiffer等人[11]进行的简单视听觉刺激检测任务得到的结果一致。Colonius等[13] [35]提出了一个“时间窗口模型”,该模型认为,跨通道信息的整合至少涉及两个连续的阶段:首先,各通道信息进入单一感觉线索的初步处理阶段;其次,多个感觉线索在整合阶段进行汇聚处理。在第一阶段,单通道感觉加工的时间是独立的。如果第一阶段能在给定时间内完成,那么就会开始第二阶段的多元感觉整合。相较于静态实物图语义刺激条件,老年人与年轻人在静态简笔画语义刺激条件下辨识的第一阶段对听觉和视觉刺激的感知阈值更高,处理速度更慢,这导致了第二阶段的延迟。因此,视听整合的延迟可能主要源于单一感觉通道功能的下降,这使得老年人与年轻人在静态简笔画语义刺激条件下的AVI效应上出现了延迟。
6. 结论
在所有语义视听刺激辨别任务中,老年人和年轻人均发生了显著的视听觉整合抑制现象,且老年人的视听觉整合能力比年轻人强。此外,老年人的AVI时间窗口相较于年轻人发生前移,但峰值潜伏期并没有显著性差异。该结果进一步表明,在所有语义刺激条件下,老年人的视听觉整合能力比年轻人强。同时,与年轻人相比,老年人视听觉整合的发生提前。
致 谢
衷心感谢任艳娜教授给予的悉心指导与鼎力支持,亦向所有为本研究倾注心力的同学致以诚挚谢意。
基金项目
贵州中医药大学大学生创新创业训练计划项目资助(贵中医大创合字(2023) 23号)。
NOTES
*通讯作者。