不同形式的视觉刺激之间无意识语义整合的局限性

Limitations of Unconscious Semantic Integration between Different Forms of Visual Stimuli

摘要: 相比单一无意识刺激的加工，无意识信息整合作为更高层次的无意识信息加工得到了越来越多的研究，但是不同形式之间的无意识信息整合研究较少。本研究利用无意识掩蔽范式和“相同–不同”实验任务，对常见的文字和图片信息无意识整合的可能性进行了研究。实验中，在被掩蔽刺激中同时并排呈现一个双字汉字词语和一张图片，词语和图片都可以是水果或工具类，研究被掩蔽的词语和图片之间的类别一致性是否会影响后续对可见的目标刺激中类别一致性判断的反应。结果显示，没有证据表明词语和图片之间能够进行无意识语义信息整合。结合前人对单一形式的词语之间无意识整合的证据，本研究结果提示无意识语义整合存在跨形式视觉刺激的局限性。

Abstract: Compared with the unconscious processing of a single stimulus, unconscious information integra-tion, as a higher-level unconscious information processing of the relationship between multiple stimuli, has received more and more attention and research. However, there are few studies on the integration of unconscious information between different forms. This study investigates the possi-bility of unconscious integration between common text and picture information by using the widely used masking experimental paradigm and the “same-different” experimental task which are bene-ficial to the study of unconscious integration. In the experiment, a two-character Chinese character word and a picture were presented side by side as the masked prime, and both the word and pic-ture were fruit or tool category. By observing whether the category consistency between the masked word and picture will affect the subsequent response to the category consistency judgment in the visible target, we can evaluate whether the brain can unconsciously integrate the category consistency between the masked word and picture. The experimental results do not support the hypothesis that unconscious semantic information can be integrated between word and picture. Combined with the previous evidence of unconscious integration between different words or pic-tures of the same stimulus form, the results of this study suggest that unconscious semantic inte-gration has the limitation of cross-visual stimulation.

1. 引言

对无意识加工不论是采用认知心理学的定义(即对刺激的阈下知觉)，还是采用社会心理学领域的定义(即刺激产生的影响是无意识的，而刺激本身是可以被意识到的) (Hesselmann & Moors, 2015)，都有大量研究证实了无意识加工的存在。而且从最近的研究结果来看，无意识层面能够加工的内容已经从单一刺激加工向更高级的关系加工层次拓展。甚至部分研究者认为任何意识层面的加工都可以在无意识中完成(Hassin, 2013)。

在单一刺激层面，简单的符号(Vorberg, Mattler, Heinecke, Schmidt, & Schwarzbach, 2003)、数字(Naccache & Dehaene, 2001; Zerweck et al., 2021)、单词语义(Dehaene et al., 2001)、物体图片(Dell’Acqua & Grainger, 1999; Lee, Chien, Lin, & Yeh, 2022)、面孔(Yang & Yeh, 2018)等都被证实在无意识层面能够得到加工。近些年，越来越多的证据发现多个刺激之间的关系，即无意识整合(即两个或多个无意识加工成分组合在一起产生新的表征)，也能够在无意识层面进行加工，扩展了无意识加工的研究领域。比如，研究结果发现如下很多形式的整合都可以在无意识中发生：两个箭头符号之间的朝向一致性关系(Wang et al., 2017)、两个图形的异同性(Lin & Murray, 2014)、两个数字之间的算术运算(García-Orza, A-Orza, Damas-López, Matas, & Rodríguez, 2009; Karpinski, Briggs, & Yale, 2018)、两个词语所表示物体的类别一致性(Tu et al., 2019)、多个字之间的整体组合意义(Yang, Huang, & Yeh, 2022)、两张面孔的情绪一致性(Liu et al., 2016; Tu et al., 2013)、物体及其背景信息的关系(Mudrik, Breska, Lamy, & Deouell, 2011)等。

上述无意识整合的研究中，多个无意识刺激之间都具有相同的类别或形式，比如都是两个数字、两个词语、两个面孔等。但是，日常生活中我们需要整合多个形式之间的信息，比如视觉和听觉之间的整合、文字和图形之间的整合等。有研究已发现无意识的视听信息能够在完全无意识的情况下发生(Faivre, Mudrik, Schwartz, & Koch, 2014)，但是对于文字和图形信息之间是否能够进行无意识整合还未见相关研究。

文字和图形具有一定的共享语义表征网络，研究结果发现“文字到图形”和“图形到文字”的启动效应(Carr, McCauley, Sperber, & Parmelee, 1982; Yao, Chai, Yang, Zhao, & Wang, 2022)，对文字和图形具有相同表征网络的想法提供了证据。Mudrik提出无意识整合跟语义距离之间有关系，语义距离越近越容易进行无意识整合(Mudrik, Faivre, & Koch, 2014)。由于文字和图形具有共享的语义表征网络，所以推测文字和图形信息或许能够进行无意识整合，这是本研究试图去探究的核心问题。

本实验中，我们采用了本团队前期研究无意识词语语义整合的实验设计思路(Tu et al., 2019；涂燊等，2021)。在前期的两个研究中，采用了无意识掩蔽范式(在短暂呈现某刺激之后呈现一个与任务无关的掩蔽刺激会导致被掩蔽的刺激不可见)，同时使用了被认为是研究无意识整合的理想工具的“相同–不同”实验任务(Van Opstal, 2020)，同时或序列呈现两个被掩蔽的无意识词语作为启动刺激，每个词语所代表的物体要么是工具类要么是水果类，探讨了被掩蔽的两个启动词语之间的类别一致性是否会影响随后对目标刺激中另外两个词语之间的类别一致性的判断。在本研究中，我们采用了更利于无意识整合的同时呈现被掩蔽刺激的方式，同时替换了启动刺激和目标刺激中的一个词语为对应的图片刺激，以研究无意识的词语和图片信息能否进行整合。为了衡量无意识整合效应，本实验重点考察了运动反应启动效应，通过将运动反应变化条件(比如启动刺激中的词语和图片属于不同类别而目标刺激中的词语和图片属于相同类别)与运动反应不变条件(两处都是相同类别)的行为反应时和正确率进行比较，如果两个条件有差异，说明对启动刺激中的词语和图片之间的类别关系进行了整合。另外，在考察运动反应启动效应时，由于运动反应的变化使得必须而且只能有一侧的类别发生变化(具体见实验设计部分的表1中右侧两列)，为了评估运动反应启动效应中可能的类别启动效应带来的混淆，本实验中同时考察了类别启动效应，具体设计见方法部分。

2. 方法

2.1. 被试

来自贵州财经大学的30名大学生被试自愿参加了本实验，平均年龄20.8岁。被试的母语都是中文，都是右利手，视力正常或矫正视力正常，没有神经病史，目前也没有神经或精神疾病。在实验前给予被试知情同意，在实验完成后给予适当被试费。

2.2. 实验材料

在网络上搜集工具和水果图片，最后确定了其中的52幅(26幅为工具，另外26幅为水果)为最后的图片材料，并统一制作为灰度图片。图片统一大小，长宽尺寸的视角约为2.7 × 1.1度。另外，与52幅图片对应的双字词语作为词语材料，词语大小比图片略小，长宽尺寸的视角约为2.0 × 0.8度。实验时，图片和词语成对出现，分别呈现在中央注视点的左右位置，配对刺激的左右宽度视角约为5.5度。

2.3. 实验设计

根据在前言中介绍的实验设计原理，本实验操作了启动刺激到目标刺激的类别变化和运动反应变化，同时在所有条件中都保持视觉特征的变化(即每一个试次中不存在相同的词语和图片)，各实验条件的具体设计见表1。通过不同条件之间的比较(可以简单的观察表1中各实验条件右下角两个小写字母来分别确定类别和运动反应是否在启动刺激过渡到目标刺激的过程中有无变化)，本研究同时考察了两种类型的启动效应：1) 类别启动效应。该效应通过比较SSuu与SScu，以及DDuu与DDcu来衡量，其中SSuu与DDuu条件中的类别在启动刺激到目标刺激的变化过程中没有变化；而SScu与DDcu条件中类别有变化。同时在比较的各条件中保持运动反应无变化。2) 运动反应启动效应。该效应通过比较SScu与DScc，以及DDcu与SDcc来衡量，其中SScu与DDcu条件中的运动反应在启动刺激到目标刺激的变化过程中没有变化；而DScc与SDcc条件中运动反应有变化。同时在比较的各条件中保持类别都发生变化。

在上述两种启动效应中，只有运动反应启动效应可以评估启动刺激中的词语和图片能否进行无意识整合。但是，在DScc与SDcc条件中，运动反应的变化使得必须而且只能有一侧的类别发生变化(具体见表1中右侧两列)，为了评估运动反应启动效应中可能的类别启动效应带来的混淆，所以本实验中同时考察了类别启动效应。

Table 1. Specific stimulus matching in each experimental condition

表1. 各实验条件中的具体刺激匹配

表注：表中第一行的实验条件中，左右位置的两个大小字母分别表示启动刺激和目标刺激中词语和图片的类别一致性，“S (same)”表示“类别相同”，“D (different)”表示“类别不同”；右下标二个小字母分别对应类别和运动反应在启动刺激到目标刺激的变化过程中的变化情况，“c (changed)”表示有变化，“u (unchanged)”表示无变化。表中第二行的具体刺激匹配中，F (fruit)表示水果，T (tool)表示工具，箭头的左边表示启动刺激，箭头右边表示目标刺激。启动刺激和目标刺激中两个字母的左右位置对应着实验中刺激在屏幕上的左右位置。小括号中的数字表示每名被试完成的各个匹配情况所对应的实验试次数量。

2.4. 实验过程

实验中使用后掩蔽范式来阻止被试对被掩蔽的词语和图片的有意识知觉。在被试被告知实验流程并练习10次之后，进行正式实验。实验中所有的刺激都出现在电脑屏幕上的灰色背景中。实验流程如下(见图1)。首先一个注视点呈现在屏幕中央200 ms。随后，一个双字词语和一张图片并排呈现16 ms (屏幕的刷新率为60 Hz)作为启动刺激(词语和图片的左右呈现位置在被试内进行了平衡)，接着是50 ms的后掩蔽。然后，另一词语和图片刺激对作为目标出现。目标刺激中的词语与图片的左右位置与启动刺激中的一致。要求被试用右手食指按“1”键表示词语和图片是同一类物体，右手中指按“2”键表示词语和图片是不同类物体。按键在不同被试间进行平衡。目标刺激在按键后消失，或者未按键3秒后消失。最后，出现1秒的空白屏幕，然后进入下一个试次。在实验之前，没有告诉被试存在被掩蔽的刺激，只告诉被试目标刺激之前有干扰刺激，要求他们尽量快而准的对目标刺激进行判断即可。实验中总共有312个实验试次，分成了两个区组进行，每个区组内包含156个实验试次，每个条件随机顺序呈现。

在上述启动实验结束后，为了测试被试对被掩蔽刺激的感知能力，首先询问每一位被试是否在目标刺激之前看到任何有意义的刺激(Tu et al., 2023)。然后，被试执行一项迫选任务。迫选任务与正式实验的流程类似，只是在迫选任务之前告诉被试掩蔽刺激之前有被掩蔽的图片和词语，另外将目标刺激中的图片和词语换成另外两个选项，即“类别相同”和“类别不同”，要求被试对被掩蔽的图片和词语所表示物体的类别一致性进行判断。类别一致按“1”键，类别不一致按“2”键。即使看不见或看不清被掩蔽的刺激，被试也要对被掩蔽的图片和词语所表示物体的类别一致性进行猜测判断。迫选按键之后，被试进行知觉意识判断(perceptual awareness scale, PAS) (Szczepanowski, Traczyk, Wierzchoń, & Cleeremans, 2013)，“1”、“2”、“3”、“4”数字键分别对应“完全没有感觉”、“有一点感觉(能感觉到有刺激出现，但并不能感受到具体的刺激)”、“基本清楚”和“完全清楚”。在迫选任务中，要求被试尽量准确的按键，不追求反应速度。迫选任务中，对被掩蔽的图片和词语的左右呈现顺序进行了被试内平衡，一共有72次迫选实验。迫选正确率高于随机水平和在PAS测试中选择了较多“基本清楚”和“完全清楚”的被试会在启动效应分析中排除。

Figure 1. Flow diagram of experiment

图1. 实验流程图

3. 结果

3.1. 启动刺激的可见性

所有参与实验的30名被试都报告在实验中没有注意到目标刺激前面有另外的词语和图片出现。另外，在迫选任务中，在个体水平上，只有一个被试的正确率为60%，稍高于平均水平，其余被试的迫选正确率范围为43%~57%，都处于平均水平。但是由于正确率为60%的被试在PAS判断中只选择了5次“基本清楚”和“完全清楚”，所以在后面的数据分析中没有排除该被试。总体上，平均迫选正确率为49.5%，处于随机水平，t(29) = −0.521，p = 0.606。另外，平均d’ = −0.035，与0比较不显著，t(29) = −0.701，p = 0.489。

3.2. 类别启动效应

Table 2. Mean time and accuracy (mean ± standard error) for each experimental condition in category priming effect analysis

表2. 类别启动效应分析中各实验条件的平均反应时和正确率(平均数 ± 标准误)

Figure 2. Bar charts for each experimental condition in the category priming effect (left) and motor priming effect (right)

图2. 类别启动效应(左)和运动反应启动效应(右)中各实验条件反应时的条形图

分别对正确率和反应时(见表2)进行2 (类别变化：变化，不变)*2 (目标刺激中词语和图片的类别一致性：相同，不同)被试内重复测量方差分析。

正确率的分析结果显示：启动刺激到目标刺激的类别变化的主效应不显著，F(1,29) = 3.194，p = 0.084；目标刺激中词语和图片的类别一致性的主效应不显著，F(1,29) = 0.546；但是，两个因素的交互作用不显著，F(1,29) = 4.687，p = 0.039， ${\text{η}}_p^{\text{2}}$ = 0.139。简单效应分析发现，只有在目标刺激中词语和图片的类别不同时，类别变化时的正确率显著低于类别变化时的正确率，显示出负兼容启动效应。

反应时的分析结果显示(见图2)：启动刺激到目标刺激的类别变化的主效应不显著，F(1,29) = 0.141，p = 0.710；目标刺激中词语和图片的类别一致性的主效应显著，F(1,29) = 28.243，p < 0.001， ${\text{η}}_p^{\text{2}}$ = 0.493，类别相同条件的反应时显著短于类别不同条件的反应时；另外，两个因素之间的交互效应不显著，F(1,29) = 0.754，p = 0.392。贝叶斯分析结果显示启动刺激到目标刺激的类别变化的主效应证据不足，BF₁₀ = 0.245；目标刺激中词语和图片的类别一致性的主效应证据极强，BF₁₀ = 2128.127；交互效应证据不足，BF₁₀ = 0.326。

总之，类别启动效应的反应时分析结果没有显示出显著的语义类别启动效应。只有在正确率分析中，并且在目标刺激中词语和图片的类别不同时，类别变化时的正确率显著低于类别变化时的正确率，显示出负兼容启动效应。

3.3. 运动反应启动效应

分别对正确率和反应时(见表3)进行2 (运动反应变化：变化，不变)*2 (目标刺激中词语和图片的类别一致性：相同，不同)被试内重复测量方差分析。

Table 3. Mean time and accuracy (mean ± standard error) for each experimental condition in motor priming effect analysis

表3. 运动反应启动效应分析中各条件的平均反应时和正确率(平均数 ± 标准误)

正确率的分析结果显示：启动刺激到目标刺激的运动反应变化的主效应不显著，F(1,29) = 2.122，p = 0.156；目标刺激中词语和图片的类别一致性的主效应不显著，F(1,29) = 0.110，p = 0.743；两个因素的交互作用不显著，F(1,29) = 1.476，p = 0.234。

反应时的分析结果显示(见图2)：启动刺激到目标刺激的运动反应变化的主效应不显著，F(1,29) = 0.384，p = 0.540；目标刺激中词语和图片的类别一致性的主效应显著，F(1,29) = 28.003，p < 0.001， ${\text{η}}_p^{\text{2}}$ = 0.491，类别相同条件的反应时显著短于类别不同条件的反应时；另外，两个因素之间的交互效应不显著，F(1,29) = 0.009，p = 0.927。贝叶斯分析结果显示启动刺激到目标刺激的运动反应变化的主效应证据不足，BF₁₀ = 0.249；目标刺激中词语和图片的类别一致性的主效应证据极强，BF₁₀ = 1824.853；交互效应证据不足，BF₁₀ = 0.286。

总之，运动反应启动效应结果发现大脑并不能对启动刺激中的词语和图片进行无意识整合加工。

4. 讨论

本研究采用了无意识掩蔽实验范式和“相同–不同”实验任务，研究结果显示大脑很难对被掩蔽的词语和图片所表示物体之间的类别一致性进行整合。

近些年，无意识整合作为更深层次的无意识加工得到越来越多的关注。虽然Mudrik等人在一篇综述性论文中提到高层次的语义整合需要意识的参与，而低层次的整合可以发生在无意识层面(Mudrik et al., 2014)，但正如前言中所总结的，从低级符号加工到高级语义加工层次都发现了无意识整合效应，对高层次的语义整合需要意识的参与的观点提出了质疑。另外，也有证据显示跨感觉通道无意识视听整合的存在，比如被掩蔽的数字及其发音之间的无意识一致性关系的整合(Faivre et al., 2014)。然而，本实验在两种被认为是有利于无意识整合发生的情形下，即同时并排呈现这个短程时空(short-range spatiotemporal)范围内进行刺激呈现(Mudrik et al., 2014)以及“相同–不同”任务(Van Opstal, 2020)，依然没有观察到无意识整合现象，说明跨形式刺激的无意识整合难以发生，对高级语义层面无意识整合的条件给出了新的界线。

单词和图片刺激有共享的语义表征成分，比如在从启动刺激过渡到目标刺激的过程中，单词到图片以及图片到单词都能产生启动效应(Carr et al., 1982; Yao et al., 2022)。但是，作为两种不同形式的刺激，图片相比单词更容易激活语义(Carr et al., 1982)，即单词和图片存在表征的差异性。在最近的一项研究中，也发现从被掩蔽的无意识温度词语到可见的表示温度的图片之间并没有产生启动效应(Chien, Chang, Chen, Huang, & Yeh, 2022)，也说明了两种刺激形式之间的表征差异。从本研究结果来看，单词和图片刺激两种形式的表征差异性决定了本实验中无意识整合的难度。这个结果或许可以用全局神经工作空间理论(global neuronal workspace theory)来解释，该理论认为，无意识加工的信息在神经网络中是零碎的和局部的，而意识加工的信息是在一个较大神经网络上分散存在的(Dehaene, Sergent, & Changeux, 2003)。无意识词语和图片加工在神经网络中的加工可能是局部的，两者之间在无意识层面缺乏一些共有的表征，这可能导致两者之间很难进行无意识整合。所以推测无意识整合发生的条件，除了要求多个无意识刺激在前面所述的短程时空范围内呈现之外，还需要这些刺激具有较多的共同表征(不一定非得是低级加工层次的刺激)。

此外，在本实验中没有观察到明显的类别启动效应，只有在目标刺激中词语和图片的类别不同时，类别变化时的正确率显著低于类别变化时的正确率，显示出负兼容启动效应。该结果虽然与前人使用单个无意识启动刺激时观察到的词语和图片的无意识启动效应不符，但是与无意识整合研究中的结果比较一致。在研究无意识整合的实验中，一些没有发现无意识类别启动效应(Liu et al., 2016; Wang et al., 2017)；但是另外一些出现了无意识类别启动效应(Tu et al., 2019; Tu et al., 2020)，其中就包括本团队对无意识词语的整合研究。这种不稳定性可能是由于实验任务所致。在“相同–不同”实验任务中，被试是对目标刺激中两个刺激的某种关系进行判断，这种注意的引导可能干扰了类别启动效应的产生。很多研究已经发现注意的引导会影响对无意识刺激的加工(Cheng et al., 2019; Wang et al., 2018)。

虽然本研究未观察到词语和图片信息的无意识整合，但是实验还存在待改进之处，比如简化目标刺激中的判断反应(比如两个刺激都是词语)是否可以放大可能有的整合效应，还可考虑采用认知神经科学的研究方法对其中的详细机制进行进一步探讨。

5. 结论

本实验结果不支持词语和图片之间能够进行无意识语义信息整合的假设。结合前人对单一形式的不同词语或图片之间无意识整合的证据，本研究结果提示无意识语义整合可能存在跨视觉刺激形式的局限性。

虽然本研究未观察到词语和图片信息的无意识整合，但是实验还存在待改进之处，比如简化目标刺激中的判断反应(比如两个刺激都是词语)是否可以放大可能有的整合效应，还可考虑采用认知神经科学的研究方法对其中的详细机制进行进一步探讨。

基金项目

本研究得到贵州财经大学大学生创新创业训练项目(S202210671047)的资助。

参考文献

NOTES

^*通讯作者Email: [e-mail]