具身认知视角下身体动词语义理解的神经机制
Neural Mechanisms of Semantic Comprehension of Body Verbs from the Perspective of Embodied Cognition
DOI: 10.12677/AP.2022.124136, PDF, HTML, XML, 下载: 346  浏览: 528 
作者: 刘 营, 苏得权:广州大学教育学院,广东 广州
关键词: 具身认知脑成像语义理解Embodied Cognition Brain Imaging Semantic Comprehension
摘要: 具身认知强调感觉和运动经验在概念形成和理解中的作用。脑成像研究发现,身体动作词语义理解激活了运动皮层。理解涉及身体部位的动词会特异性激活运动皮层,体现出动词语义理解激活与躯体运动激活的耦合效应。本文以身体动作词语义理解为例,通过具身语义理解的实证研究,来阐述语义理解具身性的神经机制。未来研究应该深入探索非身体动词的具身性、语义理解任务的调节效应以及不同语言材料具身性的异同。
Abstract: Embodied cognition emphasizes the role of sensory and motor experience in concept formation and understanding. Brain imaging studies have found that understanding the meaning of body movement words activates the motor cortex. Understanding verbs involving body parts specifi-cally activated the motor cortex, demonstrating the coupling effect of semantic comprehension activation and body movement activation. Taking the semantic comprehension of body action words as an example, this paper illustrates the neural mechanism of embodied semantic comprehension through the empirical study of embodied semantic comprehension. Future research should explore the embodiment of non-body verbs, the moderating effects of semantic comprehension tasks, and the similarities and differences of embodiment in different language materials.
文章引用:刘营, 苏得权 (2022). 具身认知视角下身体动词语义理解的神经机制. 心理学进展, 12(4), 1146-1150. https://doi.org/10.12677/AP.2022.124136

1. 引言

语言是一种社会现象,在人们的日常生活和社会交往中发挥着重要作用。那人们是如何理解语言的呢?(曲方炳等,2012)传统的认知观点指出,语言理解是对抽象符号的加工过程,通过独立于大脑和世界的抽象规则来进行语言理解,这一过程独立于我们的身体之外(Barsalou, 1999)。但是这种观点面临的一个问题是,抽象符号和规则如何具有内在性,其本身的意义是从何而来?在传统认知观点面临困境的时候,一些研究者从具身认知的角度出发,提出了具身认知的语言观。具身认知观点认为,身体动作经验是语义理解的认知基础,我们的认知过程离不开身体的存在(叶浩生,2010)。

过去,研究者将语义理解定位于布洛卡区和威尔尼克区,认为颞上回和颞中回是语义加工中心(Tan et al., 2003)。随着脑成像技术的进一步发展,人们发现,传统语义理解脑区之外的一些区域也出现了激活。进一步的研究表明,名词和动词在语义理解任务中诱发了不同的激活模式(Pulvermüller et al., 1999)。在理解这些语言材料的时候,除传统的颞叶、顶叶和前额皮层语言区之外,负责身体运动的前运动皮层也参与了语义理解。负责语义理解的脑区似乎不能简单的定位于某个大脑区域。

大量的实证研究表明,运动皮层参与了动作词的语义理解过程。例如,人们在理解描述手部、脚部和面部动词时激活了运动脑区,并且动词语义理解激活的脑区与执行该动作的脑区基本一致(Hauk et al., 2004)。运动皮层在身体动作词语义理解中被激活,但如何理解运动脑区的参与呢?在具身认知框架下,本研究以动词语义理解的脑成像研究为基础,探索了语义理解具身性的神经机制。

2. 联想学习和镜像神经元

联想学习和记忆的神经生物学理论表明,认知表征是分布的神经元网络,包括通过联想学习结合在一起的神经元(Pulvermüller et al., 2001)。根据Hebb联想学习理论,如果一个词经常与非语言刺激(如物体、面孔或声音)共同出现,那么它的神经元表征将把协同激活的神经元包括在其表征中,以便在以后感知到该词的形式时,可以立即激发一个心理意象。这样一个神经元网络就是分布在语言区域和与单词含义相关的其它区域的细胞集合。在此理论的指导下,一些行为研究发现动作概念表征和身体运动的神经控制之间有着密切的联系,也就是所谓的动作——句子一致性效应(action-sentence compatibility effect: ACE)。这些研究发现,当句子涉及的身体部位动作与执行反应的身体部位一致时,人们反应的速度会更快,这些结果表明,运动系统是以效应器特有的方式由句子的意义预先激活的(Scorolli & Borghi, 2007)。人们在进行语义理解时,通过心理模拟来理解对动作的语言描述,就像人们通过心理模拟理解他人直接观察到的动作一样。

具身语义理解的最佳证据来自于镜像神经元。在恒河猴的研究中,人们发现当恒河猴执行与目标相关的肢体动作(如,抓取物体)时,会激活腹侧运动皮层F5区的神经元(曲方炳等,2012)。与此同时,当恒河猴观察到实验者进行的特定的、有意义的动作时,这些神经元也会得到激活。镜像神经元成为理解动作含义的重要神经基础。在恒河猴大脑发现镜像神经元后,脑成像数据表明人类身上也存在镜像神经系统,当个体观察到一个属于个体运动库的动作时,前运动皮层出现激活状态,而当观察的动作超出个体执行能力时,该动作只会激活视觉皮层,而不会激活前运动皮层。

3. 动作词语义理解的相关实证研究

3.1. 脑成像研究

动词通常涉及不同的运动信息,其中身体动作词主要描述躯体运动信息,如“摘”描述了一个手部动作信息,“踢”描述了一个腿部动作信息,“喝”描述了一个口部动作信息(Pulvermüller et al., 2001)。从早期对语言和大脑的研究开始,人们就认为词义是在大脑的特定区域进行处理的,而大多数现代神经科学家将这些区域定位在左侧颞叶。而在一些使用动词,尤其是身体动作词的研究中,人们发现运动皮层也参与了语义理解。

功能磁共振成像(Functional Magnetic Resonance Imaging: fMRI)是无创、空间分辨率高的一种研究人脑的技术,在心理学研究领域得到了广泛的应用。根据具身认知理论,身体动作经验是动作词语义理解的基础,人们在理解像“踢”这样的动词时,在一定程度上是通过心理模拟该动作来实现的(Willems et al., 2010)。Hauk等(2004)在研究中采用功能磁共振成像技术,让被试阅读一些与身体动作相关的动词。结果发现,当被试理解涉及身体运动信息的动词时,沿运动带的不同激活区域与真实的口部、手部和脚部运动引起的激活区域之间相邻或出现重叠。在另一项研究中,Raposo等(2009)采用与手部或腿部动作有关的动词,同样发现了运动皮层的参与。结果显示,身体动词语义理解激活了负责动作执行的额顶叶系统,与手部或腿部相关的动词激活脑区与真实身体运动的激活模式重叠。在另外一项汉语成语具身性的研究中,通过向被试呈现手部动作成语、脚部动作成语、面部动作成语以及口部动作成语,结果证实了汉语成语语义理解符合具身假设(苏得权等,2013)。

根据词语所表示的内容,一些词语可以归为基本水平类别,一些词语可以划分为下位水平类别。视觉领域的研究表明,那些缺乏特定形式的基本层次类别的单词(如,鸟)在视觉区域编码的丰富程度低于那些包含视觉形式更明确的下属层次类别的单词(如,麻雀) (Gauthier et al., 1997)。在具身认知领域,有研究者使用基本类别动作动词(如,清洁)和下属类别动作动词(如,擦拭)作为实验材料,结果发现,表示更具体运动信息的下属类别动作动词在运动脑区诱发了更高水平的激活(van Dam et al., 2010)。这支持了动作动词语义理解的具身性观点,以及动词所传递的运动信息的数量可以反映在语义理解的神经激活中。

3.2. 动作词具身性的电生理研究

随着具身语义研究的增加,一些研究者提出,尽管运动皮层参与了动作词语义理解,但这可能反映的是语义理解的后效应。因为功能磁共振成像技术虽然空间分辨率高,但时间精度不够,无法确定运动皮层的激活发生在语义理解之前还是语义理解之后。

脑电图(Electroencephalogram: EEG)具有较高的时间分辨率,成为解决这一问题的最佳研究手段。其中,N400是语义理解研究中的一个经典成分,反映了被试对语义的获取。因此,可以这样假设,如果运动皮层的激活出现在N400之前,则运动脑区在动作词语义理解中发挥着功能性作用;如果运动皮层的激活出现在N400之后,则运动脑区是动作词语义理解后诱发的激活。在一项ERP研究中,探索了名词与动词之间的电生理差异。结果发现,名词与动词的激活差异出现在刺激呈现后200毫秒左右,在随后的时窗中,具体名词在额–颞叶脑区比具体动词诱发了更负的N400成分(张钦等,2003)。这表明,运动脑区较早的参与了语义理解的过程,在动作词语义理解中发挥着功能性作用。

语义具身性是一种自动的神经反应,还是一个复杂的认知加工过程?Pulvermüller等(2005)研究中使用了一项注意力分散任务,探索了语义具身性的灵活程度。研究中,被试需要观看无声的电影,然后将描述面部动作和腿部动作的单词以音频的形式呈现,但是不需要被试去注意这些材料。通过脑磁图(Magnetoencephalogram: MEG)记录的结果显示,尽管被试没有有意识注意这些语音材料,但在刺激材料呈现后200毫秒左右,仍然发现了词语诱发的神经差异,并且这些动词特异性的激活了身体运动皮层。这样的结果表明,语义理解中运动脑区的参与是一个自动化的过程,而不需要被试付出额外的注意力资源。

4. 总结和展望

传统的认知心理学把人的认知过程类比为计算机信息处理过程,排除了大脑和身体在认知中的作用。但是,这种观点忽视了人的特殊存在,即不同的计算机加工可以得出完全一致的结果,而不同的人处理信息却会各有所异。正如人们常说的“一千个读者就有一千个哈姆雷特”,人们的个体经验在认知中发挥着不可忽略的作用。具身认知是对传统认知心理学的革新,它强调身体和运动经验在认知过程中发挥着重要作用,语言理解是基于感觉和运动经验的(叶浩生,2010)。

本文从脑成像研究和电生理研究两个方面论述了语义理解的具身性,主要得出以下两个结论:1) 与身体动作相关的动词语义理解会诱发运动脑区的激活,并且不同类别身体动作词诱发的激活模式与其对应的躯体运动激活的模式一致;2) 运动脑区在身体动作词语义理解过程中发挥着功能性作用,而不是语义理解的后效应。然而,以往的研究结果并非完全一致。有研究者指出,语义具身性只符合与身体相关的动词,对于抽象动词语义理解并没有诱发运动脑区的激活。也有研究者提出,这种动词语义具身性受到实验任务的调节,并非是一种普遍、稳定的神经反应。

结合以往的实证研究,我们认为未来研究可以从以下几个方面入手,进一步阐明身体动作词语义理解的神经机制。首先,确定抽象动词语义理解是否符合具身假设。以往的研究集中在于身体动作相关的动词,对抽象动词的研究较少,或者作为一种基线,并未进行深入的讨论。而根据具身隐喻的观点,抽象动词语义理解也是基于感觉和运动经验的认知过程,也应符合具身假设(Gallese & Lakoff, 2005)。其次,研究实验任务对语义具身性的调节效应。以往研究大多采用被动阅读任务、词汇判断任务和快速阅读任务,但是缺乏对不同任务诱发神经激活模式异同的分析。因此,未来研究有必要对不同语义理解任务对语义具身性的调节效应进行深入的探索。最后,研究不同语言材料之间具身性的异同。以往的研究主要集中在字母语言,而汉字与字母语言具有明显的外形和构词差异,这或许会对语义具身性产生影响(Tan et al., 2005)。未来的研究可以探索汉字动作词的具身效应,以及对比字母语言与汉字语言具身性的异同。

参考文献

[1] 曲方炳, 殷融, 钟元, 叶浩生(2012). 语言理解中的动作知觉: 基于具身认知的视角. 心理科学进展, 20(6), 834-842.
[2] 苏得权, 钟元, 曾红, 叶浩生(2013). 汉语动作成语语义理解激活脑区及其具身效应: 来自fMRI的证据. 心理学报, (11), 1187-1199.
[3] 叶浩生(2010). 具身认知: 认知心理学的新取向. 心理科学进展, 18(5), 705-710.
[4] 张钦, 丁锦红, 郭春彦, 王争艳(2003). 名词与动词加工的ERP差异. 心理学报, (6), 753-760.
[5] Barsalou, L. W. (1999). Perceptual Symbol Systems. Behavioral and Brain Sciences, 22, 577-660.
https://doi.org/10.1017/S0140525X99002149
[6] Gallese, V., & Lakoff, G. (2005). The Brain’s Concepts: The Role of the Sensory-Motor System in Conceptual Knowledge. Cognitive Neuropsychology, 22, 455-479.
https://doi.org/10.1080/02643290442000310
[7] Gauthier, I. A., Tarr, M. J., Skudlarski, P., & Gore, J. C. (1997). Levels of Categorization in Visual Recognition Studied Using Functional Mannetic Resonance Imaging. Current Biology, 7, 645-651.
https://doi.org/10.1016/S0960-9822(06)00291-0
[8] Hauk, O., Johnsrude, I., & Pulvermuller, F. (2004). Somatotopic Representation of Action Words in Human Motor and Premotor Cortex. Neuron, 41, 301-307.
https://doi.org/10.1016/S0896-6273(03)00838-9
[9] Pulvermüller, F., Harle, M., & Hummel, F. (2001). Walking or Talking? Behavioral and Neurophysiological Correlates of Action Verb Processing. Brain and Language, 78, 143-168.
https://doi.org/10.1006/brln.2000.2390
[10] Pulvermüller, F., Hauk, O., Nikulin, V. V., & Ilmoniemi, R. J. (2005). Functional Links between Motor and Language Systems. European Journal of Neuroscience, 21, 793-797.
https://doi.org/10.1111/j.1460-9568.2005.03900.x
[11] Pulvermüller, F., Lutzenberger, W., & Preissl, H. U. (1999). Nouns and Verbs in the Intact Brain. Evidence from Event-Related Potentials and High-Frequency Cortical Responses. Cerebral Cortex, 9, 497-506.
https://doi.org/10.1093/cercor/9.5.497
[12] Raposo, A., Moss, H. E., Stamatakis, E. A., & Tyler, L. K. (2009). Modulation of Motor and Premotor Cortices by Actions, Action Words and Action Sentences. Neuropsychologia, 47, 388-396.
https://doi.org/10.1016/j.neuropsychologia.2008.09.017
[13] Scorolli, C., & Borghi, A. M. (2007). Sentence Comprehension and Action: Effector Specific Modulation of the Motor System. Brain Research, 1130, 119-124.
https://doi.org/10.1016/j.brainres.2006.10.033
[14] Tan, L. H., Laird, A. R., Li, K., & Fox, P. T. (2005). Neuroanatomical Correlates of Phonological Processing of Chinese Characters and Alphabetic Words: A Meta-Analysis. Human Brain Mapping, 25, 83-91.
https://doi.org/10.1002/hbm.20134
[15] Tan, L. H., Spinks, J. A., Feng, C.-M., Siok, W. T., Perfetti, C. A., Xiong, J., Fox, P. T., & Gao, J.-H. (2003). Neural Systems of Second Language Reading Are Shaped by Native Language. Human Brain Mapping, 18, 158-166.
https://doi.org/10.1002/hbm.10089
[16] van Dam, W. O., Rueschemeyer, S. A., & Bekkering, H. (2010). How Specifically Are Action Verbs Represented in the Neural Motor System: An fMRI Study. Neuroimage, 53, 1318-1325.
https://doi.org/10.1016/j.neuroimage.2010.06.071
[17] Willems, R. M., Toni, I., Hagoort, P., & Casasanto, D. (2010). Neural Dissociations between Action Verb Understanding and Motor Imagery. Journal of Cognitive Neuroscience, 22, 2387-2400.
https://doi.org/10.1162/jocn.2009.21386