隐喻手势与语言及认知关系的研究
Research on the Relationship between Metaphoric Gesture and Language, Cognition
DOI: 10.12677/ML.2022.104094, PDF, HTML, XML, 下载: 555  浏览: 1,042 
作者: 谭梦妮, 陈宏俊:大连理工大学,辽宁 大连
关键词: 隐喻手势语言认知Metaphor Gesture Language Cognition
摘要: 20世纪末,隐喻不再被视作简单的语言修饰物,我们的概念系统具有隐喻性,研究者试图去解释与论证隐喻如何塑造思维、构建感知、影响行为,对其的研究方兴未艾。隐喻的研究不再停留于语言层面,学者们逐渐发现手势也具备隐喻性,手势与语言、认知的关系十分紧密。然而,尽管手势在生活中极其普遍,但其真正受到关注是在20世纪末,国内的研究还在起步阶段。本文探讨手势和语言的关系,以及手势与认知的交互作用,以隐喻手势为主进行综述性分析。
Abstract: Metaphor has been no longer simply regarded as the language ornament since the end of 20th century, and the metaphor research has sprouted up in recent years. Our ordinary conceptual system is fundamentally metaphorical in nature, therefore scholars try to explain and testify that metaphor structures our thought, perception and action. Metaphor not only exists in language but also in gesture. Gesture, language and thought have intensive relationship. Although gesture is fundamental and pervasive in our life, it is always neglected by people and it has aroused scholars’ great interest at the end of 20th century. The study of gesture in domestic is at the initial stage. This essay, which focuses on metaphoric gesture, clarifies the relationship between gesture and language, and the interaction of gesture and cognition.
文章引用:谭梦妮, 陈宏俊. 隐喻手势与语言及认知关系的研究[J]. 现代语言学, 2022, 10(4): 725-730. https://doi.org/10.12677/ML.2022.104094

1. 引言

隐喻渗透在生活的各个领域,对于隐喻的研究自Lakoff和Johnson合作的《我们赖以生存的隐喻》于1980年发表以来,如雨后春笋般涌现。学者们的视角从修辞层面转变到认知层面。多数人认为隐喻只是语言的特性,实则我们的概念系统具备隐喻性,隐喻充斥在我们的思维和行为之中 [1]。

普遍认为,第一个将手势视作具备隐喻性的学者是心理学家威廉·冯特,那些让概念由一个域转化到另一个域的手势被他称为“象征手势”(symbolic gestures) [2]。Cienki是把隐喻和手势联系起来进行系统研究的第一人 [3]。有关手势和语言的关系从20世纪60年代起开始引起研究者们的兴趣,而手势和隐喻的研究在20世纪末开始兴起。关于手势与语言的关系目前国外研究较为丰富,观之国内却十分匮乏。

本文探讨手势和语言以及认知之间的关系。在语言层面上详述其与手势的联系以及手势对语言理解产生的影响;在认知层面上着重从手势对时空概念的外化表现和手势对于教学的影响进行论述,主要以隐喻手势进行综述性分析。期以厘清现有研究的脉络,为日后手势的研究提供方向。

2. 手势

2.1. 手势的界定与属性

辞海中的“手势”意为“用手做各种姿势来表示意思”,即为手部的动作,对应英文“gesture”或者“gesticulation”。在英文中,“gesture”的广义为身体的任意动作,甚至包括面部的表情,狭义为手部的姿态,目前的研究主要是针对狭义的手势进行展开。

手势的研究正处于起步阶段。有学者认为手势未受广泛重视的原因在于现代语言学对于语言的研究主要是从抽象语法、形式和组合学的角度进行——鲜有“身体产出(语言)”的空间;同样在主流的实验心理学领域中将语言视为逐字逐句(书面或口头)的研究,重点关注词汇、语音等;再者,手势是以自发的方式产生的,因此不易操作,也难以通过实验掌握 [4]。手势往往被视为一种无足轻重的附带现象。手势真正受到关注是在近三十年间,关于手势的研究日渐丰盈,手势通常伴随着语言出现,因此这类手势也可称为语伴手势(co-verbal/co-speech gesture)。

手势和手语(sign language)都能传达符号含义,但是具有本质的区别。手势不具有规约性,手势常常协同语言产生,手语中对应的词语有固定的动作表达,手语是聋哑人进行交流的一种特殊的“语言”。例如“树叶在摇晃”,在说话的同时,我们可以将手掌竖直摊开左右摇摆或是晃动手腕,多种方式的表达都能使听者会意;而在中国手语中则是做出数字六的手势并摇晃手腕。Newman等人(2015)将手势称作“非语言符号交际系统手势”,它与手语共享视觉–运动模态,但只有手语建立了词汇并遵循语法原则。他们发现美国手语使用者在观看手语和手势视频时,前者更多地激活左侧额下回 [5]。即使两者具有相似的结构,手语和手势的加工机制也可能存在差异。

当我们让手部肢体执行一个或多个复杂的运动模式时,通常会将其抬离身体,执行完毕后回归所谓的休息位置。手势分为三个阶段,准备(preparation),比划(stroke)和收回(recovery/return)阶段。准备阶段即起势,手移动至身前;比划是整个过程的重心,是手势的内容所在,可表达意义;收回是让手回归至自然状态 [6]。

2.2. 手势的分类

学者们对手势进行了多种分类,其中受到大众认可的是McNeill (1992)的四种手势类型——节拍型(beat),指示型(deictic),图像型(iconic)和隐喻型(metaphoric)。节拍手势用于标记对语用内容有重要意义的词语;指示手势用来指向具体的实物或是特定的空间;图像手势用作描述实物的形状或运动状态,抑或是描述实体之间的物理联系;隐喻手势则是用图形化的内容来展示抽象观点 [7]。图像手势和隐喻手势的区别较小,有时两者有重叠,因此不少学者将图像和隐喻手势统一归为表征型手势(representational gestures) [8]。

本文主要研究隐喻手势,此处用经典的例子作以说明何为隐喻手势:在说出“我们需要对他的观点进行衡量”时,做出将手掌摊开朝上的手势,呈现托举状,该手势把看不见摸不着的抽象观点比作一个有重量能测量的具象实体。此时源域是实物,目标域为观点,将对实物概念的理解映射到观点的概念上,实物有形状和重量,把观点视作实物,使其具象化,体现了观点的价值需要通过多方的考量来进行判断,重量的大小是观点价值的大小。隐喻手势的出现让隐喻不再停留在话语层面,隐喻可以是多模态的。

3. 隐喻手势与语言的研究

3.1. 隐喻手势与语言的联系

传统观点认为:说话者和听众的距离、身体动作、音量的控制等,所有这些元素交织在一起完成了传递信息的任务,这些信息被称作“非语言交流”,也可以被称作说话者所创设的环境,它们不属于对话的一部分。Kendon (1980)是第一个对此观点提出质疑的人,他认为至少手势不能排除在对话之外。忽略手势便是忽略对话。语言依靠编码的词语和语法手段离散地传达意义,而手势依靠视觉和模拟意象整体传达思想 [6]。用以模拟意象的手势通常是隐喻手势,隐喻手势能和语言配合更好地传达语义。

手势在一般情况下是无意识产生的,它受到的控制比语言少,说话者通常根本未意识到自己在做手势 [7]。说话者在对话者未在场的情况下可以生成手势,比如通电话或者独白时会运用手势 [4]。手势是如此普遍,但是它往往在说话时才出现。手势和语言在语义和时间方面具有一致性,它们通常同时出现并表达相同或相关的含义,因此它们往往被视作同一个话语过程 [6] [7]。口吃者也会在手势中出现中断的情况,另外,阻碍手势的产生同样会干扰语言的生成 [9]。如果让说话者规避某个特定字母开头的词或者让其说晦涩的话题,那么其说话时在意群内停顿的次数会增加,不让说话者做手势同样会使这种类型的停顿增加 [10]。种种迹象表明,手势与语言极有可能使用同一套加工体系。Bernardis等人(2008)让受试者观看完表征型手势的视频后,尽快朗读所展现的词语,实验发现,在手势与词语不相符的条件下,受试者读的时间较长,是由于手势的含义与朗读的名词的含义之间存在干扰效应 [11]。隐喻手势与话语的不匹配会影响语言的加工。

3.2. 隐喻手势对语言理解的影响

在言语理解的过程中,语言和手势被整合到一个共同的潜在概念表征中 [7]。手势在语言教学中起到至关重要的作用,是语言理解的工具。隐喻手势能够显著提高低水平外语者的听力理解能力,对高水平学习者的促进作用相对来说不明显 [12],隐喻手势将抽象概念或是不熟悉的事物进行实体化、图示化,使得概念清晰。Kircher等人(2009)通过fMRI研究发现语言和手势同时出现时,左颞上回的激活会减少,该部位是听觉性语言中枢,此处的认知需求会降低。当语言伴随着隐喻手势时,语言和手势的结合可能会降低理解的加工需求 [13]。另一方面,Goldin-Meadow和Wagner (2005)认为如果话语很容易理解,那么手势的作用便微不足道。他们提出手势能提高准确性,可能是通过把注意力吸引到言语上,而不是通过自己传递信息来实现的 [14]。

图像手势相较于无意义的手势能显著提高记忆力。图像手势对学习外语新词有影响,实验中具体名词的学习证明了该观点 [15]。图像手势和隐喻手势相似,都是将概念以图形化的方式展现,这类表征型手势能够加快对语言的记忆与理解。

手势信息与语言信息在隐喻理解的早期阶段便整合至一起,意义的建构需要全面综合地进行,并且高度依赖于语境。手势信息在早期就融合于语言理解的过程,手势是隐喻完整表达的一部分 [10]。

4. 隐喻手势与认知的关系

4.1. 隐喻手势与时空认知

时间是人类基本的抽象经验,时间的语言表达总是基于空间,说话者也常做出关于时间的隐喻手势表达。中文更多使用“上下”有关的时间隐喻,而英文偏向“左右”,这一点在手势中也得到了证实。时间隐喻手势对时间概念的空间体现能够反映出不同语言间不同的时间思维 [16] [17]。中国古代用竹简进行书写记录,在我国汉字几千年的进程中,是由上至下书写,近几十年才变为从左至右书写。“上”和“左”一般代表过去,在自然引发受试者手势的实验中证实了这一观点。手势与语言是高度一致的。二语学习者在用二语进行表达时间隐喻的过程中,常会出现进行母语表达时所用的隐喻手势,或者会产生混乱手势的情况 [16]。隐喻手势的表达往往与说话者的认知有关,在进行外语表达时,大脑中包含母语和外语两种思维模式,因此空间隐喻手势很可能会产生混乱。手势的出现是因为思维基于感知与动作,因此,手势为“认知基于身体”提供了有力的证明 [8]。如果限制手势的应用,那么说话者的流畅度将会受到阻碍。尤其是在描述和空间相关的情形时,不加手势会让说话者语速变慢,而其他情况下,不加手势则没有影响 [18]。

4.2. 隐喻手势与教学

在数学的教学中,教师经常会在讲述知识时运用隐喻手势。Núñez (2008)在文章里提到“数学也许是我们能想到的最抽象的概念系统,它最终是以我们的身体、语言和认知的本质为基础的。”他表明隐喻手势极大增强了人们对抽象概念的理解 [4]。同样,钟晓云和高原(2018)对外语学习者进行了听力实验,结果表明说话者的隐喻手势让受试者的成绩显著提高,“手势的使用提供了额外的认知资源,减轻了语义理解的认知负荷”,另一方面,说话人向听众解释复杂的抽象概念时,会比普通情况下使用更多的手势 [12]。

在教学过程中鼓励孩子们自己做手势,这样会促进学习,这很可能是手势减轻了认知负荷 [14]。Macedonia等人(2011)发现如果受试者通过手势对口头信息进行编码,那么口头信息会被更好地识别和回忆 [15]。通过手势的视觉编码和话语的听觉编码系统相结合,使它们共同处理信息,缓解了仅有语言编码对听觉通道造成的认知负荷过载 [12]。外语学习者在用外语进行交流时,手势的幅度会明显增大。人们在理解和产出外语时需要付出额外的认知努力。手势可以帮助说话者“提取词汇,组织和梳理思路”,同时强调重点,达到有效传递信息的交际功能 [16]。

5. 总结与展望

本文讨论了手势与语言和认知的关系。手势和语言通常协同出现,它们极有可能使用同一套加工体系。匹配的手势会对语言理解有促进作用,但是在语言容易理解的情况下或者对于语言水平高的人来说,手势的作用不明显。认知可以影响手势的产出,不同国家的人对时间的认知会影响手势的方向,从这一方面来说,手势是认知的外化表现。手势同样也可以影响认知,在教学的过程中,使用合适的手势可以减轻认知负荷,提升学者处理信息的能力,增强理解力。

Kendon (1980)认为语言的产出过程同时体现在两种活动形式中:发声器官的运动和肢体的运动。手势不单纯是身体的运动,而是拥有着意义的符号 [6],手势与语言具有相似的交际功能,手势在时间上与语言同步,在意义上与语言的内容相关 [19]。语言和手势实际上是认知语言现实的两个方面;手势是理解语言、概念系统的高级认知的方法 [4]。即便使用不同语言,交流者通过手势也能理解两种语言的共同概念。言语表达与手势所传达的信息有关 [20]。在概念化阶段,手势可能有助于说话者制定言论中将表达的概念;在语法编码的阶段,手势中的信息可以帮助说话者将概念映射到大脑的词库中;在语言编码的阶段,手势可以帮助检索单词形式 [10]。手势与语言、认知体系的关系密不可分。

探索隐喻思维只聚焦于语言是不足以在隐喻这片宽广的领域里远行,隐喻是多模态的,将隐喻与手势的结合来进行认知的研究在目前传统的学术研究里另辟蹊径,为学者提供了新的视角。当前的研究大体分为两种模式,手势的输出以及输入。输出是研究受试者在自然条件下对话或者独白做出的手势,输入则是让受试者观看录制带有手势的视频,往往这种情况下的手势是事先有所设计的,因此缺乏了自发性与自然性。对手势的研究具有一定的挑战,因为它没有特定的构成形式,对于手势的识别以及分类难以形成统一的看法。

手势与认知语言学的研究是一个庞杂的体系,研究较为分散,未形成清晰的系统。这是需要开发的领域,尤其是与隐喻结合的手势是值得探究的部分,而当前的研究正处于初步探索的阶段,研究的范式较少。如何将手势运用至教学中,发挥其实践效用也是值得探讨的问题。

参考文献

[1] Lakoff, G. and Johnson, M. (1980) Metaphors We Live by. The University of Chicago Press, Chicago.
[2] Cienki, A. and Müller, C. (2008) Metaphor, Gesture, and Thought. In: Gibbs, R., Ed., The Cambridge Handbook of Metaphor and Thought, Cambridge University Press, New York, 483-501.
https://doi.org/10.1017/CBO9780511816802.029
[3] 江桂英, 王容花. 英语演讲中言语-手势多模态隐喻的融合研究[J]. 外语研究, 2013(5): 9-16.
[4] Núñez, R. (2008) A Fresh Look at the Foundations of Mathematics: Gesture and the Psychological Reality of Conceptual Metaphor. In: Cienki, A. and Müller, C., Eds., Metaphor and Gesture, John Benjamins Publishing Company, Amsterdam/Philadelphia, 93-114.
https://doi.org/10.1075/gs.3.07nun
[5] Newman, A.J., Supalla, T., Fernandez, N., Newport, E.L. and Bavelier, D. (2015) Neural Systems Supporting Linguistic Structure, Linguistic Experience, and Symbolic Communication in Sign Language and Gesture. Proceedings of the National Academy of Sciences of the United States of America, 112, 11684-11689.
https://doi.org/10.1073/pnas.1510527112
[6] Kendon, A. (1980) Gesticulation and Speech: Two Aspects of the Process of Utterance. In: Key, M.R., Ed., The Relationship of Verbal and Nonverbal Communication, De Gruyter Mouton, Hague, 207-227.
https://doi.org/10.1515/9783110813098.207
[7] McNeill, D. (1992) Hand and Mind: What Gestures Reveal about Thought. The University of Chicago Press, Chicago.
[8] Alibali, M.W. and Nathan, M.J. (2012) Embodiment in Mathematics Teaching and Learning: Evidence From Learners’ and Teachers’ Gestures. The Journal of the Learning Sciences, 21, 247-286.
https://doi.org/10.1080/10508406.2011.611446
[9] Mayberry, R. and Jaques, J. (2000) Gesture Production during Stuttered Speech: Insights into the Nature of Gesture- Speech Integration. In: McNeill, D., Ed., Language and Gesture, Cambridge University Press, Cambridge, 199-214.
https://doi.org/10.1017/CBO9780511620850.013
[10] Cornejo, C., Simonetti, F., Ibáñez, A., Aldunate, N., Ceric, F., López, V. and Núñez, R. (2009) Gesture and Metaphor Comprehension: Electrophysiological Evidence of Cross-Modal Coordination by Audiovisual Stimulation. Brain and Language, 70, 42-52.
https://doi.org/10.1016/j.bandc.2008.12.005
[11] Bernardis, P., Salillas, E. and Caramelli, N. (2008) Behavioural and Neurophysiological Evidence of Semantic Interaction between Iconic Gestures and Words. Cognitive Neuropsychology, 25, 1114-1128.
https://doi.org/10.1080/02643290801921707
[12] 钟晓云, 高原. 英语听力教学中手势语有效性的实证研究[J]. 北京第二外国语学院学报, 2018(4): 115-132.
[13] Kircher, T., Straube, B., Leube, D., Weis, S., Sachs, O., Willmes, K., Konrad, K. and Green, A. (2009) Neural Interaction of Speech and Gesture: Differential Activations of Metaphoric Co-Verbal Gestures. Neuropsychologia, 47, 169- 179.
https://doi.org/10.1016/j.neuropsychologia.2008.08.009
[14] Goldin-Meadow, S. and Wagner, S.M. (2005) How Our Hands Help Us Learn. TRENDS in Cognitive Sciences, 9, 234- 241.
https://doi.org/10.1016/j.tics.2005.03.006
[15] Macedonia, A., Müller, K. and Friederic, A.D. (2011) The Impact of Iconic Gestures on Foreign Language Word Learning and Its Neural Substrate. Human Brain Mapping, 32, 982-998.
https://doi.org/10.1002/hbm.21084
[16] 高原, 钟晓云. 英语学习者时间语伴隐喻手势的维度研究[J]. 外语教学与研究(外国语文双月刊), 2014, 46(6): 879-888.
[17] 李恒. 时空隐喻的心理现实性: 手势和手语的视角[J]. 心理科学, 2016, 39(5): 1080-1085.
[18] Krauss, R.M. (1998) Why Do We Gesture When We Speak? Current Directions in Psychological Science, 7, 54-60.
https://doi.org/10.1111/1467-8721.ep13175642
[19] Ozyurek, A. and Kelly, S.D. (2007) Gesture, Brain, and Language. Brain and Language, 101, 181-184.
https://doi.org/10.1016/j.bandl.2007.03.006
[20] Ibánez, A., Manes, F., Escobar, J., Trujillo, N., Andreucci, P. and Hurtado, E. (2010) Gesture Influences the Processing of Figurative Language in Non-Native Speakers: ERP Evidence. Neuroscience Letters, 471, 48-52.
https://doi.org/10.1016/j.neulet.2010.01.009