1. 引言
手势(gesture)是指“说话中出现的任何动作”( [1], p.4)，但本文主要讨论讲者讲话时的手部动作(hand gesture)。手势可分为三阶段：预备、比划和收回(prepare, stroke and retract) ( [2], p.208)；或更细的五阶段：静止、预备、比划、保持和收回(rest, prepare, stroke, hold and retract) ( [3], p.54)，但手势的基本单位和核心阶段是“比划” [4] [5]。McNeill将手势分为四大类：1) 图示性手势(iconics)，是对具体事物或动作的手势描述；2) 隐喻性手势(metaphorics)，是对抽象概念或想法的手势描述；3) 指向性手势(deictics)，是对空间点或是时间点的手势指向；4) 节奏性手势(beats)，是基于话语重音的手势节奏( [5], p.76)；另外还有5) 适应性手势(adaptors)，是紧张时摸鼻子或抓头发等手势动作 [3]。
手势是思维叙事的形象表征 [6]。手势可打开“不易被语言表达的思维窗户”( [7], p.327)；手势是被讲者主动赋予了意义的符号( [5], p.105)；手势既是有意识也是自动化的行为( [8], p.90)。手势有助于管理工作记忆负荷 [9] [10]，工作记忆能力较低的人会更多使用伴语手势(co-speech gestures) [11] [12] [13]，工作记忆能力更强的人更易理解手势意义 [14] [15]。
手势和语言具有统一性 [4] [16]。手势与讲话内容一致的情况下，可减少语言的加工负荷 [17]，有助于话语生产和组织 [18] [19] [20] [21]，有助于信息理解(见综述 [22] )，有助于学习和记忆 [23] [24]，也有助于解决问题 [25] [26]，观察节奏性手势有助于改善学生的外语口音 [27]。因此，具有跨模态统一性的伴语手势对讲者和观众都有益 [22] [28]。
手势是口译认知加工的重要认知资源。 [29] 发现同声传译(“同传”)译员在不确定性较高的答问环节中，手势数量会增加，手势位置也会升高。 [30] 发现看不见讲者手势会让同传译员陷入焦虑，导致译员需要努力集中注意力，手势可辅助译员理解和甄别重点信息。 [31] 发现译员在认知负荷较高的同传过程中会频繁打手势。 [32] 发现讲者和译员手势有大量重叠，讲者和译员都会在列举时打出节奏性手势。 [33] 指出手势能促进口译质量，降低同传认知负荷，且译员手势会随着原语输入内容的变化而变化。 [34] 发现尽管列举和数字对于同传译员来说都是高负荷信息，但译员手势更多的时候是列举。在交替传译(“交传”)的工作模式中， [35] 发现医疗译员的手势可以补充问诊中医患双方缺失的信息。
综上，目前口译手势的实证研究仍相对有限，主要针对同传和非中英语对。鉴于此，本研究将使用ELAN多模态软件对包含清晰手势图像的中/英交传语段进行试点分析，目标语段中包含暗喻类信息，因为这类信息的口译认知负荷较大 [36]，而且使用手势概率较大 [37]。本研究主要回答以下问题：1) 讲者和译员的主要手势特征是什么？2) 手势与语言及副语言产品之间是否存在多模态统一性？3) 手势在口译过程中发挥怎样的认知功能？
2. 口译员手势的多模态分析
2.1. 材料概述
[38] 指出，口译多模态语料库的语料来源主要包括三个渠道：1) 电视或网络媒体；2) 国际组织官网；3) 国际会议。前两种语料属于公开资源，用作学术研究不存在知识产权的问题。本研究的所有语料均来自第一个渠道，材料基本情况如下：
视频1：选自张艺谋导演(“讲者1”)2018年9月10日在加拿大多伦多电影节参加《影》(Shadow)北美首映式后的问答环节。参与者共三人：张艺谋、主持人卡梅隆·贝利(Cameron Bailey)及译员1。截取时长为3分17秒(见图1)。
视频2：选自刁亦男导演(“讲者2”)2019年9月29日在美国第57届纽约电影节参加电影《南方车站的聚会》(The Wild Goose Lake)美国首映式后的对话访谈。参与者共三人：刁亦男、主持人伊芙·加贝罗(Eve Gabereau)及译员2。截取时长为4分34秒(见图2)。
2.2. 译员背景
译员1是张鑫，女，口译方向是汉译英，译入外语(A-B)，于2010年考入上海外国语大学高级翻译学院会议口译专业，于2013年起开始担任加拿大约克大学Glendon学院会议口译系的全职讲师，为国际会议口译员协会AIIC会员，拥有丰富的交替传译实践经验(译员背景信息来源：https://www.linkedin.com/in/emmaxz/)。
Figure 1. Photo of Speaker 1 (Yimou Zhang, first from left) and Interpreter 1 (first from right)
图1. 讲者1 (张艺谋)与译员1的口译现场照片
Figure 2. Photo of Speaker 2 (Yinan Diao, second from left) and Interpreter 2 (first from right)
图2. 讲者2 (刁亦男)与译员2的口译现场照片
译员2是Tzu-Wen Cheng (郑子文)，男，口译方向是汉译英，译入外语(A-B)，是纽约城市大学曼哈顿社区学院副教授，曾为贾樟柯、蔡明亮、侯孝贤、刁亦男等导演赴美演艺交流活动提供口译服务(译员背景信息来源：https://www.bmcc.cuny.edu/faculty/vincent-cheng/)。
2.3. 数据分析
本研究借鉴 [34] 研究中使用的马普心理语言学研究所(Max Planck Institute for Psycholinguistics)开发的免费开源软件ELAN (6.0版本)对视频语料进行可视化多模态分析，预处理环节包括分层、转写、标注和对齐(见图3、图4)。
1) 分层：在ELAN中建立四个分析层级：导演字幕层、译员字幕层、导演手势层和译员手势层。先转写导演字幕层和译员字幕层，然后在导演手势层标注导演手势编码，以及在译员手势层标注译员手势编码。
2) 转写：首先，利用网易见外转录工具包(https://jianwai.youdao.com)生成字幕并嵌入ELAN字幕层，人工校对后生成转录文本。然后，利用格式工厂软件(http://www.pcgeshi.com/)将目标视频格式转为WAV音频格式(WAV文件储存的是声音波形的二进制数据，便于副语言特征分析)。随后，将目标视频和音频文件一并导入ELAN软件。最后，采用客观描写法，对副语言产品加以自然记录，对重复和语法不规范甚至错误等现象不作更正( [39], p.96)。转写的副语言产品包括：有声停顿(filled pauses，如“呃”、“啊，”用***表示)、无声停顿(silent pauses，见 [40]，时长超过0.250秒的无声停顿，用……表示)、重新表述(reformulation，即改口，用&&表示)和自我重复(repetition，用^^表示)。
3) 标注：首先，用G + 数字表示手势的出场顺序；然后对五种手势类型进行编码：MG为隐喻性手势，ICG为图示性手势，BTS为节奏性手势，DG为指向性手势，AG为适应性手势；在手势类型编码之后的是与发言人手势共生的语言或副语言产品。例如，“G40 + ICG + 拉开这个门”表示：这是第40个手势，属于图示性手势，与“拉开这个门”的语言信息重合。三名独立编码员分别进行编码，如有争议，进行全体讨论，确保结果完全一致。
4) 对齐：从上到下分层将原语和译语在时间轴上按意群对齐。
Figure 3. ELAN layers, transcriptions, notations and alignments of Video 1
图3. 视频1的ELAN分层、转写、标注和对齐
Figure 4. ELAN layers, transcriptions, notations and alignments of Video 2
图4. 视频2的ELAN分层、转写、标注和对齐
3. 结果
3.1. 语言和副语言产品分析
视频1
主要隐喻：“用雨水，用中国的阴阳的关系来打仗”；“像女人一样地扭，你才可以赢”。
讲者1：呃***，孙俪其实是个非常好的演员。呃***，在这个电影中，因为那个演邓超，呃***，不是&&，演演^^那个子虞和境州的，这是她的丈夫邓超，所以他们是夫妻两个演。其实我觉得在演电影的过程中……，她……孙俪&&可能会很分裂吧。呃***，嗖***，一……妻子要跟两个丈夫演戏。呃***，两个丈夫……，好像还是情敌。嘿，这个这个^^也挺复杂的啊。嗖***，呃***，但是她们夫妻两个都很好，演得非常好。其实，这个电影，你看起来像是一个男人的电影……，啧***：关于权谋……，啧***，关于争斗，关于生存。但我实际认为这个女性的角色非常重要。我们看电影的最后一个画面：孙俪要不要拉开这个门？拉开门要不要说出真相？很困难的一个选择。我们还看，在电影中……，我们用雨水……，用中国的阴阳的关系来打仗。但是，是孙俪点破了这个打仗的方法。她说：“你必须……像女人一样地扭……，你才可以赢”。我们看到这个电影中…，其实女性的角色非常重要。她是关键的。每次最关键的时候，都必须是她……出现……来……呃***推动故事的发展。
译员1：Ah*** Sun Li is definitely a ah*** outstanding actress. And ah*** she and Deng Chao are a real-life couple…, and they in this film po&&also portrayed a couple. Her role is very complicated, because she needs&& she is caught between…two husbands. And so, she's constantly…, ah***, facing… and… ah***, s...choices…as as ^^ well as ah *** tensions between the two husbands, because as you can see, there is a little bit of animosity between the two husbands. And the film, it seems that it’s all about power struggle…of men…, of royalties and about survival. However, in the film, ah***, female characters played an… extremely important role. And… at the end of the film, in the final scene…, will…, ah***, Sun Li open the door or not, and will she tell the truth… or not? So, these are all… tough choices that she has to make. Also in the film, you see a lot of rain, and the rain and water plays an important role in the film. And… the Yin and Yang philosophy… o-of ^^ China is also very well… ah*** portrayed in the film. And… her character played a key role in ah *** finding a way to counter the saber techniques of their opponent warrior. So, she designed these ah *** these ^^ feminine, ah***, feminine ^^ steps&& or postures… to (eh***) counter the really masculine, ah *** saber welding techniques. So, overall, she played ah*** an extremely important role in this storyline.
视频2
主要隐喻：“夜”，“像滤镜”、“像一层纱”、“像舞台”、“像……空间”。
讲者2：嗯***，摄影师是我第一部片的摄影，一直合作到现在，我们……嘶***，已经合作了&&，从02年开始合作到今天……，大概有10 && 17年。呃***，彼此都非常熟悉和了解。呃***，我的剧本写出来以后也先……先^^让他看。呃***，所以……但&&在一些沟通上和审美趣味上，我们……不用费什么精力。呃***，主要是……怎么去实施，怎么去呈现。可以说……，呃***，我是他的左眼，他是我的右眼。他也会提醒我……这场戏的表演。他也会关心表演。我也会关心摄影。呃***，相辅相成，都是一些正向的，互相帮助地往前发展。呃***，至于你说的夜……，那夜，我觉得这个逃犯，他……一定是在夜晚像一个动物一样被猎&&，被被^^围捕，被被^^追猎。呃***，他白天不会出来。所以我们大量的，85%的夜景……都是根据剧情……要求。没有办法，呃***，只能是用夜晚来拍摄。那夜也有它的魅力，它就像一个滤镜，或者像一……一一^^层纱一样……，把纵深的&&，白天看到的纵深的那些写实的东西过滤掉了。所以，你们看起来，它更像一个舞台……，或者像一个抽象空间……，像一个纯粹的……，呃***，反映时间在这里面流逝的一个空间。呃***，这就是夜给我们提供的最大的……，技术的，呃***，心理的……，审美的……一个保障。呵呵呵呵……。
译员2：I will try (grin)…So, ah***, in terms of the…the^^ cinematographer I've been working with him since ah*** my first film in 2002, so we have been working together for seventeen years up to this point. So, we have really good… working collaboration&&, ah***, agreement ah*** in a way that we understand each other. Ah***, we really work well together, ah***, on the level of aesthetics. We share the same aesthetics, so there's not much explanation needed ah*** when we collaborate. And when I finish my script, I also show my script to, ah***, Dong jinsong, which is a cinematographer first, so that we can have movie on the same page… literally speaking. So, I, I ^^ tend to think that for us, the collaboration is not on the ah***, conceptual or creative level. It’s very much about the the ^^ execution. How how^^ can we work together to… e-execute ^^ what we&&…I have put down, ah***, in my script. And I, I ^^ see&&. We joke about this. It's almost as if that I’m the left eyes, and he is the right eyes…, and together we get to see things… in a more complete manner that we actually complement each other very well. Sometimes, he's actually going to…&&will collaborate with me in terms of the acting side or the directing side of the, ah***, the shooting&&, the shoot. And also…, he will, in turn, ah *** also&&, I'm sorry, I then, will, in turn, ah *** give some com-&& feedback, feedback ^^ and comments about the, ah *** the cinematography and how I want it ah*** shot&&, to be set up. So, ah***, the second part of your question about the night scenes, I do think that since this particular story is about a character on the run, a fugitive…, so I really want to somehow position him in this… dark si- &&, not only the underbelly of society, but also literally… in ah*** at && night. And…, almost like that, he become the animal to be hunted. And ah***, I really want to somehow use this particular characteristics of night scenes, because if you think about night, because of lighting…, it almost as if you give a filter, ah***, to the camera, and also almost pre-&&, you create a screen f-&& to filter out things that you don't want to present in the films. And by using this particular night scene or the filter that I just mentioned, you tend to change and transform the three dimensional, ah***, images into a two dimensional one…, and then make it very &&, almost as if it is onstage and have become very, very abstract. And… with this particular abstraction, you get to really, ah***, examine and develop and explore this concept of time, ah***, through that two-dimensional abstraction. And that's the reason why I love to use, ah***, night scenes and then shot this film in particular 85% of them… at night.
口译实证研究发现非流利性(disfluency)和加工时间(processing time)等副语言特征是认知负荷的重要标志 [41] [42] [43]。认知负荷(Cognitive Load, CL)既指任务施加在执行者身上的加工负荷，又指执行者在任务中主动投入的精力 [44]，在口译研究中又称外部的“输入负荷”和主体的“认知努力” [45] [46]。本研究将采用总体负荷和平均负荷来表征认知负荷的强度 [47]：讲者的发言字数越多，发言时间越长，表明输出给译员的总体负荷越大；而讲者的平均语速越快，表明输出给译员的平均负荷越大；同时，译员的发言字数越多、发言时间越长、平均语速越快，则表明译员自身的认知努力越大。
表1显示了讲者和译员的副语言特征。其中，译员2被输入的总体负荷更大(讲者2375字，104.87秒)，但译员1被输入的平均负荷更大(讲者1，平均语速为232字/分钟)。同时，译员2的认知努力更大(167.98秒，491个单词，平均语速为175词/分钟)，译员1的认知努力更小(109.62秒，246个单词，平均语速为135词/分钟)。
在非流利性方面，表1显示：讲者2输出给译员2的非流利性更多(总共44次，平均0.42次/秒)。从译员自身的总体非流利性来看，译员2比译员1更多(61次 > 41次)；在平均非流利性方面，译员1和译员2接近，译员1略多(0.37次/秒 > 0.36次/秒)。但是，两名译员的总体非流利性现象都高于他们的讲者，可能与两位译员比讲者更长的发言时间有关，说明译员的总体负荷高于讲者；在平均非流利性方面，译员1高于讲者(10.37次/秒 > 0.34次/秒)，译员2低于讲者2 (0.36次/秒 < 0.42次/秒)。
Table 1. Paralinguistic features of speakers and interpreters
表1. 讲者和译员的副语言特征
3.2. 口译质量评估
我们从口译时长比率(10%)、非流利性比率(10%)以及错译、漏译和不妥翻译(80%, Errors, Omissions and Infelicities, EOI) [48] 三个维度进行了口译质量评估和打分(见表2)。
译员1的口译质量评分：90分。首先，译员1的口译效率高于译员2 (口译时长比率越小，口译效率越高：1.28 < 1.60)；其次，虽然译员1的非流利性比率略高于译员2 (1.45 > 1.39)，但非流畅性总体数量低于译员2 (41次 < 61次)，最后，译员的忠实度较高，仅仅漏译了两处细节信息和有一处翻译偏移，即“打仗的方法”显化为“to counter the saber techniques of their opponent warrior (化解对方武士的刀法)”，语法错误较少(详见表2)。
译员2的口译质量评分：83分。首先，译员2的口译效率低于译员1，总体非流畅性较高(例如：“Sometimes, he’s actually going to…&& will collaborate with me in terms of the acting side or the directing side of the, ah***, the shooting&&, the shoot. And also…, he will, in turn, ah *** also&&, I'm sorry, I then, will, in turn, ah *** give some com-&& feedback, feedback ^^ and comments about the, ah *** the cinematography and how I want it ah*** shot&&, to be set up.”)。最重要的是，译员2的错译、漏译和欠妥翻译较多，忠实度偏低。例如，出现了较多的漏译(5处)，偏移和显化较为明显(详见表2)。
Table 2. Assessment of interpreting quality
表2. 口译质量评估
3.3. 手势分析
就手势总数来看，表3显示：讲者1大于讲者2 (64 > 53)，但是译员2远大于译员1 (164 > 73)；同时，两位译员的手势都大于他们的讲者，译员1和讲者1的手势总数差异较小(73 > 64)，而译员2的手势总数则是讲者2的近3倍(164 > 53)，说明译员(尤其是译员2)希望通过调用更多的手势资源来消解接近饱和的认知负荷，这与副语言特征数据一致。
就手势类型来看，不管是讲者还是译员，手势主要类型都是节奏性手势，占比在70%~85%之间，两名译员的节奏性手势占比都高于他们的讲者。所有讲者和译员都发出了隐喻性、指向性和图示性手势，但只有讲者1和译员2使用了适应性手势，尤其是译员2，共出现了7次缓和心理紧张的调节性手势(见表3)。
就手势位置来看，讲者1和译员2分别有41个和25个高位手势(胸及以上位置)。译员1和讲者2的高位手势较少，分别是3个和5个。主要因素包括演讲时是站着还是坐着，是否需要记笔记，以及整体认知负荷的多少。站着演讲的讲者1使用的高位手势明显多于坐着的讲者2；而译员1需要记笔记，所以虽然站着但高位手势也很少；最后，译员2承受的认知负荷大于译员1，所以高位手势也更多(见表3)。
就手势频率来看，译员2的手势频率都高于讲者2的手势频率(0.98次/秒 > 0.51次/秒)和译员1的手势频率(0.98次/秒 > 0.67次/秒)，再次说明译员2试图通过积极调动手势资源来应对较高的认知负荷。就手势时长来看，讲者1和译员1的手势更加从容而缓慢，而讲者2和译员2的手势则更加快速而频繁(见表3)。结合前面的语言和副语言分析，说明认知负荷更高时，手势平均时长更短，手势可能更加快速而频繁(见表3)。
就手势模仿来看，译员1模仿了讲者1手势的43.06%，译员2模仿了讲者2手势的37.74%。译员1对讲者1的手势模仿度高于译员2对讲者2的手势模仿度(43.06% > 37.74%)。结合前面的口译质量评分，似乎说明更多地模仿讲者手势有助于提升口译质量(见表3)。同时，手势模仿并不等同于手势类型不变。例如，讲者的隐喻性手势可能被译员模仿，但译员可能不再使用隐喻性手势，而是使用节奏性手势。
Table 3. Numbers and classifications of speaker and interpreter gestures
表3. 译员和讲者的手势特征
4. 讨论
综上，对包含隐喻类信息的现场口译手势多模态分析发现：1) 讲者手势和译员手势都与认知负荷息息相关：认知负荷更大时，手势数量更多，手势位置更高，手势更加快速而频繁，但手势类型主要都是节奏性手势；2) 口译质量分数更高的译员，更倾向于模仿讲者手势，但模仿后的手势类型可能发生变化；3) 手势、语言和副语言产品在口译认知加工中具有跨模态统一性，一道映射出了讲者向译员输出的认知负荷以及译员自身的认知努力。同时，手势数量也可能受到现场语境因素(是否站立和是否记笔记等)以及译员认知资源的影响。
本文对口译手势的多模态分析结论与前期结论发现基本一致。前期研究发现手势有助于口译认知加工，负荷较高时，译员手势数量会增加，频率会加快，手势位置也会升高，而且译员和讲者的手势存在相似性 [29] - [35]。再者，手势资源可以辅助语言理解、组织、生产等认知过程，尤其是补充译员有限的工作记忆资源，也与前期研究结论一致 [9] [10] [18] [19] [20] [21] [23] [24]。同时本研究进一步发现，在处理隐喻类信息时，节奏性手势的数量也多于隐喻性或图示性手势，而且译员的节奏性手势占比高于讲者，这可能是因为节奏性手势的使用成本更低，更适合认知负荷更高的译员。
5. 结语
本研究在国内首次使用ELAN软件对现场交传中的口译手势进行了多模态综合式研究。发现讲者和译员打手势的现象普遍存在；讲者和译员的主要手势类型都是节奏性手势；手势具有辅助认知加工、凸显语义、衔接语篇和调适心理等作用；认知负荷更高的译员，手势数量更多，手势位置更高；讲者的手势会被译员还原和模仿，但译员手势也映射自身认知努力和策略。在口译教学中，教师可让学生意识到手势是重要认知资源，平衡手势与其他口译技巧和策略的使用。在未来研究中，研究者可以通过进一步扩大研究样本来验证本文初步结论。
基金项目
本文是中央高校基本科研业务费项目“同声传译认知负荷的减荷策略研究”(2019skzx-pt211)和“同传译前准备策略研究(2019自研-外语10)”成果之一。
参考文献