1. 引言
作为一种“以笑为目标的艺术样式”[1]，自1947年首部真正意义上的情景喜剧《玛丽·凯和琼尼》在美国问世以来，情景喜剧逐渐发展成一种成熟的影视类型。情景喜剧以固定场景、罐头笑声为外在表现，通过言语制造意想不到的幽默效果。广受国内观众喜爱的美国情景喜剧《生活大爆炸》(The Big Bang Theory)由美国哥伦比亚广播公司推出，其演员吉姆·帕森斯凭借谢尔顿·库珀这一角色多次获得艾美奖喜剧类最佳男主角奖项。
反讽是谢尔顿的标志性话语特征之一[2]，主要通过正话反说或反话正说两类实现讽刺和幽默效果，因而更多学者从语用学视角切入探讨话语层面幽默效果的实现，聚焦于台词文本的修辞策略和隐喻分析，揭示了语言符号层面的幽默机制。但谢尔顿这一人物形象的成功塑造既离不开台词文本，也离不开演员演绎，因此这一单一维度忽视了情景喜剧作为视听综合艺术的多模态话语特征，难以全面阐释谢尔顿这一经典角色的反讽风格及其人物形象。
因此，本研究以Searle [3]的言语行为理论为理论基础，通过自建语料库，借助多模态数据标注软件ELAN6.8，在张德禄[4]的多模态综合分析框架下的表达层面具体分析《生活大爆炸》第一季到第二季中谢尔顿反讽言语行为，系统考察其人物形象塑造机制，进一步验证多模态话语分析理论在情景喜剧的适用性，丰富语用学言语行为理论的阐释。
2. 多模态话语分析
多模态运用听觉、视觉、触觉等多种感觉，通过语音、图像、声音、动作等多种手段和符号资源进行社会交际[5]。在多模态话语分析方面最早的研究是国外学者对图像在表达意义上与语言的相互作用。此后经过媒体技术的蓬勃发展，多模态话语分析受到了普遍关注，出现了多个研究路径[6]，如系统功能语言学多模态话语分析、社会符号学、多模态隐喻分析等，当前学界对多模态话语分析以社会符号学为主导，将理论框架根植于系统功能语言学中。
国内虽然对多模态话语的研究起步较晚，但发展迅猛。张德禄[4]指出多模态话语分析以系统功能语言学中的社会符号学为基础，探讨语言模态和非语言模态的结构和功能特征，并提出多模态话语综合分析框架，其中表达层面指图像、字体、语言和音乐等语境中的事物。因此有部分学者从该框架进行分析，如朱晓彧和师艺丹[7]。自多模态话语分析引入中国以来，基于系统功能语言学的实践研究一直占据主导地位。虽然经过发展，语言学各流派之间的融合有所加强，但是其他学科，如影视学、社会学等的研究视角尚未得到充分挖掘[8]，可以看出多模态话语分析的案例相对零散，更多集中于宣传手册、海报等，在影视剧方面有所欠缺。
当前对情景喜剧的研究体量庞大，尤其对《生活大爆炸》的研究始于2008年，主要集中在语用学和翻译研究方面。在语用学方面，学者倾向于选用礼貌原则、合作原则和关联理论等语用学理论探讨其言语幽默，但偏向于台词等纯文本进行单一模态进行分析，对多模态分析应用相对较少。随着研究的深入，学者们注意到非语言模态在语用学言语行为实施中的重要作用。多模态言语行为研究不仅拓宽了言语行为的研究视野，而且更加深刻解释言语行为的特点。
3. 研究方法
3.1. 研究语料
《生活大爆炸》共有十二季，279集，每集时间约为21分钟。在情景喜剧发展初期往往面临角色的脸谱化程度较低，“性格表现容易趋同”的困境[9]，因而《生活大爆炸》将谢尔顿的角色定位为“Smart is the new sexy”的典型代表[10]，通过第一季和第二季迅速建立辨识度，成功构建谢尔顿标志性角色。随着剧集的播放，制作方通过谢尔顿人物成长不断拉近剧中人物同观众距离，导致谢尔顿后期角色鲜明的反讽言语行为偏弱化。因此语料选自前两季内容，以前两季的罐头笑声(Laugh Track)爆发点为参照点，标注谢尔顿反讽言语行为，构建语料库，共有377条语料。
3.2. 研究工具
本研究使用多模态注释工具ELAN6.8统计谢尔顿反讽言语在各个模态中资源信息的出现频次。ELAN6.8 (EUDICO Linguistic Annotator)是一个用于记录音频和视频的注释工具，使用者可以无限制地创建注释层，从不同层级同时进行标注，极大地提高了视频分析的工作效率，并看到使用频率，可以以更系统的方式进行观察研究。同时配合ELAN6.8软件使用的VLC Media Player可以对视频的音轨进行剥离，实现视听标注和协同分析。
从多模态话语分析的角度，按照多模态话语综合分析框架下表达层面所含内容可分为语言形式、视觉形式和听觉形式。其中语言形式主要由言语构成，听觉形式主要由声音构成，视觉形式由色彩、面部表情、手势和眼神接触等构成。为最大化提高工作效率，笔者对语言形式、听觉形式和视觉形式下的相关模态资源分别进行多模态编码，其中语言形式以Searle的五类言语行为理论为参照，包括阐述性(Representative)、指令性(Directives)、承诺性(Commissive)、表达性(Expressive)和宣告性(Declarative)；听觉形式关注谢尔顿说话声音的音调和停顿；视觉符号资源以色彩、面部表情、手势和眼神接触的形式表达，具体编码信息如表1所示。
Table 1. Shelon’s irony illocutionary act coding
表1. 谢尔顿反讽言语行为编码表
模态资源 |
表达形式 |
编码 |
语言形式 |
言语行为–阐述性 |
SPR |
言语行为–指令性 |
SPDI |
言语行为–承诺性 |
SPC |
言语行为–表达性 |
SPE |
言语行为–宣告性 |
SPDE |
听觉形式 |
声音–音调 |
ARI |
声音–停顿 |
ARS |
视觉形式 |
色彩 |
VC |
面部表情 |
VF |
手势 |
VG |
眼神接触 |
VE |
3.3. 研究步骤
笔者收集《生活大爆炸》第一季和第二季视频，借助VLC Meida Player对视频中的音频进行剥离，以罐头笑声爆发点为参照点，判断是否属于谢尔顿反讽言语行为，自建小型视听语料库。
在利用ELAN6.8工具进行具体分析前，将小型语料库中的视频和音频分别导入；根据谢尔顿反讽言语行为编码表添加新的“层类型”和“层”，“层类型”和“层”编码如表2所示；根据模态类型归属对377条语料进行标记分类。
Table 2. Coding of “layer types” and “layers”
表2. “层类型”与“层”编码表
层类型(编码) |
层(编码) |
SP |
S-R |
S-DI |
S-C |
S-E |
S-DE |
AR |
A-I |
A-S |
VF |
V-C |
V-F |
V-G |
V-E |
3.4. 研究问题
本研究采用定量和定性相结合的方法，结合ELAN6.8采集到的多模态频率数据，详细阐释以下三个问题：
(1) 谢尔顿反讽言语行为主要类型是什么？
(2) 语言模态、动作模态、视觉模态、听觉模态等资源塑造了谢尔顿什么形象特征？
(3) 何种模态在谢尔顿形象塑造中起主导作用？
4. 谢尔顿反讽言语类型分析
为系统探究谢尔顿反讽言语行为的主要类型，基于ELAN6.8语言模态标注数据，对谢尔顿反讽言语行为类型进行量化统计，如表3所示：
Table 3. Sheldon’s irony illocutionary act (N = 377)
表3. 谢尔顿反讽言语行为统计(N = 377)
模态资源 |
表达形式 |
频次 |
占比(%) |
SP |
S-R |
332 |
88.06% |
S-DI |
13 |
3.45% |
S-C |
0 |
0% |
S-E |
32 |
8.49% |
S-DE |
0 |
0% |
合计 |
377 |
100% |
值得注意的是，反讽言语行为在宣告中无法分析，这也是谢尔顿宣告性反讽言语行为频次为0的原因。当宣告成功实施时，能够立即改变现存事物或情况的状态，其次因其制度性的权威，即某些权威人士发表，要求绝对的语义透明性以保证其效力，所以不存在宣告性反讽言语行为。此外，承诺性在谢尔顿反讽言语行为中频次为0。承诺性指表达者对未来行为做出承诺，表明自己在未来有履行某种行为的义务，可以看出，承诺是一种主动的社交行为，而谢尔顿的人物设定是社交回避型，因而谢尔顿对社交活动的回避使他不愿意主动做出承诺。
4.1. 阐述性反讽言语行为
根据数据显示，谢尔顿阐述性反讽言语行为占据绝对主导地位(88.06%)，这一发现与吴岩[11]的发现一致，即“阐述性反讽是最常见的反讽形式”。阐述性言语行为是指表达者对真实的情况进行阐述，含有说话者对某事的态度，并做出真假判断。阐述性反讽更多依赖事实陈述和逻辑推理，表面陈述实则暗含否定他人命题的意义，如例1和例2体现了谢尔顿“智商高”“逻辑性强”的人物形象。
例1：It tells us that you participate in the mass cultural delusion that the sun’s apparent position relative to arbitrarily defined constellations at the time of your birth somehow affects your personality (S1E1).
在例1中，表面上谢尔顿用科学理论陈述天文现象与性格相关，实则讽刺佩妮对星座学说的毫无科学依据，并表达了否定态度。可以看出谢尔顿擅长用科学事实进行辩论，展现了他的知识储备多，智商高的人物特点。
例2：We don’t have a dolly, or lifting belts or any measurable upper-body strength (S1E2).
在例2中，谢尔顿用“论点 + 论据”的方式，通过列举事实反讽莱纳德和他难以将佩妮的家具搬到楼上。可以看出谢尔顿对二人的体形进行了无恶意的攻击，只关注“逻辑有效性”，展现了逻辑强的人物特点。
4.2. 表达性反讽言语行为
在谢尔顿反讽言语行为中，表达性反讽言语行为是第二高频类型，占比为8.49%。表达性指表达者对某件事物表达出说话者自身心理状态，而表达性反讽可以从语境中判断，主要对听话人的行为做出贬义的陈述，言语行为内容与意图相背离时，从而构成相应的嘲讽。如例3中佩妮将所有衣服混合粗鲁地扔进一台洗衣机引发了谢尔顿的讽刺回应，暗示现代洗衣机被滥用为暴力工具，佩妮使用科技家电不如使用原始工具，表达自己对佩妮洗衣方法的不满，展现了谢尔顿“善用逻辑和强迫症”的倾向，认为衣服必须按照正确的操作流程，基于进化逻辑打击佩妮。
例3：Oh, good lord. Why don’t you just take your clothes down to the river and beat them with a rock (S2E1)?
4.3. 指令性反讽言语行为
指令性反讽言语行为是第三高频类型，占比为3.45%。指令性反讽指表达者试图让听话者去做某事，但是讲出与本意相反的话语。如在例4中，谢尔顿间接下达了指令：不能养猫。因为谢尔顿患有哮喘，对猫毛敏感，因此他试图影响莱纳德的行为，阻止他养猫，体现了谢尔顿“不善于社交”的倾向，用无意识的反讽言语行为阻碍真正有效率的沟通。
例4：I hope that scratching post is for you (S1E3).
5. 谢尔顿反讽多模态分析
为系统探究模态资源在谢尔顿人物形象塑造的作用，基于ELAN6.8多模态标注数据，对谢尔顿模态资源使用类型进行量化统计，语言模态占比23.41%，非语言模态包括听觉模态和视觉模态占比16.61%，具体数据如表4所示：
Table 4. Modality resources in Sheldon’s irony illocutionary act (N = 1611)
表4. 谢尔顿反讽言语行为统计(N = 1611)
模态资源 |
表达形式 |
频次 |
占比(%) |
SP |
S-R |
332 |
20.61% |
S-DI |
13 |
0.81% |
S-C |
0 |
0% |
S-E |
32 |
1.99% |
S-DE |
0 |
0% |
AR |
A-I |
163 |
10.12% |
A-S |
27 |
1.68% |
VF |
V-C |
361 |
22.41% |
V-F |
168 |
10.43% |
V-G |
205 |
12.73% |
V-E |
310 |
19.24% |
5.1. 听觉模态
从表4中可以看出声音模态的音调占比为10.12%，谢尔顿更多使用平调，刻意维持一种“科学陈述”的机械感，这也是谢尔顿人物塑造特点之一“高智商”，他认为对宇宙中的一切都了如指掌，自觉承担了普及科学知识的责任，所以在更多时间无意识地通过科学理论实施反讽言语行为。但是当谢尔顿在凸显听话人的逻辑漏洞时，对科学术语进行重读发音，如例5中佩妮认为生日礼物应该是有趣的，自己不会买给自己的，谢尔顿认为佩妮准备的毛衣并不有趣，所以重读了geometry一词，将主观的有趣与客观的几何建立关联，这种模式配合语言模态的表达性反讽言语行为完成了社交否定，同时又强化了自己作为科学家的身份建构。此外，声音模态的停顿仅占1.68%，显示了谢尔顿确实拥有很多知识理论，所以能够做到信息高强度输出，避免思考，不需要进行停顿，彰显出其智商水平和思维能力。在例6中的“anyone”出现了0.8秒的停顿，并使用“well”进行缓冲，说明谢尔顿为了严谨用词，进行了思考，发现没有人跟他能完全合拍，显示了谢尔顿的既科学严谨，又面临着社交困境。
例5：Is it the geometry that makes it fun (S1E16)?
例6：It’s surprising, because I generally don’t feel comfortable around, well, anyone (S2E15).
5.2. 视觉模态
交际者可以利用环境中已有的任何相关因素进行交际，包括现场环境中的人和物、有象征意义的符号等。通过人物相关具有象征意义的符号，表达人物的状态和性格特征。笔者在视觉模态中色彩表现形式主要观察谢尔顿在使用反讽言语行为时的衣着，在模态使用中高达22.41%，也就是说，在每一次反讽言语行为发生时，谢尔顿人物形象在视觉上都进行了相应的配合，他总是长袖和短袖T恤叠穿，且袖口严谨地扣到最上方，显示了谢尔顿严格遵守秩序的人物性格。其次，T恤上印有谢尔顿喜欢的科学理论或动漫图画：闪电侠、脱氧核糖等构建身份象征，具有高度的辨识度，是其人物形象标志。其中绿灯侠是谢尔顿最喜欢的超级英雄之一，是宇宙中维护秩序的力量之一，身着绿灯侠的T恤在视觉模态语料中出现的次数相对频繁，在另一方面也显示了谢尔顿在生活中对规则和秩序的重视。
此外，谢尔顿在面部表情表现和眼神注视在表中占比相对较少，分别为10.43%和19.24%，呈现低表现度，谢尔顿的面部表情相对僵硬，如在表达自己的反讽得逞后，仅嘴角单侧上扬或发出微笑，避免出现大幅度表情，反映了他在社交互动中的不自然和不自在。谢尔顿的眼神注视通常直接和专注，更多得用于在说话时观察和分析，而不是建立情感联系。这些特征一起塑造了“社交机器人”的角色形象，增强了观众对角色的认同和理解。
5.3. 多模态协同
例7：It is the juxtaposition of the high-tech nature of space exploration against the banality of a malfunctioning toilet. That provides the comic fodder here (S2E22).
通过以上分析，可以看出谢尔顿反讽言语行为高度依赖语言模态，语言模态承担核心讽刺功能，辅以其他听觉、视觉等非语言模态，通过模态间的协同作用塑造谢尔顿人物形象，如例7就是典型的多模态互补的例子，当例7发生时，谢尔顿的穿着为“长袖 + 短袖T恤”，且印有“机器人印花”，面部表情单侧嘴角上扬和小幅度微笑。语言模态上，谢尔顿使用了阐述性反讽言语行为，表达自己认可拉杰的比喻是有笑点的，通过逻辑性陈述，将幽默情感转化为可分析的逻辑命题，用精确的科学术语结构日常对话。视觉模态中，典型的谢尔顿式“长袖 + 短袖T恤”的穿着，在T恤上印有机器人的印花；此外，谢尔顿单侧嘴角上扬和微挑眉弓进行微笑，这种微笑保持了一定的克制；在听觉模态中，谢尔顿“机械式”说话，显示了人物在表达情感时的不自然，最终三种模态共同作用实现谢尔顿“高智商低情商”的“社交机器人”形象塑造。
6. 总结
本文以五类言语行为理论为基础，选取《生活大爆炸》第一季和第二季谢尔顿反讽言语行为为研究语料，在多模态综合分析框架的表达层面对语言模态和非语言模态分别进行了数据分析，得出三点发现：1) 谢尔顿偏好使用阐述性反讽言语行为，频繁将刻板化的科技用语用于日常对话中，采用过度逻辑化的表达方式等强化了“高智商但不善社交”的人物性格。2) 谢尔顿反讽言语行为的实施主要通过语言模态(阐述性反讽言语行为)、听觉模态(去情感化语调)和视觉模态(僵硬肢体语言和面部表情)，这些模态共同塑造了谢尔顿逻辑性强、高智商低情商的“社交机器人”形象。3) 谢尔顿人物形象的建构是以语言模态为主导，辅以其他非语言模态协同完成的。
本研究通过定量和定性研究系统探析了谢尔顿人物形象的塑造，进一步验证多模态话语分析理论在情景喜剧的适用性，丰富语用学言语行为理论的阐释，但是研究主要集中在语言、视觉和听觉三种表现形式，对多模态综合分析框架下的其他层面并未涵盖，如文化层、语境层等。其次由于时间问题，研究并未对听觉模态下的语调进行更细致的划分，因此未来可以在本研究基础上展开进一步研究。