1. 引言
时代的发展使得人类的交际模式发生了深刻的变化，单一的语言媒介已不能满足人们的需要，人们表达情感和传达意义的方式也越来越多元化，如视觉图像、声音、动图、表情等。其中，图像作为一种重要的表意手段，与文字共同构建意义，不断给人们带来了新的审美体验。在此背景下，语言学界对图像如何建构意义的研究不断扩大，当前学界的研究主要有以下三个方面：一是理论框架的研究，如克莱斯和范·列文的《阅读图像——视觉设计语法》(1996)发展了以视觉语法为基础的社会符号学，将语言符号与其他符号相结合，并详细地阐释了由文字、图像、图表等组成的多模态语篇[1]。接着，张德禄(2009)结合克莱斯、奥托尔、奥哈拉然等人的多模态研究的成果，提出了多模态话语分析的综合框架，该框架有助于分析特定背景下多元符号如何参与意义的构建[2]。Clare Painter (2013)等学者随后在《解读视觉叙事》中从研究对象和理论框架两方面进一步丰富和完善了克莱斯和范·列文的视觉语法的理论框架[3]。二是应用型研究，如吕行(2015)对平面多模态语篇的分析[4]，陈风华(2019)结合视觉语法理论探讨了金庸小说的插画中的多模态叙事[5]，韩艳方(2024)探讨了多模态隐喻研究的前沿与展望[6]。三是跨领域研究，如冯德正和邢春燕(2011)从概念隐喻的视角分析了空间隐喻如何在多模态语篇中构建意义[7]。袁小陆和乃瑞华(2022)借助视觉语法和多模态话语分析框架对中国形象纪录片进行分析，研究中国国家形象传播多模态策略[8]。张德禄(2024)探索了教育语言学的超学科性、主题性和多模态特性，构建了教育语言学超学科性多模态语言教学模式实施程序[9]。
胡壮麟(2007)指出，多模态语篇分析是对语篇或者交际事件中出现的符号模态进行分析[10]。在多模态语篇中，语言符号和其他符号资源整合，共同协作，构建出完整的语篇或交际事件。科普漫画作为一种平面多模态语篇，是一个包括语言及图像两个符号系统的二维多模态承载体(Baldry & Thibault, 2006) [11]，它充分结合了语言系统和视觉系统的特点，在构建意义和传达意义上有其独特的优势。然而，综合国内外的研究发现，当前国内外学者对科普漫画中的语言系统和视觉系统如何共同作用从而构建意义的研究有待深入。因而，本文拟结合系统功能语言学和视觉语法等相关理论来探讨科普漫画中所体现的多模态叙事特征，以期阐释科普漫画中图像和文字如何共同作用从而构建意义。
2. 理论框架
(一) 韩礼德的元功能理论
韩礼德(Halliday)认为语言具有三大元功能，即概念功能(ideational function)，人际功能(interpersonal function)和语篇功能(textual function)。语言的概念功能又包含了经验功能(experiential function)和逻辑功能(logical function)。其中，经验功能指的是人们通过语言来反映现实的世界，根据及物性系统划分，经验功能分为六大过程：物质过程(material process)、心理过程(mental process)、关系过程(relational process)、言语过程(verbal process)、行为过程(behavioral process)和存在过程(existential process)，这六大过程囊括了现实世界中某一事件所涉及的各要素[12]；逻辑功能指的是语言对两个或两个以上的意义单位之间逻辑关系的表达(胡壮麟等，2017) [13]。而语言的人际功能则指讲话者在情景语境中表达自身的看法、观点，对事物的态度、评价以及所扮演的交际角色。至于语言的语篇功能，则指当语言在表达某一事件时受到语言自身的制约后，能表达意义的集合体则称之为“语篇”(text)。在韩礼德看来，这三大元功能是语言的普遍特征。
(二) 克莱斯和范·列文的视觉语法
在韩礼德语言系统三大元功能的基础上，克莱斯和范·列文(Kress & van Leeuwen, 2002)在其创立的视觉语法中提出了图像的三大功能，即表征功能(representational function)、互动功能(interactive function)和组篇功能(compositional function)，这三大功能分别对应了再现意义(representational meaning)、互动意义(interactive meaning)和构图意义(compositional meaning) [14]。
三大意义各自具有独特的表现方式和图像表达元素，具体而言，再现意义包括叙事的和概念两大类，在叙事的再现中，图中的元素之间形成斜线(矢量)，矢量将参与者连接起来，从而形成动作过程、反应过程、言语和心理过程，构成事件，再现语篇意义。概念的再现则对应系统功能语法中的关系过程和存在过程，可分为分类过程、分析过程和象征性过程。
互动意义体现在图像和观看者互动时存在的一种特定关系，这种关系影响图像观看者对所再现的景物的态度。互动意义的实现主要受距离、接触和视点三因素的影响。其中，距离体现了图片内容和观看者之间的社会关系，包括亲近的距离、个人的距离、社会的近距离、社会的远距离和公共距离等距离尺度(胡壮麟等，2017) [13]。接触通常表达索求或提供信息或服务，通过眼神接触完成。视点则体现在视觉角度上，仰视/俯视/平视拍摄对象所获得的象征权势(即社会地位)是不同的。此外，互动意义还受到情态的影响，情态则与人们对图像“真实度”的关注有关，通常以感官的编码倾向为出发点，基于色彩的饱和程度划分可分为高、中、低三类。
构图意义指多模态语篇的整体布局，观看者对整体语篇意义的理解受到信息值、显著性和取景三种要素的影响。图像中元素摆放位置的不同会传达不同的信息值，通常而言，已知信息放左边，新信息放右边，理想因素或概括性的实质因其重要性放在图片上方。而置于图片下方的元素则是“真实的”，指更特定的信息，如细节等，或者说更实际的信息。
(三) 分析框架模型和研究语料
上文分别介绍了语言系统和视觉系统各层次的意义体现方式，而两种符号系统之间可以通过互补协作来构建意义，从而补充单一符号系统的不足之处，罗伊斯(Royce, 2007)称这种互补协作的关系为间际互补性，这种互补性是由概念功能、人际功能和组篇功能共同形成的[15]。值得注意的是，罗伊斯认为这种互补性仅作用于语义层，实际上，符号的间际互补性不仅作用于语义层，还影响到内容层和表达层。而马丁内和萨尔维(Martinec & Salway, 2005)基于韩礼德对描述小句之间关系的概念分析了多模态语篇中语言和图像的关系，他们指出，语言文字和图像之间存在着详述、延伸和增强三种语义关系[16]。此外，奥哈罗兰(O’Halloran, 2009)指出符号间的语义关系包括对比(comparison)、增加(addition)、因果关系(consequence)和时间顺序(time) [17]。吕行(2015)为两个符号系统之间的协调合作能产生语义扩展，即两个符号系统合作所产生的意义大于两个符号各自创造的意义之和[4]。本文在第三部分将在韩礼德的语言元功能理论和克莱斯等人的视觉语法的基础上，把语言系统和视觉系统整合起来具体研究漫画中的文字符号和图像符号之间如何共同作用产生详述、延伸、增强以及表现因果关系的效果，从而阐释漫画概念意义、人际意义和构图意义的构建。
由于篇幅有限，本研究仅关注科普漫画的多模态语篇叙事。随着人类进入新时代，科普漫画在传播科学思想上扮演着越来越重要的作用。科普漫画多模态语篇指的是包括语言符号系统和视觉符号系统的向大众普及科学知识、科学思想，宣传科技政策，颂扬科技成就的语篇。与一般漫画不同，科普漫画不能过度夸张，过度夸张就无法满足科普的要求。此外，不同于科学文章和科学文献的专、精、深，科普漫画在选材时需要考虑群众的接受能力，作为传播科学的一种形式，科普漫画需要以一种让人容易理解的方式将科学知识传达出来。因而，科普漫画是连接一般群众与科学世界的重要纽带。语言符号和视觉符号作为科普漫画表达意义的两大媒介，其重要作用不言而喻，而探究这两大系统如何共同作用表达意义无疑为今后的科普方式提供借鉴。
3. 科普漫画的多模态叙事分析
(一) 图文共同作用构建概念意义
韩礼德认为，概念意义包括经验意义和逻辑意义[12]。而语言符号和视觉符号可以通过语义间的衔接从而创造出多模态语篇的经验意义和逻辑意义。罗伊斯(Royce, 2007)指出：“概念衔接包括对应关系(correspondence)、上下义关系(hyponymy)、局部–整体关系(meronymy)、反义关系(antonymy)和搭配关系(collocation)。”[15]笔者将探讨图文之间实现概念衔接所体现的关系，从而阐释概念意义的构建。
语言系统下概念意义的构建主要是通过语言及物系统过程中所涉及的参与者(participant)和环境成分(circumstantial element)实现的。图1语料取自电影《流浪地球》的科普漫画，其语言系统可归纳为表1所示：
Figure 1. Popular science picture of The Wandering Earth
图1. 《流浪地球》科普漫画
Table 1. Identified linguistic elements of Figure 1
表1. 图1的语言成分识别
| 参与者 |
过程 |
环境 |
|
心理过程 |
|
| 地球、月球、“绳子”、万有引力 |
关系过程 |
之所以能、不是因为、而是 |
| 月球 |
物质过程 |
运动方向 |
| 地球的引力、月球 |
关系过程 |
如果没有、会沿着直线方向飞去 |
| 月球 |
物质过程 |
运动方向 |
| 地球的引力、月球、地球 |
关系过程 |
有了、偏离直线方向、绕着 |
从表1可以看出，图1概念意义的构建是通过心理过程、关系过程以及物质过程得以实现的，但主要以关系过程和物质过程为主。
在对图1进行视觉符号系统分析之前，首先确定该漫画的组成部分。该漫画主要分成三部分：一个拟人化的浅蓝色大球手持一根线牵着一个小白球进行绕圈运动(上半部分)、一个拟人化的小白球上方展示着球形物体的直线运动方向(左下方部分)、球形物体在地球的牵引下改变直线运动的轨迹(右下方部分)。克莱斯等人认为视觉符号系统的表征功能与语言的概念功能相对应，并且可以实现再现意义。从视觉图像的再现意义出发，漫画上半部分有两个表征参与者，中间位置浅蓝色的球以一种控制者的姿态出现，并通过直线与左边的白球形成一种矢量关系，直线牵引着小白球运动形成了弧形轨迹，这表明了中间的大球对左边的小球产生一定的作用，因此象征着动作过程。再从漫画的颜色来看，上半部分主要包含了蓝、浅蓝、黑和白四种颜色，参与者身上的颜色表现了其身份特征，因而这是一个象征性过程。漫画左下方部分则为一个拟人化的小白球指着上方沿着直线运动的球，从球的运动方向来看，球是沿着直线运动的，因此该行为是一个动作过程。此外，在运动的过程中，该部分小球的颜色在蓝白色之间相互变换，因此漫画的这部分向观察者暗示大蓝球对小白球有影响力，故体现了象征性过程。漫画的右下方部分则展示了在地球引力的作用下，小白球变换直线运动为绕地球运动，因而为运动过程。其中三条箭头都一致指向地球，这表明了地球的作用力，而根据常识可知，地球的万有引力会对其他球体产生作用，从而改变其运动轨迹。在该部分，地球是由蓝、白、绿三色组成，这三种色彩的比例和位置与日常所见的地球仪相似，因而是象征性的过程，故观察者从右下方部分可以判断出该球体为地球。从对视觉符号系统的分析可以得出概念意义的构建是通过运动过程和象征过程得以实现的。
上文已分别分析语言系统和视觉系统的各组成要素，现将对这两个系统进行整合，分析如下：首先，在漫画的上半部分，漫画中的语言系统和图像系统是成对应关系，图像中月球在地球引力的作用下绕地球运动，这与下方文字解释月球绕地球运动的原因是一致的。然而，若没有语言符号的说明，观察者则不明白这部分所要传达的意义，只能根据自身的经验对其加以想象，因而，文字符号对图像符号起到了详述的作用。反之，图像符号的动作过程和象征性过程增强了文字符号的表现力。
其次，漫画下半部分也是一种对应关系，其形成是一个动态的过程。左下方部分漫画表现了月球在没有地球引力的作用之下会沿着直线运动，右下方部分则体现了在地球引力的作用之下月球改变其原来的轨道而绕地球运动，从左到右的变化是从无地球引力到有地球引力的过程。在这一部分，文字符号和图像符号之间互相延伸、互相增强彼此的意义，并通过动态的过程展现了地球引力与月球运动的因果关系。通过以上的分析，该漫画的语言系统和视觉符号系统相互作用实现了详述、延伸、增强作用以及表现了因果关系的效果，并通过对应关系来实现意义的整合，从而构建概念意义。
(二) 图文共同作用构建人际意义
科普漫画属于平面多模态语篇，通过语言符号和图像符号在交际过程中扮演的角色和各自表现出来的态度来构建多模态语篇的人际意义。在考察科普漫画语篇的人际意义时，主要看语言系统和图像系统在交际的过程中与读者的互动效果是否一致，两种符号系统是达到相互巩固还是互相矛盾。态度方面主要通过两个系统情态值的一致性来体现。
根据系统功能语法，人际功能是语言的三大元功能之一，最基本的任务就是给予与索取交际中的“交流物”(commodity exchanged)，包括物品和服务(goods & services)以及信息(information)，可进一步分为四种最主要的言语功能：提供(offer)、命令(command)、陈述(statement)和提问(question)。语言的情态通过“讲话人对自己讲的命题的成功性和有效性所作的判断”来体现(胡壮麟等，2017: p. 146) [13]，分为高值、中值和低值三个等级。
在视觉语法中，人际意义涉及图像参与者(表征参与者和互动参与者)之间的社会关系以及这些参与者对彼此和语篇的态度取向。互动意义主要通过接触、社会距离、态度和情态四个要素体现。
Figure 2. Popular science picture of Tu Youyou
图2. 《屠呦呦》科普漫画
《屠呦呦》科普漫画，见图2，其语言识别成分可归纳为表2所示，见表2：
Table 2. Identified linguistic elements of Figure 2
表2. 图2的语言识别成分
| 参与者 |
过程 |
环境 |
| 阿U |
言语过程 |
|
| 红细胞、疟原虫 |
物质过程 |
人体 |
该漫画的人际意义的构建包括言语过程和物质过程，主要是通过言语角色的单一陈述实现的，体现为言语角色只有单方面给予信息，而没有向图片观看者索取信息。在情态方面，说话人使用陈述语气，通过频率副词“又”，可以确定该命题为断言性判断，属于高情态值。
从该图的视觉符号系统进行分析，首先可以确定该语篇中有三个主要的视觉图像单位：在右侧说话的阿U、正在被入侵的红细胞和正在涌入红细胞的疟原虫。图像表征参与者阿U目光向后斜瞥，望向疟原虫和红细胞，没有与读者直接进行视觉接触，再加上手指指向与目光方向一致，表明是在吸引读者注意，为读者提供信息。同时阿U以侧面角度面对读者且目光与图片观看者处于同一水平面，表明图像创造者希望读者关注疟原虫涌入红细胞的过程和与图片观看者的平等社会地位。在图像取景方面，图像创造者只画出了阿U的身体上半部，为近距离取景，要求读者接入的程度强烈。在情态方面，该漫画虽然颜色明亮，但背景和对细胞和疟原虫构造刻画简单，属于对要表征的科学世界的抽象反映。值得注意的是，不同的语境对图像真实度的标准有不同的要求。自然化世界和科技化世界情态高低的标准恰恰相反。对于科普性的图像来说，越是抽象、与真实世界相反的表达越是能够相对真实地反映科学世界(吕行，2015) [15]。通过以上分析，可以判定该幅科普漫画具有高情态，有效地起到了描述和解释作用。
此幅图片的语言系统和视觉系统都传达了疟原虫涌入红细胞的信息，两个系统在交际中扮演角色一致。在态度趋向方面，两个符号系统都属于高情态值，表达的态度趋向一致，构建了相同的人际意义。
(三) 图文共同作用构建组篇意义
“话语与造型相互依赖，因为在两个概念中的任何一个都存在于另一者中，而不是消除它或取而代之，并且在任何时候也不会达到与对方的均衡、综合，或清晰地与对方分离”(阿莱斯·艾尔雅维茨，2003: p. 83) [18]。科普漫画属于平面多模态语篇，所以其语篇的组篇意义是通过语言符号系统和图像符号系统共同作用，在语篇的内容层上进行整合和互补来构建意义的。意义的表达则是两个系统通过排版对图像与文字的概念意义和人际意义进行搭配得以实现。
克莱斯和范·列文根据系统功能语法中语言的组篇意义对应提出了多模态语篇的构图意义。构图意义包括信息值、取景和显著性三个维度。通过整合视觉图像系统和语言系统对多模态语篇产生的共同作用，我们可以得出多模态语篇的组篇意义主要通过显著性、框架和图文关系三种资源共同作用得到表达(显著性、框架和图文关系是实现多模态语篇组篇意义的主要手段)。显著性是指各符号系统在整个语篇中占据空间的相对大小、被放置在前景或背景以及色彩的对比。取景指的是多模态语篇中各符号系统是否被边框、边界或是可见的几何形状分割(吕行，2015) [4]，是否使各个符号联系或分离开来。就图文关系而言，马丁内和萨尔维(Martinec & Salway) [16]和奥哈罗兰(O’Halloran, 2008) [17]分别对图文关系进行了总结，根据这三位学者的观点，我们可以把图文之间的关系归纳为详述、延伸、增强以及表现因果关系的效果。
图3语料是对5G多种功能之一的描述。
Figure 3. Multi-functions of 5G
图3. 5G多种功能
5G网络是第五代移动通信网络的简称，是当今时代科技的重大革新，具有高速度、泛在网、低功耗、低时延、万物互联和重构安全等特点。图3所展示的是5G传递不同信息的能力的大小。简单来说，传递信号时，每个频道中可以有很多种相近的信号，每一组信号的频率之间必须有间隔来避免相互干扰。而5G技术可以在每一组信号的频率非常接近的情况下，避免相互之间这种干扰的产生。这幅科普漫画将每一组信号频率大小比作不同的口红色号，把从前的信息接收者和5G拟人化，生动地表达了5G在传递不同信息上具有巨大的潜力。
从显著性上来看，图像占据了整个语篇的绝大部分，占据主要地位，文字占据的篇幅相对较小，这样的图文布局能够吸引图片观看者的对图像的关注。通过从前信息接收者与5G接收者的不同的颜色和拟人化形象的对比，图片观看者能够对这两者的身份一目了然。
从取景上来说，多模态语篇的语言符号被放置在语泡中，通过语泡框使其与其他符号资源隔开。但同时，语泡又与拟人化的信号接收者之间形成矢量，连接在一起，起到解释说明图像的作用。图像反过来又是文字描述的信息的呈现。如此一来，图像与文字被有机地联系在一起，构成了一个有意义的语篇整体。
从图文关系上来说，在这幅漫画中，每一组信号的频率被比喻成不同的口红色号，文字对色号的说明，起到了解释图片的作用，是对图片信息的详述，能够让图片观看者更好了解到5G信号处理能力的强大。而新旧信息接收者被拟人化处理，文字对拟人化图像进行标识，在文字的帮助下，读者能够更好的了解它们所代表的身份，此时文字起到延伸图像含义的效果。
Figure 4. C919
图4. C919
就图文关系而言，在图4中，我们可以看到一架刷有C919文字的大飞机在在地球上空航行六大洲。图片下面有文字说明，其中关键词还被标成卡迪兰橘放大凸显出来，吸引了图片观看者的注意力。图中文字表述的是C919大飞机是按国际适航标准设计，在安全方面有充分保障；图六的图像系统的主要表征参与者是正在航行的C919大飞机和陆地上遥望大飞机的小鸡仔群。因此可以看出，大飞机之所以能够在国际航行是因为C919完全按照国际适航标准设计，安全性毋庸置疑。此时，语言符号系统表征的意义是图像符号系统表征意义的诱因，因此，两者之间是因果关系。
Figure 5. Comics of Working Cells
图5. 《工作细胞》漫画
图5选自漫画《工作细胞》，图中文字部分是中日双语对血小板功能的介绍，表述的内容是血小板是血液的细胞成分之一，在血管损伤时集合起来堵住伤口止血；图片上半部给出血小板萌化处理的拟人化特写，给人耳目一新之感，能够引起读者的阅读兴趣。再加上文字对图像特写的说明，读者很容易对血小板有大概的了解。此时，文字对图像起到增强作用。图片下半部分的主要表征参与者是很多个被萌化的血小板，她们手里要么抱着篮子，要么抬着一个大包裹，不仅说明血小板的通过堵住伤口止血的功能，还说明止血时需要很多血小板。因此，图像也对文字起到了增强的作用。
4. 结语
“系统功能语法不只是语言符号系统的语法，也是可以描述和解释所有社会符号系统的语法”(辛志英，黄国文，2010) [19]。在这个基础上，克莱斯和范·列文对应提出视觉语法来分析视觉符号。与科普文章、专著不同，在科普漫画中，语言不是凌驾于图像之上，图像对抽象难懂的语言又起到解释等作用。在整个科普语篇中，语言符号系统和图像符号系统两相结合、协作互补，在共同作用下产生大于各自系统制造的意义之和的语义，在内容层构建出一个内容连贯、通俗易懂的语篇，将复杂难懂的科学知识传播给大众的同时，引起读者的关注与思考，较好地达到了科普漫画的叙事目的和交际目的。