1. 引言
随着信息技术的发展和教育改革的推动，教材内容呈现出越来越显著的多模态特征。《普通高中英语课程标准(2017年版2020年修订)》指出，英语教学中应多使用多模态语篇，强调关注语篇中的多模态资源，培养学生的多模态阅读能力。这表明多模态话语分析理论能够适应现代教育的需求，帮助理解和利用教材中的多模态资源。
多模态话语分析旨在探讨非语言符号及其系统的内部特征，并解决实际或实践性问题。研究生土木工程专业英语教材作为特定领域的教学材料，运用多模态分析方法，探究教材中的多模态元素(如图表、图片、符号等)如何协同工作、构建意义是具有实际教学应用价值的研究问题。
作为跨学科的研究领域，多模态话语分析理论涉及语言学、教育学、社会学等多个学科。本研究以Kress & van Leeuwen (2006)的视觉语法理论为基础，探讨土木工程专业英语教材的多模态特征，并分析文字、图像与颜色等模态如何在构建语篇意义中相互作用、不同模态如何配合完成教学目标，从而提升教材设计的质量，使之更加符合学生的学习需求和认知习惯。通过这一研究，旨在深化对教材多模态性的理解，并为教学实践和教材开发提供理论支持和实践指导，以期促进不同学科之间的交叉融合，为土木工程专业英语教学提供新的视角和方法。
2. 文献综述
作为多模态话语分析最早的研究者之一，R. Barthes在1977年发表的论文《图像的修辞》(Rhetoric of the image)中探讨了图像在表达意义上与语言的相互作用；Kress, G. & van Leeuwen, T. (1996; 2001; 2003) 研究了模态与媒体的关系，专门探讨了多模态现象规则地表达意义的现象，包括视觉图像、颜色语法以及报纸的版面设计和不同媒介的作用等(张德禄，2008) [1]。
20世纪90年代西方兴起的多模态话语分析，弥补了此前话语分析理论忽视图像、声音、颜色、动漫等其他意义表现形式的局限性(朱永生，1992) [2]。生命科学的研究成果表明，生命体在演化过程中逐步获得眼睛、耳朵、鼻子、舌头及皮肤这五种不同的感知通道，进而衍生出视觉模态、听觉模态、嗅觉模态、触觉模态及味觉模态五种交际模态。其中，与话语分析联系最紧密的是视觉和听觉模态。
本文选取的多模态话语分析理论框架为视觉语法理论。该理论主要源于韩礼德的系统功能语言学，着眼于语篇的概念意义、人际意义及语篇意义，并由此提出视觉符号的三大功能，即再现意义、互动意义及构图意义。而教材分析是近年来兴起的一个跨学科的研究领域，通过梳理近年来运用多模态话语分析理论进行英语教材语篇分析的研究，总结研究热点如下。
3. 多模态话语分析
3.1. 国外研究现状
总的来说，近五年国际多模态话语分析已从系统功能语言学的一个分支发展成为一个跨学科研究领域。国外多模态话语分析主要集中于以下三个热点研究主题：1) 数字化多模态教育研究；2) 社交媒体话语研究；3) 跨文化与超文化话语研究。
3.1.1. 数字化多模态教育研究
语言教学是多模态教学研究的重点。基于New London Group (1996)的多元读写概念，语言教学系列研究关注如何促进学生数字素养的发展，例如数字叙事(digital storytelling)在二语课堂中的应用、数字多模态写作(digital multimodal composing)等等。同时，近年来多模态教学的关注点逐步向其他学科拓展。例如，有学者基于社会符号学和系统功能语言学，构建了多模态学科文化素养(multimodal disciplinary literacy)框架，旨在指导高中生物、化学、物理等学科的教学实践。
随着数智时代的到来，未来多模态教育研究还可以探索新兴技术，如虚拟现实、增强现实、人工智能等对教学设计、过程和效果等方面的影响。
3.1.2. 社交媒体多模态话语研究
社交媒体的发展催生出大量新的模态和符号，如表情符号、自拍和话题标签等。以Michelle Zappavigna为代表的学者提出了一系列框架，用于分析社交媒体中的新模态和新符号，如话题标签等。同时，不少研究者关注社交媒体中身份多元化的多模态建构与表达，包括难民、移民以及女性等群体的网络身份研究。例如考察这些群体在数字空间中的交流模式、身份认同和心理需求，尤其是女性的数字自我表达。
3.1.3. 跨文化与超文化多模态话语研究
多模态跨文化对比研究以新媒体话语为主要研究对象，如中国香港地区食评的排版布局、内容和多模态符号资源的对比。也有学者关注文化间的互动，例如研究单类模态资源(如手势)在跨文化互动中的作用，或分析多种模态资源(如手势、面部表情等)如何共同构建跨文化互动等。
综上所述，近年来，多模态话语分析理论与方法进一步融合创新，逐步由系统功能语言学的一个分支发展成为多学科的研究领域，即逐步融合认知语言学、语用学、文体学等语言学理论以及生态学、传播学等其他学科理论。同时，研究主题聚焦数字化多模态教育、性别身份、跨文化交际等当下社会问题。随着大数据和人工智能的新发展，多模态话语分析方法有望实现更为革命性的创新和演变，为解决其他学科的研究问题提供新的路径。
3.2. 国内研究现状
3.2.1. 多模态语篇
Kress与van Leeuwen (1996)的社会符号学为多模态话语分析提供了分析路径。该分析框架包括表现意义、互动意义和组篇意义三个维度，考察图像、颜色、线条、声音等视觉符号的语义关系和交际功能。
国内早期研究(如李战子，2003；朱永生，2007；胡壮麟，2007) [3]主要探讨多模态话语的产生、定义及分析方法。近年来，国内学者逐渐尝试建立适用于各类语篇的分析框架，如张德禄(2009/2018) [4]先后尝试构建一个将系统和功能综合为一体的多模态话语分析模式。也有学者提出了多模态批评话语分析框架，侧重研究交际者如何利用多模态实现交际意图和社会活动(田海龙，2018) [5]；黄立鹤(2019) [6]将言语行为理论融入多模态研究，分析交际者情感态度对言语交际和语义推理的影响。
同时，多模态话语分析理论逐步向跨学科方向发展，与生态学、神经科学、心理学以及人类学等多个学科相融合。例如构建多学科理论融合的多维综合分析框架，如心理学视角的多模态分析，以及语言学、心理学、神经科学、设计和符号学等领域理论的跨界融合。
除此之外，多模态话语分析的研究对象日趋多元化。国内不少学者对电影、影视剧、戏剧、小品、新闻、天气预报、广告、海报、封面、海报、杂志、logo (徽章)、绘本、课堂话语、司法话语及小说等素材中的多模态静态与动态语篇陆续展开了研究，以期说明多模态之间是如何协同运作以实现语篇整体意义，如赵秀凤(2013/2020) [7]、王天翼等(2015) [8]、余忆萍等(2016) [9]、周思邑(2020) [10]等。
3.2.2. 多模态隐喻
多模态隐喻研究的最初起源于20世纪50、60年代，直至1980年代末，Forceville (1988)等学者提出多模态隐喻的观点，创建了基本的分析范式，初步确立了多模态隐喻的学科地位。近年来，在认知科学思潮的主导下，多模态隐喻研究与语用学、认知心理学、多模态论辩等相结合，扩展了研究视角和维度。我国学者倾向于以电影、广告、政治漫画等为语料进行研究(如王天翼等，2015) [8]。但国内有关多模态隐喻的研究主要以应用研究为主，其他研究方法有待进一步扩充。
3.2.3. 多模态教学及写作
从教学层次上看，多模态教学覆盖了基础教育及高等教育的教学活动。戴慧敏(2020) [11]针对高等教育中的多模态教学进行了探讨，揭示了不同教育阶段中多模态教学的特点和挑战。从教学流程上看，多模态教学涵盖了听说读写译等多项语言技能。从研究对象上看，多模态教学涉及PPT、课堂话语、教学模式、教材编写、设计等教学内容(刘凤贤，2019) [12]，揭示了多模态教学在不同教学内容中的应用和效果。
教材分析是近年来兴起的一个跨学科的研究领域，Weninger和Kiss (2015) [13]总结了教材分析的三大框架：内容分析、批评话语分析和多模态分析。部分学者关注英语教材的研究，例如Feng (2019) [14]以多模态认知评价分析框架分析了19种中国香港地区英语教材的社会价值观表征及个体发生学的发展变化态势；Xiong & Peng (2021) [15]通过分析教材图文关系和文化价值观，对比了两套对外汉语教材的文化价值表征特点。
其中，“写作”是多模态的研究热点。一方面，不少学者关注写作过程的多模态特征并提出了一些教学设计建议。另一方面，部分学者关注教学过程的研究(韩子满，黄广哲，2023) [16] [17]。以上研究为更准确地评估多模态教学的效果、进一步优化教学方法提供了科学依据。
3.2.4. 多模态视觉语法研究
国内学者们将视觉语法应用于不同的多模态材料分析中，从图文的再现意义、互动意义以及构图意义进行分析。研究对象包括海报(杨嘉玲，2020) [18]、宣传片、城市短视频(许慧敏，黄浩平，2022) [19]等。以往研究中，静态分析较多，运用多模态视觉语法分析动态的题材较少，因而还有待探讨和研究。
3.2.5. 多模态语料库研究
针对多模态语料库的研究包括多模态语料的采集、转写、切分、标注与建库等。代表性研究有阐述中国传统故事多模态语料库的建设意义、构建流程、技术路线等要素、创建手语多模态语料库(张艳琼，朱兆松，赵晓驰，2023) [20]等。同时，如大学英语口语、口译多模态语料库和汉语儿童多模态口语语料库等小型多模态语料库得以建立。总体而言，国内多模态语料库研究仍有较大发展空间。
综上所述，国内已有研究往往是以内容分析为基础的对不同教材的对比分析，而运用多模态分析方法进行教材研究的较少。鉴于此，本文采用多模态话语分析和语料库语言学相结合的研究方法，选取研究生土木工程专业英语教材为研究对象，对其再现意义、互动意义及构图意义展开分析，挖掘教材图文意义及文化价值观，以期对已有研究进行补充。
4. 研究设计
4.1. 研究对象
本研究选取的教材是高等学校土木工程专业“十三五”规划教材，教材名称为《土木工程专业英语》(中国建筑工业出版社)，该教材为面向土木工程硕士研究生的专业英语课程用书。内容涵盖结构工程、桥梁工程、施工管理、岩土工程等核心领域。研究聚焦于该教材阅读部分中的68张图像，排除装饰性图标、重复图像及非教学性插图。图像类型包括：实景照片(如施工现场)、示意图(如结构受力图)、流程图(如施工流程)、表格配图(如材料性能对比图)等。
4.2. 研究方法
本研究采用定量统计与定性案例分析相结合的方法，具体步骤如下。
4.2.1. 编码框架
基于Kress & van Leeuwen (2006)的视觉语法理论，建立三级编码体系：
Table 1. Coding framework [1]
表1. 编码框架[1]
意义维度 |
一级指标 |
二级指标 |
操作性定义 |
示例 |
再现意义 |
叙事再现 |
动作过程 |
存在矢量(如箭头、手势)连接参与者 |
工人操作起重机图 |
|
|
反应过程 |
目光矢量连接反应者与现象 |
工程师观察裂缝图 |
|
概念再现 |
分类过程 |
上下级或同级关系(如分类图) |
桥梁类型示意图 |
|
|
分析过程 |
部分–整体关系(如结构分解图) |
钢结构节点详图 |
互动意义 |
接触 |
提供 |
无目光接触 |
施工现场全景图 |
|
|
索取 |
人物直视读者 |
工程师讲解图 |
|
社会距离 |
近距离 |
人物胸部以上特写 |
材料特写图 |
|
|
中距离 |
人物全身或场景 |
施工团队合影 |
|
|
远距离 |
广角场景 |
桥梁远景图 |
|
视角 |
平视 |
水平视角 |
标准结构图 |
|
|
俯视/仰视 |
垂直视角 |
高空俯拍基坑图 |
构图意义 |
信息值 |
中心–边缘 |
核心元素位于中心 |
结构受力中心图 |
|
显著性 |
高/中/低 |
通过颜色、大小、对比度判断 |
红色高亮裂缝图 |
|
框架 |
有/无分割 |
是否存在线条或色块分割 |
分栏对比图 |
4.2.2. 数据收集与处理
(1) 图像提取：将教材PDF版中的68张图像逐页导出，编号为01至68。
(2) 图像编码：编码完成后，交由专家学者检验，：对不一致的编码(如某图是否为“动作过程”)通过小组讨论(作者 + 土木工程专业学生 + 导师)最终确定。
(3) 数据分析：定量分析使用Excel计算各维度占比；定性分析选取典型案例进行多模态协同分析，探讨图像如何与对应文本协同构建意义。
4.3. 研究问题
(1) 研究生《土木工程专业英语》教材的再现意义、互动意义及构图意义占比情况及其产生原因如何？
(2) 本研究对土木工程专业英语教学及教材编写有何价值？
5. 结果与讨论
根据研究结果(见表2)，研究发现土木工程专业研究生英语教材编写的多模态特征如下：
Table 2. Classification, quantity and proportion of the three major meanings [2]
表2. 三大意义的分类、数量及比例[2]
合计 |
图像的三大元功能意义 |
数量(张) |
占比(%) |
再现意义 |
叙事再现 |
68 |
|
动作过程 |
25 |
36.8% |
反应过程 |
8 |
11.8% |
言语和心理过程 |
4 |
5.9% |
概念再现 |
68 |
|
分类过程 |
6 |
8.8% |
分析过程 |
24 |
35.3% |
象征过程 |
1 |
1.5% |
互动意义 |
接触 |
68 |
|
提供 |
68 |
100.0% |
索取 |
0 |
0.0% |
社会距离 |
68 |
|
近距离 |
0 |
0.0% |
中距离 |
62 |
91.2% |
远距离 |
6 |
8.8% |
角度 |
68 |
|
正面 |
7 |
10.3% |
侧面 |
4 |
5.9% |
平视 |
47 |
69.1% |
俯视 |
4 |
5.9% |
仰视 |
6 |
8.8% |
构图意义 |
信息值 |
68 |
|
上 |
0 |
0.0% |
下 |
1 |
1.5% |
左 |
0 |
0.0% |
右 |
1 |
1.5% |
中间 |
66 |
97.1% |
|
取景 |
68 |
|
有分割线条 |
21 |
30.9% |
无分割线条 |
47 |
69.1% |
5.1. 再现意义
在再现意义方面，体现叙事再现的图像数量与体现概念再现的图像数量相当，但叙事再现较多于概念再现。在所选的68张图像中，有37张属于叙事再现，31张属于概念再现。在教材中，叙事再现和概念再现的占比相当，意味着教材在传达知识时既重视动态过程的展现，也重视对概念和分类的稳定描述，以实现对知识的全面覆盖。同时，教材作为教育工具，其目的是全面而均衡地传授知识。叙事再现能够帮助学生理解知识的发展脉络和应用场景，而概念再现则有助于学生构建对概念的深刻理解和分类。两者的平衡有助于学生形成完整的知识结构，既能够理解知识的应用，也能够掌握知识的本质。不同的学生可能对叙事再现和概念再现有不同的偏好。叙事再现适合于擅长通过故事和情境来学习的学生，而概念再现更适合擅长逻辑分析和分类的学生。教材中两者的平衡，可以适应不同学生的学习风格，提高教学的包容性。鉴于此，教材中叙事再现(尤其是动作过程)占比较高，教材编撰建议增加概念再现的内容，特别是分类过程和分析过程，以帮助学生更好地理解土木工程的理论知识和分析方法。
5.2. 互动意义
关于互动意义，教材中呈现的接触关系主要是提供。首先，图像中的“提供”类接触关系意味着图像的主要功能是向观看者传递信息，而不是要求观看者采取行动或与图像中的元素建立更深层次的互动。这种关系强调了图像作为知识传递工具的角色，特别是在教育教材中，图像往往用来展示事实、概念或过程，而不是激发情感或行动。其次，在教材中，图像作为提供信息的媒介，通常需要保持一定的客观性和中立性。通过“提供”类接触关系，图像呈现的信息更加客观，避免了直接的目光接触可能带来的主观性和情感色彩，这有助于学生以一种更加理性和分析的方式理解教材内容。同时，在多模态话语分析中，互动意义涉及到图像与观看者之间的关系构建。图像中的“提供”类接触关系构建了一种单向的信息传递关系，观看者作为接收者，而不是参与者，这有助于保持教材的权威性和教育性。此外，互动意义中，体现近距离的图像占比为50%，近距离图像占比有助于构建与读者之间亲近的关系，更有助于信息传递。由于目前互动意义中的“提供”占比100%，而“索取”为0%，因此建议教材设计时增加互动环节，如提问、讨论和案例研究，以提高学生的参与度和思考能力。与此同时，教材中的图像主要以中距离为主，建议增加近距离和远距离的图像，以提供不同的视角和深度感，帮助学生从不同角度理解土木工程项目。另外，平视图像占比较高，建议增加正面、侧面、俯视和仰视的图像，以丰富教材的视觉表现力，帮助学生形成立体的空间认识。
5.3. 构图意义
关于构图意义，相对于上、下、左、右位置，位于页面中部的图像占比最大。根据Kress和Van Leeuwen的视觉语法理论，图像中的元素位置承载着不同的意义。中心位置通常含有主要信息，而边缘则承载次要信息。因此，当教材中的图片在构图上强调中心时，这意味着图片的中心区域被赋予了较高的信息价值，是传递信息的关键部分。强调中心的构图手法可以引导观看者的视线，使其自然地聚焦于图片的中心区域。这种视觉焦点的设置有助于突出教学内容的重点，使得学习者能够快速识别和理解教材想要传达的核心概念。此外，统计结果表明，无分割线条的图片远多于有分隔线条的图片。这表明，首先，无分割线条的图片通常更加简洁，能够直接突出主题，减少视觉干扰。在教育材料中，这种简洁性有助于学生更快地抓住图片所要传达的核心信息，从而提高学习效率。其次，无分割线条的图片往往能够提供更加连贯的视觉体验，有助于构建一个统一的视觉场景。在语言学习材料中，这种连贯性有助于学生更好地理解和记忆与图片相关联的语言内容。第三，从教育心理学的角度来看，无分割线条的图片可能更符合学生的认知发展阶段。这种构图方式有助于学生形成整体性的认知结构，促进深度学习和长期记忆的形成。因而，基于以上对构图意义的分析，本文对未来教材编撰提出以下建议：一方面，图表显示信息值主要集中在中间部分，后续建议在构图时考虑信息的均衡分布，同时增加有分割线条的使用，以更好地引导学生的视线和强调关键信息。另一方面，考虑到图像的三大元功能意义，建议在教材中加强图像与文本内容的整合，确保图像能够有效地支持和补充文本信息。
总之，《土木工程专业英语》的多模态分析表明，叙事再现和概念再现共同作用，传递了土木工程的实践知识和理论知识；互动意义通过提供信息和适当的社会距离，鼓励学生作为信息的接收者参与学习过程；构图意义通过信息值、显著性和框架，引导学生的视线和思考，突出教学重点。因而，图片作为一个多模态元素，与教材中的文字内容相结合，共同构建了教材的整体意义，使得学生能够在视觉和文本的互动中获得更全面、深入的学习体验。
6. 结语
本研究在多模态话语分析理论指导下，对高等学校土木工程专业“十三五”规划教材《土木工程专业英语》的再现意义、互动意义及构图意义进行深入解读。研究发现，大量的图片与语言同时存在，与文字语言相互支撑，一起参与了意义构建。
鉴于此，基于上述研究结果，结合Karl Maton提出的合法化语码理论(Legitimation Code Theory, LCT)，本文为教学及教材编写提出以下建议：在教学方面，第一，教师在教学过程中应平衡叙事再现和概念再现的教学方法，强化知识语码教学，提升学生专业素养。一方面，教师在授课过程中，对于土木工程专业英语中的关键术语，要进行精准、详细的讲解。同时，在教学中使用更多近距离图像，以构建与学生之间的亲近关系，增强信息传递的效果。另一方面，教师应做好知识体系构建引导，可以通过绘制知识结构图、制作思维导图等方式，将分散的词汇、语法知识和专业概念乃至不同章节进行整合。第二，关注知者语码培养，促进学生全面发展。教学中，教师要善于将土木工程专业英语知识与实际生活和工程案例相结合。第三，运用精英语码教学法，提升教学效果。在教学中运用科学动画、多媒体课件等多模态教学资源，帮助学生更好地理解复杂的土木工程概念和过程。例如，在讲解土木工程结构的受力分析时，利用动画演示结构在不同荷载作用下的变形和应力分布情况，使学生能够直观地理解抽象的力学概念。
在教材编写方面，第一，教材应平衡知识语码与知者语码。一方面，在知识语码角度，教材在重视系统性知识呈现的同时，应针对土木工程专业特点，设计具体的语言技能训练模块。比如，在工程图纸阅读技巧方面，编写详细的步骤指导，从如何识别图纸中的基本符号(各种线条和标注符号)，到如何运用专业英语词汇描述图纸内容，使学生能够系统地掌握专业英语的运用技能。另一方面，在知者语码角度，在教材中设置开放性问题和讨论话题、设计批判性阅读和写作任务有助于激发学习者主观能动性。第二，教材应优化教材结构，从模块循环设计与语义波动设计出发，促进累积式知识建构。一方面，按照“概念–解包–重新打包”的循环模式组织教材内容。以土木工程结构分析为例，首先介绍结构分析的基本概念(如“static analysis (静力分析)”和“dynamic analysis (动力分析)”)，进而通过具体的工程案例(如对一座桥梁进行静力分析，展示其受力情况和计算过程)来解包这些概念，让学生理解概念在实际中的应用。最终引导学生将所学的概念和案例知识重新打包，通过设计一个小型的结构分析项目(如分析一个小型建筑的结构稳定性)，让学生综合运用所学知识，完成从概念理解到实际应用的完整循环。另一方面，在教材整体结构中设置多个层次的循环过程。除了上述提到的基本概念循环外，还可以在每个章节内部设置小循环。例如，在介绍土木工程施工技术的章节中，对于每一种施工技术(如“concrete pouring (混凝土浇筑)”技术)，先介绍其基本概念和操作步骤，然后通过实际施工场景的图片和视频资料进行解包，最后通过让学生设计一个小型的混凝土浇筑施工方案来实现重新打包，使学生在不同层次的循环中逐步积累和深化知识。与此同时，在教材编写中，需合理安排语义引力和语义密度的波动。对于抽象的土木工程专业术语，先通过简单的定义和类比来强化语义引力，使其易于理解(例如将其类比为将一个复杂物体分解成许多小的单元进行分析)。继而通过详细的案例分析和计算过程，逐渐增加语义密度，让学生深入了解其在土木工程中的应用和重要性。这种语义波动的设计有助于学生在理解与深化知识之间找到平衡，避免因知识过于抽象或过于复杂而难以掌握。此外，应重视图像的构图，将核心信息放在页面中心位置，以引导学生的视线聚焦于重要内容。同时，也应注重多元化构图方式，建议在构图时考虑信息的均衡分布，增加有分割线条的使用，以更好地引导学生的视线和强调关键信息。
通过以上建议的实施，以期提高研究生土木工程专业英语教材的教学质量，增强学生的学习体验，促进多模态教学的长远发展。
基金项目
武汉工程大学第十六届研究生教育创新基金(CX2024178)。
NOTES
*通讯作者。