1. 引言
模态(modality)作为交流过程中构建意义的符号资源，涵盖了语言、视觉、听觉、触觉、嗅觉等多种表现形式。随着媒体技术的不断进步，单一的文字模态已经无法满足人们对于复杂信息表达的需求，因此，多模态(multimodality)，即多种模态的组合，成为了学术研究和实践应用中的一个热点领域。多模态研究不仅关注不同模态如何独立传递信息，更重视它们如何协同工作，共同构建意义。
旅游宣传片是一种典型的多模态话语形式，它通过语言文字、图像、声音等多种符号资源的融合，塑造了旅游目的地的形象，激发了观众的旅游欲望。这种多模态的传播方式，因其能够提供更为丰富和直观的体验，在旅游业中扮演着越来越重要的角色。河南省，作为中国历史文化的重要发源地之一，不仅拥有众多的自然景观和人文遗产，更承载着深厚的文化底蕴。这为河南省的文旅形象塑造提供了得天独厚的条件。
基于此，本文选取官方发布的两部河南文化宣传片——《行走河南·读懂中国》和《豫见中国 老家河南》作为研究对象，综合使用及物性和视觉语法理论，运用定量与定性分析相结合的研究方法，对两部宣传片中的语言模态的及物性特征和视觉模态的三大意义分布进行对比分析，旨在揭示它们在构建河南文旅形象方面的异同及其原因。一方面，这样的分析有助于推动河南文旅产业的发展，提升文旅形象的传播成效，为河南文旅部门制定更加有效的形象推广策略提供依据，塑造出具有鲜明特色与强大吸引力的河南文旅品牌。另一方面，这种分析能够促进文化的传承与交流，为受众理解和鉴赏动态视频提供了全新的视角，增强了文化的传播力和影响力。
2. 文献综述
多模态话语分析(Multimodal Discourse Analysis，简称MDA)以语篇分析理论为基础，于20世纪90年代兴起于西方，近年来成为了国内外话语分析研究的热点。
国外研究多模态的代表学者有Roland Barthes [1]，Michael O’toole [2]，Kress & van Leeuwen [3]，Forceville [4]，Lemke [5]等，他们为多模态领域做出了巨大的贡献。关于国外最新的多模态进展，Banjar研究了三位具有影响力的沙特女性在社交媒体上的广告话语，从多模态批评性话语分析角度探究她们如何使用不同的话语策略与观众建立联系，展示权力[6]。Putland结合视觉语法和符号学理论，利用人工智能生成痴呆症图像，对这些图像进行多模态对比研究，拉近了观众与痴呆症患者之间的情感距离[7]。Groenewold以6名失语症患者为研究对象，讨论他们在日常生活中如何使用手势、面部表情等多模态资源进行交流，为失语症的临床治疗提供启示[8]。
首先将多模态引进国内的学者是李战子，她首次系统地介绍了Kress和van Leeuwen的视觉语法，并指出了多模式话语分析的教学意义[9]。随后，胡壮麟[10]、朱永生[11]、张德禄[12]等研究者也在该领域进行了一系列相关研究。除此之外，近年来多模态的发展出现了多角度和跨学科性。胡开宝对多模态外交话语的界定和分类进行了分析，并在此基础上探讨了多模态外交话语的特征及其翻译原则[13]。王振华从社会符号学的角度出发，结合系统功能语言学的语类思想和多模态语篇分析视角，探讨在从庭审话语到判决书的过程中意义的产生、流变以及导致流变的因素[14]。刘丹从多元读写理论视角构建了多模态写作评估模型，并将其应用在商务英语教学过程中[15]。在多模态与宣传片相结合的研究中，潘艳艳从多模态认知批评分析视角出发，以中美征兵宣传片为语料来源，在转隐喻的基础上探讨其叙事模式和话语策略以及意识形态上的差异[16]。吉文凯以系统功能语法和视觉语法为理论基础，以双语文化宣传片为语料来源，探讨译者如何使用适当的翻译策略，弥补宣传片中视觉信息的缺失，从而实现多模态的最优协同，传播目的语文化[17]。
综上所述，虽然多模态已经被应用于众多领域，呈现了多视角和跨学科的特性，但到目前为止，学者对于文化宣传片的多模态研究多聚焦于单一片段，从多模态对比的角度对文化宣传片的动态研究相对较少，基于此，本文选取河南省的两部宣传片为语料，以系统功能语法和视觉语法为理论基础，借助ELAN对视频进行动态标注，以期为多模态对比研究和河南文化传播提供一定的启发。
3. 研究设计
3.1. 语料来源
本研究选取《行走河南·读懂中国》和《豫见中国 老家河南》宣传片为语料来源。《行走河南·读懂中国》于2023年7月在河南省文化和旅游厅官网推出，时长共4分09秒。该片通过镜头串联起河南丰富的历史文化遗产，全方位呈现了河南作为华夏文明主根、中国历史主脉以及中华民族之魂的重要地位。《豫见中国 老家河南》是由河南省旅游局拍摄制作的新版河南旅游宣传片，时长7分37秒。该宣传片内容分为四个部分：遇见中国河、遇见中国字、遇见中国艺术、遇见中国功夫，深刻挖掘了中华文化的源头和最核心部分，充分体现了河南的文化软实力。
3.2. 研究问题
本研究主要回答以下问题：
1) 两部宣传片中的语言模态和视觉模态的呈现有何异同？
2) 两部宣传片中不同模态呈现差异的原因是什么？
3) 两部宣传片中不同模态之间的关系是怎样的？对于构建河南文旅形象有何启示？
3.3. 研究工具
本研究采用定性和定量相结合的研究方法，借助多模态分析工具ELAN，对动态视频进行转录和标注。ELAN是一款用于对视频和音频数据的标识进行创建、编辑、可视化和搜索的标注工具，它可以为标识提供声音技术以及对多媒体剪辑进行开发利用，适用于语言研究、手语分析、姿势研究、多媒体内容分析等多个领域。本研究使用的是ELAN6.8版本。
4. 讨论
4.1. 及物性对比
系统功能学派认为，语言是人类社会生活的产物。作为人类交际的工具，它承担着各种各样的功能，其代表人物Halliday提出了语言的三大元功能：概念元功能、人际元功能和语篇元功能。本研究主要以概念元功能中的及物性为理论依据，及物性是一个语义系统，可以分为六种过程：物质过程、心理过程、关系过程、行为过程、言语过程和存在过程。
根据表1所展示的数据，我们可以观察到两部宣传片在语言模态的及物性系统分布上，物质过程均占据了最大的比例。这一现象的原因可能在于物质过程通常由动态动词来体现，它们能够直观地描绘出人物或事物的具体行为、动作和活动。宣传片中物质过程的大量使用有助于更加客观和生动地展示河南的快速发展以及近年来取得的显著成就。通过这种直观的表现手法，宣传片能够向观众传达河南在经济、文化和社会等方面的进步，从而有效地塑造和强化河南的积极形象。
Table 1. The distribution of transitivity
表1. 及物性系统分布情况
过程类型 |
《行走河南·读懂中国》 |
《豫见中国 老家河南》 |
频率 |
占比 |
频率 |
占比 |
物质过程 |
11 |
73.33% |
20 |
45.46% |
关系过程 |
3 |
20% |
14 |
31.82% |
存在过程 |
1 |
6.67% |
4 |
9.09% |
心理过程 |
0 |
0% |
5 |
11.36% |
言语过程 |
0 |
0% |
1 |
2.27% |
行为过程 |
0 |
0% |
0 |
0% |
总计 |
15 |
100% |
44 |
100% |
而两部宣传片及物性分布的最大不同点在于：在心理过程的使用上，《豫见中国 老家河南》表现出了独特的特点。这是因为这部宣传片分为四个部分：遇见中国河、遇见中国字、遇见中国艺术、遇见中国功夫，每个部分都深刻挖掘了中华文化的源头和核心，体现了河南的文化软实力。这四个“遇见”属于心理过程，它们不仅突出了“豫见河南”的主题，而且旨在吸引游客到河南这个“老家”做客，感受河南深厚的文化底蕴和独特的地方魅力。《豫见中国 老家河南》通过心理过程的运用，更多地触及观众的情感和认同，而《行走河南·读懂中国》则通过物质过程的高频使用，强调了河南在物质文明建设上的成就和进步。两部宣传片的不同及物性分布，体现了它们在文化传播和形象建构上的差异化定位和策略。
4.2. 视觉语法对比
4.2.1. 再现意义
再现意义是指图像中人物、地点和事件之间的关系，包括叙事再现和概念再现，可以进而分为行动过程、反应过程、言语与心理过程、分类过程、分析过程和象征过程。由于宣传片中不涉及言语与心理过程，所以不将其考虑在研究范围内。
由表2我们可以得出，两部宣传片再现意义中使用最多的是行动过程和反应过程，行动过程涉及两个参与者：动作者和目标，图像中还包括一个矢量，由动作方向体现；反应过程也包括两个参与者：反应者和现象，矢量是由目光体现的。两部宣传片中大量使用行动过程如人的动作，日出，交通和自然风光的变换，目的在于突出河南的飞速发展和文化的传承，使用反应过程的原因在于通过目光拉近与观众的距离或给观众遐想的空间。如在第一个视频的开头，观众可以欣赏到太阳从山顶缓缓出现，升向天空的壮丽景象，这种放在视频开头的风景，预示着河南就像一颗新生的太阳，越来越耀眼，这样更容易抓住观众的眼球。第二个视频中三分四秒处的一个场景是书法家书写甲骨文的画面，这幅图中动作者是手，目标是他们所写的东西，矢量是他们书写的手部动作的方向，观众在观看这个场景时，更能直观地感受到河南的传统文化，领会这座城市浓厚的文化气息。
两部宣传片的差异在于《行走河南·读懂中国》在分类过程和分析过程占比稍大，而《豫见中国 老家河南》在象征过程占比较大，分类过程是指图像元素之间存在上下级的关系，分析过程是图像元素之间的关系是部分和整体的结构，象征过程是指图像中的元素象征着什么意义。这样分布的原因在于后者的主题分布明确，每个片段都能具体地从不同角度体现河南文化：黄河作为中华民族的母亲河，象征着中华民族的起源和繁衍；中国字、中国艺术和中国功夫则分别代表了中华文化的语言、艺术和武术精神，而第一个宣传片是一个总体概括性质的，更注重于系统性地展现河南文化的层次和结构。
Table 2. The distribution of representational meaning
表2. 再现意义分布情况
再现意义 |
《行走河南·读懂中国》 |
《豫见中国 老家河南》 |
总标注时长(秒) |
占比 |
总标注时长(秒) |
占比 |
行动过程 |
45.632 |
43.03% |
138.275 |
69.88% |
反应过程 |
8.138 |
7.67% |
21.351 |
10.79% |
行动过程与反应过程 |
26.195 |
24.7% |
6.408 |
3.24% |
分类过程 |
6.58 |
6.2% |
3.025 |
1.53% |
分析过程 |
11.38 |
10.73% |
5.0 |
2.53% |
象征过程 |
8.121 |
7.66% |
23.824 |
12.03% |
总计 |
106.046 |
100% |
197.883 |
100% |
4.2.2. 互动意义
互动意义指图像设计者，图像和观众之间的关系，包括接触、距离和视角三个维度。根据图像中的人物与观众是否有眼神交流可以把接触分为提供和索取；距离是指图像中的人物与观众的距离，根据图像中人物的大小呈现可以分为近距离、中距离和远距离；视角有两种表现形式：水平视角和垂直视角，水平视角也就是参与者的正面视图，表明了画面中的人或物与观众之间存在一种平等的关系，垂直视角包括仰视和俯视，仰视视角有助于强调主体，给予画面中的人或物一种权威感；而俯视视角则有利于展现画面的深度感，传达出一种客观的效果。
由表3我们可以看出，在互动意义的接触分布方面，两部宣传片呈现相似的特征，提供的比例远高于索取的比例，两者在此呈现相似性是因为宣传片的作用主要是为观众提供信息，旨在展示河南的文化和旅游资源，吸引观众的兴趣和注意力，而不是创造一种对话式的互动体验。通过提供大量的视觉信息，宣传片能够有效地传达河南的历史文化和自然风光，激发观众的好奇心和探索欲。
Table 3. The distribution of contact in interactive meaning
表3. 互动意义接触分布情况
接触 |
《行走河南·读懂中国》 |
《豫见中国 老家河南》 |
总标注时长(秒) |
占比 |
总标注时长(秒) |
占比 |
提供 |
51.508 |
89.58% |
77.87 |
90.04% |
索取 |
5.992 |
10.42% |
8.61 |
9.96% |
总计 |
57.5 |
100% |
86.48 |
100% |
Table 4. The distribution of perspective in interactive meaning
表4. 互动意义视角分布情况
视角 |
《行走河南·读懂中国》 |
《豫见中国 老家河南》 |
总标注时长(秒) |
占比 |
总标注时长(秒) |
占比 |
正面–水平 |
7.923 |
14.9% |
28.207 |
25.51% |
倾斜–水平 |
6.408 |
12.05% |
14.751 |
13.34% |
仰视–垂直 |
9.485 |
17.84% |
19.209 |
17.37% |
俯视–垂直 |
29.348 |
55.2% |
48.415 |
43.78% |
总计 |
53.164 |
100% |
110.582 |
100% |
Table 5. The distribution of distance in interactive meaning
表5. 互动意义距离分布情况
距离 |
《行走河南·读懂中国》 |
《豫见中国 老家河南》 |
总标注时长(秒) |
占比 |
总标注时长(秒) |
占比 |
近距离 |
11.399 |
16.21% |
32.608 |
24.77% |
中距离 |
31.655 |
45.02% |
37.935 |
28.83% |
远距离 |
27.256 |
38.77% |
61.075 |
46.4% |
总计 |
70.31 |
100% |
131.618 |
100% |
由表4我们可以对比得出，在视角分布方面，两部宣传片使用最多的都是俯视垂直的视角，但这并不意味着观众的地位比图像高，因为这种视角可以提供更宽广的视野，使观众能够一览无余地欣赏到河南的自然风光和城市景观，从而感受到河南的宏伟与壮丽。
由表5我们可以对比得出，在距离分布方面，《行走河南·读懂中国》使用了更多的中距离，也就是正常的社交距离，而《豫见中国 老家河南》使用了更多的长距离远景镜头，这种在互动意义的距离分布上的差异，反映了它们在叙事风格、表现目的和内容结构上的不同。《行走河南·读懂中国》通过中距离镜头拉近与观众的距离，增强情感共鸣；而《豫见中国 老家河南》通过远景镜头展现河南的宏伟和深邃，传达出河南的地理和文化特色。这种不同的镜头运用，使得两部宣传片能够从不同的角度和层面，有效地传达河南的文化和旅游价值。
4.2.3. 构图意义
构图意义指的是图像的整体布局，主要通过信息值、显著性和取景来实现。信息值是指元素位置的特定信息价值，可以进一步分为中心边缘式，上下式和左右式；显著性指的是不同元素在画面中所占的比重，包括前景背景、大小、色彩等因素；取景是指图像中是否有一条明显的分界线将图像割裂或连接起来。在这两部宣传片中，构图意义主要通过信息值和显著性来体现。
由表6我们可以对比得出，在两部宣传片中，中心边缘的信息值分布占据了主导地位，这表明大多数信息和视觉焦点被放置在画面的中心区域，然后逐渐过渡到边缘，这种布局有助于引导观众的视线从中心的重要信息开始，然后向外扩展，确保观众首先注意到最关键的内容。此外，这种信息分布可能还考虑到了文化和审美因素，在许多文化中，中心位置被认为是尊贵和重要的，因此将关键信息放置在中心区域也是文化习惯的响应。左右和上下的信息值分布占比相对较小，这表明宣传片中信息的呈现并不过分强调从左到右或从上到下的观看习惯，而是更多地集中在中心区域。
Table 6. The distribution of information value in compositional meaning
表6. 构图意义信息值分布情况
信息值 |
《行走河南·读懂中国》 |
《豫见中国 老家河南》 |
总标注时长(秒) |
占比 |
总标注时长(秒) |
占比 |
中心–边缘 |
16.493 |
72.82% |
45.393 |
85.39% |
左–右 |
5.397 |
23.83% |
4.95 |
9.31% |
上–下 |
0.76 |
3.35% |
2.817 |
5.3% |
总计 |
22.65 |
100% |
53.16 |
100% |
由表7的数据分析可知，两部宣传片在构图意义的显著性分布中，色彩对比占据了显著的比重，这一显著的占比可以归因于宣传片中丰富的视觉元素，如视频中车水马龙的繁华街景、烟花绽放的庆祝场面以及传统的打铁花技艺展示等等，这些场景不仅为观众呈现了河南的活力与繁荣，也象征着河南快速发展的步伐，展现了河南在保持传统文化的同时，也在不断追求现代化和国际化的发展。
Table 7. The distribution of salience in compositional meaning
表7. 构图意义显著性分布情况
显著性 |
《行走河南·读懂中国》 |
《豫见中国 老家河南》 |
总标注时长(秒) |
占比 |
总标注时长(秒) |
占比 |
前景–背景 |
8.998 |
32.56% |
10.488 |
22.93% |
色彩对比 |
18.641 |
67.44% |
35.253 |
77.07% |
总计 |
27.639 |
100% |
45.741 |
100% |
5. 结论
本研究以《行走河南·读懂中国》和《豫见中国 老家河南》两部宣传片为语料，运用Halliday系统功能语法和Kress视觉语法理论，借助ELAN工具，经定性与定量分析，深入探究了两部宣传片中语言模态和视觉模态的异同及对河南文旅形象构建的影响，有效地回答了研究问题。
首先，关于两部宣传片中的语言模态和视觉模态的呈现异同，研究发现，在语言模态方面，两部宣传片均偏好使用物质过程来构建意义，这有助于直观展示河南的快速发展和文化成就；差异在于《豫见中国 老家河南》心理过程独特，其“遇见”系列突出主题，深挖文化源头核心，触动观众情感认同。视觉模态上，再现意义层面：两部宣传片的相似之处在于行动和反应过程使用最多，借人物动作、自然风光变换等突出发展与传承，通过目光互动引起共鸣；差异在于《行走河南·读懂中国》分类与分析过程占比稍高，利于系统展现文化层次结构；《豫见中国 老家河南》象征过程突出，借黄河、中国字、中国武术等象征文化元素，契合主题明确的片段式表达。互动意义层面：接触特征相似，主要以提供信息为主，符合宣传目的。距离分布中，前者多中距离镜头拉近情感，后者多长距离远景凸显宏伟深邃。视角上虽俯视垂直居多，但叙事风格、目的与结构致使二者水平视角占比有别。构图意义层面：两者较为相似，信息值多为中心边缘式，先呈现关键信息后向外扩展。显著性上色彩对比突出，借丰富场景彰显河南活力繁荣与发展步伐。
其次，这些差异的根源在于它们各自的创作意图和传播导向。《行走河南·读懂中国》旨在全面展示河南的发展成就，通过动态动词“行走”“读懂”的表意功能，塑造河南的现代化形象，以建立河南文化的宏观架构，满足受众对时代发展的追求。《豫见中国 老家河南》旨在突出“遇见”“老家”的主题，深挖河南的文化价值和情感联结，构建河南作为文化根源的形象，将文化意涵具象化，吸引寻求文化归属的受众。这些差异不仅反映了不同的文化传播导向，也适应了不同受众群体的期待和需求。通过这些多模态策略的运用，宣传片有效地传达了河南的文旅形象，增强了文化印象，并促进了河南文化的传播与认同。
最后，在两部宣传片中，语言模态和视觉模态的巧妙融合与互补，共同构建了河南的文化和旅游形象。通过物质过程的语言描述与行动过程的视觉展现相结合，宣传片有效地传达了河南的活力与繁荣，展现了其快速发展的社会面貌。同时，心理过程的运用和象征过程的视觉表现，不仅增强了观众对河南的情感共鸣，还加深了他们对河南文化的认同感。这种多模态的传播策略，为河南文旅品牌在国际市场上的进一步推广提供了坚实的理论基础和具体的实践指导，有助于提升河南在全球范围内的知名度和吸引力。
综上所述，本研究揭示了多模态话语分析在文旅形象传播中的重要性，并为河南文旅形象的塑造提供了新的视角。通过对比分析，本研究不仅推动了河南文旅产业的发展，提升了文旅形象的传播成效，也为其他地区的文旅形象传播提供了可借鉴的经验和方法。未来研究可以进一步探讨多模态话语分析在其他文化宣传片中的应用，以及如何更有效地结合不同模态以提升文化传播的效果。