跨学科视角下的多模态话语分析：理论、方法与实践

Multimodal Discourse Analysis from an Interdisciplinary Perspective: Theory, Methods and Practice

摘要: 随着新媒体技术的迅猛发展，多模态话语交际已成为我们日常生活中不可或缺的一部分。本文旨在深入探究多模态话语分析的理论基础，并通过系统的方法，全面梳理和分析国内在这一领域的主要研究焦点及其方法应用。研究从语言学视角切入，对语篇中的多模态话语分析进行了细致而深入的探讨，以期揭示当前研究的不足之处，并为该领域的未来发展趋势、潜在价值及研究方向提供前瞻性的思考与展望。

Abstract: With the rapid development of the new media, multimodal discourse communication has become an indispensable part of our daily life. The purpose of this paper is to explore the theoretical foundations of multimodal discourse analysis, and systematically review and analyze the primary research focuses and methodological applications in this field in China. Drawing from a linguistic perspective, the study conducts a detailed and in-depth exploration of multimodal discourse analysis in textual contexts, aiming to uncover the current shortcomings in research and provide forward-thinking insights and perspectives on the future development trends, potential values, and research directions of this field.

1. 引言

随着新媒体技术的飞速发展，人们越来越关注话语的多模态性。在系统功能语言学中，模态被定义为交流互动的渠道，即参与者在交流中可以采用的手段。例如，在面对面的交流中，听觉和视觉是这一渠道最显著的特征(Matthiessen, Teruya & Lin, 2016) [1]。模态与语场和语旨一起构成了韩礼德(Halliday, 1978) [2]所描述的语境三个组成部分。然而，Jewitt (2014: p. 1) [3]在多模态话语分析领域中，将模态定义为“文化中用于创造意义的符号资源，如图像、文字、手势、眼神、言语、姿势”。多模态则是指“在符号产物或事件的设计中所使用的多种符号模态，以及这些模态之间组合的特定方式”(Kress & van Leeuwen, 2001: p. 20) [4]。此外，它还可以被定义为“不同的符号资源系统共同部署和共同语境化的多种方式”来构建特定的含义(Baldry & Thibault, 2006: p. 21) [5]。Jewitt (2009: pp. 28-29) [3]指出，正是多模态方法通过图像、文字、手势、凝视、演讲和姿势等许多符号资源使“表征、交流和互动”变得更加生动形象。朱永生(2007: p. 83) [6]认为，多模态可以通过我们生理学中的五感——视觉、听觉、嗅觉、味觉和触觉模态来划分。顾曰国(2007: p. 3) [7]也认为多模态是指人类通过不同的感官(例如视觉或听觉)与外界(包括人、物体、动物等)互动的多种方式。Halliday (1978) [2]的语言是符号系统的观点得到广泛应用。代树兰(2015) [8]将多模态定义为口头或书面交互中多种交流符号。因此，多模态话语分析是指对交互资源的模态、功能以及这些模态在构建综合意义中的关系进行分析。

随着多模态时代的到来(胡壮麟，2007) [9]，越来越多人认识到所有话语都是多模态的(Kress & van Leeuwen, 1998) [10]。以语言为主导或以语言为中心的话语分析已不再受到青睐，语言以外的其他符号学模态应该受到重视，例如“图像、音乐、手势”(Iedema, 2003) [11]，以阐释语言和其他符号资源如何协同工作或相互协调(Kress & van Leeuwen, 1998) [10]。本文系统整理了2023年至今，中外学者在多模态话语分析领域的主要研究成果。从语言学的角度出发，深入剖析了该领域的发展轨迹、核心定义、主要研究视角、研究对象及所采用的分析工具。在此基础上，指出了国内相关研究的不足之处，并对未来的发展方向进行了展望。

2. 多模态话语分析的发展

自Harris (1952) [12]提出“话语分析”这一概念以来，该领域在20世纪80年代经历了显著的发展，涌现出众多理论和方法。Fairclough (1989) [13]致力于从权力与权力斗争的视角解读社会语言学现象，而van Dijk则提出了话语分析的三个核心维度：语言使用、信念交流以及社交互动，并期望构建理论以阐释这三者之间的联系。由此，话语–认知–社会三者间的互动关系得以确立(van Dijk, 1997: p. 2) [14]。随后，话语分析的视角被概括为语言的三个层面——语法、话语结构和社会语境，以及语言在社会语境中的三大功能：构建社会关系、展示个人经验、以及将这些构建和表述组织成有意义的文本，这被称为语言在社会生活中的元功能(Martin & Rose, 2007: p. 7) [15]。

随着现代技术与社交媒体的普及，视觉元素在话语分析中的重视程度日益提高，特别是在广告、网络话语、电视节目和电影等领域的研究中。在面对面互动、观看电影和电视节目的过程中，手势、面部表情、身体姿势、亲密程度、掌声和笑声等非语言活动对于促进对事物的全面理解至关重要。这意味着，交际事件的构成不仅限于语言，还涉及多方面的交互，涵盖多种交际方式(代树兰，2013) [16]。Lemke (2002) [17]也指出，如果只关注单一模态，可能会导致误解或错误的解释。因此，从单一维度的话语分析转向多模态话语分析，研究对象从静态话语扩展到动态话语，这一新颖视角逐渐受到青睐，推动了多模态话语分析成为跨学科研究的热点。

Barthes (1977) [18]是多模态话语分析领域最早的、有影响力的代表之一。他将图像、声音和手势视为“符号元素”，并阐释了图像与语言之间的关系，包括锚定、插图和接力等概念，为后续研究奠定了基础。Nöth (1990) [19]进一步将图像与语言的关系细分为插图、图画、标签、相互决定和矛盾五种类型。尽管这些研究都聚焦于二者之间的关系，但图像和语言往往还是被分开分析。到了20世纪90年代，多模态话语分析理论得到了进一步的发展，以O’Toole的《展示艺术语言》(1994) [20]和Kress & van Leeuwen的《阅读图像：视觉设计语法》(1996) [21]为代表，这些作品为多模态话语分析的理论框架和实践应用提供了重要的参考。

3. 多模态话语分析的研究派系

多模态话语分析是一个跨学科的研究领域，其核心在于运用多样化的分析方法、理论框架和方法论来探讨和解决复杂的交流问题。这一领域涵盖了社会符号学、系统功能语言学、批评性话语分析和互动分析等多个研究领域。众多学派，包括布拉格学派、巴黎学派符号学、言语与非言语交际学派以及基于系统功能语法的符号学派等，都在致力于构建理论体系或通过实证研究来验证理论的有效性。Kress和van Leeuwen (2001: p. 20) [4]指出，多模态话语分析领域中目前最活跃的研究集中在社会符号学、互动社会语言学和认知语言学。Jewitt (2009) [3]进一步将多模态话语分析细分为三个主要类别。

第一类是社会符号学多模态分析，由Kress和van Leeuwen (1996: p. 19) [21]开创，他们提出图像、书写或言语可以以不同的方式传达相同的含义。第二类是多模态交互分析，这一领域的研究者特别关注不同情境间的交互作用以及模态的产生。例如，Norris (2004) [22]建立了一个分析多模态互动的方法论框架。第三类则是基于韩礼德的系统功能语法(SFG)的系统功能多模态话语分析，这一流派关注于多种符号学选择组合所构成的意义。

至今，最具影响力的多模态分析研究主要归功于Kress和van Leeuwen的《阅读图像》(1996) [21]和《多模态话语：传播模式与媒介》(2001) [4]，以及O’Toole的《语言展示艺术》(1994) [20]。这些作品为多模态话语分析中的社会符号学和系统功能语言学方法提供了坚实的基础，并且都建立在系统功能语言学(Halliday, 1978) [2]和社会符号学理论(Kress & Hodge, 1988) [23]之上。多模态话语分析理论发展主要由两个层面：社会符号学理论的新发展和学科内和跨学科的理论融合(李梦洁和冯德正等，2024) [24]。

此后，多模态话语分析领域涌现了大量跨学科的研究，这些研究涵盖了话语分析的理论和实践，并利用了丰富的符号资源，包括语言、静态图像、广告、网站、雕塑、空间、建筑以及动态图像、电影和游戏等。

4. 国外多模态话语分析研究现状

基于功能语法对视觉艺术、绘画、雕塑以及建筑进行深入分析，O’Toole致力于采用“自下而上的方法”揭示多模态话语分析中的三种基本元功能：表征功能、情态功能和构图功能(O’Halloran, 2011) [25]。O’Toole (1994) [20]对悉尼歌剧院进行了细致的分析，涵盖了其经验、人际和语篇功能，从而将建筑设计与悉尼的社会符号学紧密联系起来。与此同时，Kress和van Leeuwen (1996) [21]则采用了一种“自上而下的文本方法”，首先确立了分析原则，随后应用语法来深度分析图像、三维物体和动态图像，以证实其方法的权威性和实用性。这一方法论将阐释多种符号资源如何协同构建意义。

自视觉语法的概念提出以来，从社会符号学的角度探索多模态话语分析研究逐渐增多。主要关注语言与图像之间的相互作用，以及不同资源如何共同表达意义。迄今为止，由于标注工作的复杂性和技术限制，静态文本的研究较多，而动态文本的研究相对较少。

静态图像分析方面，以平面媒体、广告和超文本等新闻媒体为语料的研究众多。如Macken-Horarik (2003) [26]关注澳大利亚报纸上的“儿童落水”事件，探讨了文字和图片如何加剧对难民的种族仇恨。此外，Cheong (2004) [27]提出了印刷广告的通用结构，结合了视觉和语言元素，并通过语言文本和视觉图像的相互作用解释概念意义的策略。其他研究则集中在报纸漫画(Refaie, 2003) [28]、图画书(Moya & Pinar, 2008) [29]、慈善广告(Pennock-Speck & Del Saz-Rubio, 2013) [30]、超文本(Lemke, 2002 [17]; Knox, 2007 [31])、简历(Lipovsky, 2014) [32]和漫画布局(Bateman et al., 2021) [33]等。特别值得一提的是，O’Halloran和Farmer (2018) [34]通过多模态方法对数字数学教科书进行了研究，调查其设计、内容和功能如何促进数学知识的构建，以实现教学和学习目的。

受O’Toole (1994) [20]的启发，三维物体多模态分析逐渐受到关注。例如，Pang (2004) [35]将系统功能语言学扩展到博物馆展览的社会符号学分析，Safeyaton (2004) [36]基于对新加坡乌节路和万豪酒店的探索，提出了立体多元城市的等级量表，Ravelli & McMurtrie (2016) [37]研究探讨建筑空间分析，并提出空间话语分析框架。Maiorani (2020) [38]提出了动作符号学和舞蹈功能语法分析框架。

同时，动态电子媒体领域的研究也逐渐引起了众多关注，新型社会符号学分析框架层出不穷，跨学科研究深度融合(李梦洁和冯德正等，2024) [24]，如Martin和Unsworth (2023) [39]提出的教学视觉资源建构中的社会符号学框架。尽管在分析动态图像存在困难和复杂性，但动态多模态话语分析已成为一个备受瞩目的新兴研究领域。研究重点一方面在于不遗余力地解决方法论问题，建立用于研究的注释软件；另一方面，在于关注多模态话语分析中利用理论框架进行实证研究。

除上述研究外，针对媒体的动态多模态话语，O’Halloran基于电影中“声音、图像、手势、文本和语言的不断变化的配置”的思想，提出了一个新型分析框架(2004) [40]。Baldry (2004) [41]采用计算机技术来转录动态语料。Bateman (2014) [42]设计建立多模态语料库。Wildfeuer (2014) [43]提出了一种从语言学角度解释多模态电影话语的新范式，这有助于电影的理解(Bateman & Schmidt, 2011) [44]。Wang & Feng (2022) [45]通过对动态视频分析，探讨了媒体短视频中的网红身份建构。

新兴技术的发展为多模态话语分析提供了便利，例如Michael O’Donnel设计的UAM Corpus Tool，O’Halloran开发了用于分析多模态话语的工具Systemics，Paul Boersma和David Weenink开发的Praat可用于分析语速、响度和音高，支持文本、音频、视频等编码分析的NVivo执行分析软件以及O’Halloran开发的Semiscope可用于复杂多模态话语的转录和注释，基于系统功能语言学的设计的多模态话语分析软件MMAV (Multimodal Analysis Video)。

随着大数据的快速发展，基于语料库的多模态话语分析大多基于系统功能语言学，其中代表性的有Bateman针对网站和电影的语料库分析(Bateman, 2008 [46]; Bateman et al., 2017 [47])，同时，Bateman (2014) [48]提出了GeM模型，基于语料库方法对多模态语料进行描写。

多模态话语分析不仅是一种理论，也是一个研究领域，它可以与不同的理论相结合(Jewitt, 2009) [3]。因此，在语言学领域各种理论和方法论被建立，该领域也已经取得了大量的研究成果，许多新颖理论与研究方法不断涌现，其中最有影响力的研究视角有社会符号学、认知语言学、话语分析、社会语言学、教育学等；研究方法上，质性研究方法趋向科学化，多模态语料库与大数据方法已经成为研究新热点(李梦洁和冯德正等，2024) [24]。

5. 国内多模态话语分析研究现状

作为国内多模态话语分析领域的先驱，李战子(2003) [49]在其开创性论文《社会符号学视角下的多模态话语分析》中首次将多模态话语分析的概念引入国内，强调了多模态在话语阐释、英语教学应用以及教学框架中的关键作用，同时，对图像分析进行了深入探讨，为后续研究奠定了坚实的基础。之后，胡壮麟、张德禄等在西方理论的基础上进行了深入的理论探索，并将这些理论应用于语篇分析和语言教学实践。在理论和方法论的探索上，胡壮麟(2007) [9]对“多模态”和“多媒体”这两个关键术语进行了明确区分。基于系统功能语言学，张德禄(2009) [50]提出了一个全面的多模态话语分析理论框架，该框架不仅涵盖了不同模态间的符号关系，包括互补和非互补的关系，还提出了从文化语境、情境语境、语义层面、形式层面和媒介五个维度来探讨多模态文本。

此外，社会符号学和概念隐喻理论作为多模态话语分析中常用的分析方法，一定程度上理论范式共享，且在一定程度上相互补充，例如概念隐喻为视觉语法提供认知基础(张德禄，郭恩华，2013) [51]。多模态话语的布局结构被认为是理解概念元功能的重要途径，同时也有助于文本的衔接和人际元功能的发展。

冯德正(2017) [52]从宏观角度阐释了多模态话语分析的基本关切问题，包括探索多模态话语分析产生的两个主要原因：一是语言研究需要超越单纯的语言分析，需要考虑结合语言和其他模态；二是应对传播形式的不断变化。此外，语言学理论也适用于多模态话语分析。还有观点认为，视觉语法虽有其局限性，不应被视为僵化的规则，而应作为一种一般性知识来考虑。此外，将多模态话语分析纳入多模态批评话语分析(MCDA)是一种新的尝试，旨在挖掘文本背后的作者意图(田海龙和潘艳艳，2018) [53]。此外，潘艳艳(2020) [54]梳理了多模态话语分析的新走向多模态认知批评分析的发展和研究成果。史兴松和徐文娟(2020) [55]采用定量统计了近15年SSCI期刊网络多模态话语的研究趋势，王正(2022) [56]提出动态多模态语篇批评话语分析模式的建构。

在应用研究方面，冯德正(2012) [57]、代树兰(2015) [8]、潘艳艳(2020) [58]等做了大量研究，特别是在教学方法和语篇分析方面。根据冯德正(2017) [52]的分类，研究对象可分为媒体话语和三维空间两大类。媒体话语进一步细分为静态图像、文字话语、动态视频话语以及网络新媒体话语。冯德正和O’Halloran (2012) [57]对面部情感进行分类。此外，针对电影海报的视觉语法分析(罗晓春，2012) [59]、高校英语教材的多模态话语分析(宋旭和梅丽莎·莎米妮·佩里，2023) [60]等。此外，从社会符号学角度探讨了具有超模态的大学主页如何整合资源，同时为动态视频创建官方门户和机构身份(Zhang & O’Halloran, 2012) [61]，例如冯德正(2012) [62]在其博士论文中对电影的表演分析，以及从视觉和音频模态角度分析的电视广告(姚银燕和陈晓燕，2013) [63]，以及针对英语教学语言与手势、身体姿势、表情的意义协同研究(应洁琼和谢朝群，2024) [64]等。

通过对国内核心期刊的统计，发现国内对多模态话语分析的研究成果还很少，而且还处于相对初级的阶段。根据CNKI统计如下表1，从2007年起，国内多模态话语分析领域的研究呈现上升趋势，2022年，相关核心研究论文数量达17篇最大值。这一显著增长趋势表明，多模态话语分析正在迅速成为学术热点。尽管在2007年至2023年这段时间内，国内对多模态话语分析的研究数量有所起伏，但整体而言，研究的热度依然保持较高的水平，反映出这一新兴学术领域在国内的受欢迎程度和吸引力。

Table 1. Core journals of multimodal discourse analysis in China from 2007 to 2023 (Source: CNKI)

表1. 2007~2023年国内多模态话语分析核心期刊(来源：中国知网)

年份	2007	2008	2009	2010	2011	2012	2013	2014	2015	2016	2017	2018	2019	2020	2021	2022	2023
数量	1	2	5	6	10	14	12	12	9	7	11	8	8	9	6	17	8

目前，虽然动态多模态话语受到了广泛关注，但动态多模态研究仍存在一些需要进一步探索的方面。国内动态多模态话语分析中，多静态的描绘，而鲜少动态的描写，图像、音乐、对话和字幕没有被考虑在内(李妙晴，2007: p. 100) [65]。与国外涵盖静态图像和动态话语的研究相比，如儿童绘画、在线主页、电影海报、广告和电影(Hopperstad, 2010 [66]; Knox, 2007 [31]; Lirola & Chovanec, 2012 [67]; Pennock-Speck & Del Saz-Rubio, 2013 [30]; Wildfeuer, 2014 [43])，国内多模态话语分析核心期刊的研究大多是对西方国家理论的解读和探索。因此，对于多模态话语分析的应用研究还很不足，尤其是在动态话语方面，例如电影话语，或动态交际话语。

其次，国外关于多模态话语分析的研究迅速增长(国防，2016) [68]，而国内该领域的研究多处于模仿西方理论和验证状态。最重要的原因之一是缺乏科学的转录和分析软件，因为大多数研究中采用屏幕截图来分析视频，这类似于分析静态图片。第三，国内研究大多参照国外理论，创新性甚少。

6. 结语

自多模态话语分析在中国生根发芽以来，其研究领域已取得了显著成果，尤其是在社会符号学视角下的研究，展现出较为成熟的态势。然而，多模态话语分析仍面临许多挑战与不足。当前，国内的多模态语料库建设和互动分析研究尚显稚嫩，许多理论框架和研究方法仍主要依赖于西方的学术成果。与此同时，专业的分析工具和软件在国内的普及和应用尚显不足，这在一定程度上限制了我国多模态话语分析研究的深度和广度。

值得注意的是，尽管已有如《视觉环境中的多模态与多模态话语》(韦琴红，2009) [69]和《多模态中国话语：理解当代中国传播与社会》(Feng, 2023) [70]等专著为这一领域的研究提供了重要参考，但相对于研究领域的广度和深度，这样的著作仍显稀缺。更为关键的是，当前的研究多聚焦于静态分析，而缺乏对动态多模态话语分析的深入探索。因此，构建一个权威、系统化、科学化的动态多模态话语分析框架或案例模型，对于推动该领域研究的深入发展具有重要意义。

展望未来，深化动态多模态话语分析的研究将成为未来研究的重中之重。首先，需要在借鉴西方理论成果的基础上，结合中国实际，不断探索和创新，以构建适合我国国情的多模态话语分析理论和方法。同时，也应加大专业分析工具和软件的研发和推广力度，为研究者提供更加便捷、高效的研究工具，以促进多模态话语分析研究的快速发展。总之，多模态话语分析作为一个新兴的研究领域，其研究意义和价值不言而喻。期待在未来的研究中，能够不断突破和创新，为推动该领域的繁荣发展贡献更多的智慧和力量。