1. 引言
话语分析(discourse analysis)这一术语是由美国语言学家Harris于20世纪50年代初提出来的一个语言学领域的研究方向(朱永生，2007) [1]。然而，由于新媒体数字技术的纵深发展，人们不仅可以使用传统的语言文字来传达意义，还有可以使用诸如图像、声音、颜色等符号进行意义的表达。因此，20世纪90年代西方兴起的多模态话语分析(multimodal discourse analysis)成为了话语分析研究领域的一个新发展，弥补了话语分析研究领域的不足。
多模态话语指运用听觉、视觉、触觉、嗅觉、味觉，运动觉等多种感觉，通过语言、图像、声音、动作、动漫、网络等多种手段和符号资源进行交际的现象(李战子，2003；顾曰国，2007) [2] [3]。多模态话语分析在国际上已经取得了相对成熟的研究成果，主要理论基础来源于Halliday (1985) [4]提出的系统功能语言学，特别是Halliday提出的语言的三大元功能，即概念功能(ideational function)、人际功能(interpersonal function)、语篇功能(textual function)。Kress & van Leeuwen (1996) [5]，O’Halloran (2004) [6]和Royce (2002) [7]则致力于将多模态话语分析应用到具体多模态文本的探讨以及多模态之间的协同性等(张德禄，2009) [8]。然而，较之国外在多模态话语分析研究领域的探索，国内多模态话语分析的研究起步比较晚。李战子(2003) [2]是第一位致力于将多模态符号理论引介到国内的学者。自此，多模态话语分析理论就成为学术界研究的一个新兴领域。历经二十余载的发展，各类学术研究成果纷纷涌现，为多模态话语分析领域在国内的发展奠定了坚实基础。
综观国内关于多模态话语分析的相关综述类文献，相关文章的研究样本多选自知网(CNKI)中所收集到的全部有关多模态话语分析的各类期刊文献，鲜有文献将期刊设定在CSSCI和北大核心两种范围之内。就研究时段来说，虽然也有一些针对国内多模态话语分析在某一断时间内的研究综述，但是缺乏对近几年研究成果的梳理，综述时间较为久远。例如，罗永胜(2012) [9]对2002年~2011年国内多模态话语相关研究的梳理与总结。最后，就研究工具来看，以往综述类文献都是采用人工语料库进行归纳和总结，难免出现数据不准确的情况。随着科学技术的不断发展，越来越多的研究工具适用于分析某一研究领域的发展情况，不仅为研究人员节省了时间和精力，同时也使得研究结果更具客观性和直观性。因此，出于梳理国内关于多模态话语分析在2003年至2023年间的发展脉络和演变历程的目的，借助可视化软件CiteSpace，本研究分别从以下几个方面对2003~2023年间国内有关多模态话语分析文献进行综述：发文量、主要研究作者和机构以及关键词分析。最终，本研究依据CiteSpace的分析结果，对国内多模态话语分析研究存在的问题进行了深入探讨，并对该领域的未来研究趋势进行了全面展望，以期为国内多模态话语研究提供有益的启示与参考。
2. 研究设计
2.1. 研究问题
为了达成本研究的目标，本研究计划提出以下三个研究问题：
1) 国内2003~2023年多模态话语分析的研究现状如何？
2) 国内2003~2023年多模态话语分析研究热点和研究前沿有哪些？
3) 国内多模态话语分析在未来的发展趋势怎样？
2.2. 数据来源
本文以中国知网(CNKI)数据库为检索来源，将学科门类设定在“中国语言文字”和“外国语言文字”下，以“多模态话语”“多模态语篇”作为检索关键词，搜索到相关CSSCI和北大核心期刊文献共计253篇，时间跨度为2003年至2023年。通过逐一浏览253篇文章的摘要进行人工筛查，去除与本研究不相关的文章(会议、书评)，最终得到有效期刊文章共计221篇。本研究将所收集的221篇期刊论文作为研究样本，采用Refworks格式进行导出，为后续的可视化分析工作做好充分准备。
2.3. 研究方法
为全面剖析2003年至2023年间国内多模态话语分析的研究概况，本研究借助CiteSpace软件，运用文献计量与科学图谱的方法，对核心作者与发文机构的共现网络、关键词的共现与聚类、关键词的突现现象以及关键词的时间发展路径进行了深入分析，旨在揭示这一时期内国内多模态话语分析的热点主题、发展轨迹及研究趋势。
3. 结果与分析
本研究主要从以下几个维度进行深入分析：国内多模态话语分析的年度发表文章数量、核心作者与机构群体、关键词的详细解析、研究的发展趋势、研究的前沿领域以及研究的热点话题。
3.1. 研究现状
1) 年度发文趋势
为了直观地表现国内多模态话语分析在2003~2023年间的年度发文量趋势，笔者对这20年间的发文量进行了统计(见图1)。从图1可看出，2003~2023年间国内多模态话语分析研究整体呈现上升的趋势，可以大致归纳为三个重要发展阶段。第一阶段：2003~2011。这一时期国内对多模态话语分析研究较少，呈现缓慢上升的趋势，年平均发文量在5篇范围内波动。然而，观察图1可知，2004年与2005年的发文量数据为零。可见，由于相关理论介绍的缺乏以及学术带头人的匮乏，这一阶段的多模态话语分析研究发展相对缓慢。第二阶段：2012~2017。在这一阶段，年度发文量波动较大，总体呈现快速增长的趋势。2013年和2017年分别为该阶段的年度发文量峰值(20篇)。此外，这一时期国内多模态话语分析的年度发文量从2011年的7篇增长到2017年的20篇，涨幅较大，这表明国内学者在该阶段对多模态话语分析关注较高，多模态话语分析实现了快速地发展。第三阶段：2018~2023。这一时期国内相关发文量开始呈现极速骤降的势态，国内多模态话语分析的发展势头减缓，这表明国内多模态话语分析的相关研究成果已经处于一定的饱和状态，不管是理论引介、发展，还是有关多模态话语分析的各种实证研究也都趋于成熟。
Figure 1. Change trend of the number of published articles on multimodal discourse analysis from 2003 to 2023
图1. 2003~2023年国内多模态话语分析发文量变化趋势
2) 主要研究作者和机构
利用可视化分析工具CiteSpace，本研究将节点类型(Node types)设定为“作者”(Author)，并将时间范围设定为2003年至2023年，同时选择1年为时间切片间隔，最终生成了如下文所示的国内多模态话语分析领域的作者共现图谱(见图2)。如图2所示，从宏观上来看，图谱中展现了国内多模态话语分析领域主要研究学者，即张德禄、冯德正、李战子、赵秀凤和潘艳艳为首的网络结构。然而，从微观上来看，整个图谱呈现的作者与作者之间的连线较少，作者之间的节点相对较为分散。此外，图谱也从侧面揭示了研究人员之间成果的两极分化现象，这映射出该研究领域内作者间的交流与合作意识尚显不足，学术联系亟需进一步增强。
Figure 2. Author co-occurrence knowledge graph network
图2. 作者共现知识图谱网络
为了更为直观地反映国内多模态话语分析的主要研究作者，笔者通过CiteSpace的统计结果，列出了2003~2023年间发文量排名居前十的作者(见表1)。由表1可知，张德禄学者的发文量排在第一位，共25篇，李战子、潘艳艳、陆丹云等学者则位居其后，其他排名前十的学者发文量仅有2~3篇。
Table 1. Top 10 core authors and their posts
表1. 排名前十的核心作者及其发文量
序号 |
作者 |
发文量/篇 |
序号 |
作者 |
发文量/篇 |
1 |
张德禄 |
25 |
6 |
杨增成 |
3 |
2 |
冯德正 |
10 |
7 |
汪燕华 |
3 |
3 |
李战子 |
5 |
8 |
代树兰 |
2 |
4 |
赵秀凤 |
5 |
9 |
陆丹云 |
2 |
5 |
潘艳艳 |
4 |
10 |
杨信彰 |
2 |
国内多模态话语分析领域中的核心研究机构图谱(见图3)直观地呈现了各研究机构在该领域的研究实力和影响力。从整体上来看，该图谱呈散状分布，各节点间连线较少。从图中可以看出，字体突显的机构为同济大学外国语学院，共发表相关文章18篇。
Figure 3. Knowledge graph of co-occurrence of core institutions
图3. 核心机构共现知识图谱
同时，为了直观地了解各机构的发文情况，笔者对发文量前十的主要核心机构进行了表格化展示(见表2)。根据表2的机构发文量数据显示，可知除了同济大学外国语学院，其他主要研究机构分别是厦门大学外文学院、同济大学、山东大学、中国海洋大学外国语学院、北京师范大学等。同时，观察这些主要研究机构的学科属性，可以发现国内多模态话语分析的研究机构主要集中在外语类院校以及各大学中的外语学院。
Table 2. Top 10 major publishing institutions
表2. 排名前十的主要发文机构
序号 |
发文机构 |
发文量/篇 |
序号 |
发文机构 |
发文量/篇 |
1 |
同济大学外国语学院 |
18 |
6 |
北京师范大学 |
3 |
2 |
同济大学 |
6 |
7 |
北京工商大学 |
3 |
3 |
厦门大学外文学院 |
6 |
8 |
南京师范大学外国语学院博士后流动站 |
3 |
4 |
山东大学 |
4 |
9 |
福建师范大学外国语学院 |
3 |
5 |
中国海洋大学外国语学院 |
4 |
10 |
复旦大学外文学院 |
3 |
3.2. 研究热点
了解某个研究领域的研究热点，可以通过分析该领域的关键词的出现频率来实现。关键词是一篇文章核心研究内容的高度概括与提炼。高频关键词反映了一个研究领域的研究热点(胡晓，2022) [10]。本研究利用CiteSpace，将节点类型(Node types)设置为关键词(Keywords)，其他参数保持与机构参数相同，得到如图4所示的关键词聚类网络图。关键词的聚类分析能够更为具体地揭示某一研究领域内的研究主题(黄东晶、毛竹君，2023) [11]。通过关键词聚类(见图4)，排名前十的关键词聚类规模从大到小依次为：#0多模态、#1多模态话语、#2多模态话语分析、#3多模态语篇分析、#4多模态语篇、#5社会符号学、#6供用特征、#7话语分析、#8多模态隐喻、#9方法。这些关键词集中体现了2003年至2023年间国内多模态话语分析领域的研究热点与核心议题。
Figure 4. Keyword clustering knowledge graph
图4. 关键词聚类知识图谱
3.3. 研究前沿
关键词一篇文章主要内容的体现，在某一时期频繁出现的关键词可能是当时该领域的研究热点或重点(李杰、陈超美，2016) [12]。关键词突现就指的是在某一时间段内出现频次急剧增加的关键词，它能够反映出该时间段内的研究前沿动态。通过关键词的突现分析，我们可以进一步探索我国多模态话语分析领域的研究发展趋势。通过运行CiteSpace，将参数设置“Burst terms”，阈值设置为0.5，我们共得到25个关键词。本研究特别选取了排名位于前十五的关键词突现图谱(见图5)进行详细的分析与探讨。
Figure 5. Keyword emergent map
图5. 关键词突现图谱
如图5所示，2003年至2023年间国内对多模态话语分析的研究共出现了15个突现词。前期的突现词主要涵盖了“社会符号学”“模态”以及“多模态化”等关键术语。进入21世纪初，除了在语言学领域的迅速发展，语篇分析甚至拓宽到整个人文社科领域，其研究范畴也从传统的局限于语言的分析拓展至对各种表意模态(如图像、声音)的多模态话语分析。此外，Halliday (1985) [4]提出的系统功能语言学、Kress和van Leeuwen (1996) [5]提出的视觉语法以及后来的听觉语法都为多模态话语分析提供了深厚的理论基础，这也促使了国内多模态话语分析研究领域对“多模态”和“社会符号学”等领域的关注。后期的突现词涉及“多模态隐喻”“字幕翻译”“视觉语法”“图文关系”和“供用特征”等。其中，“供用特征”与“批评话语分析”两个关键词的凸显度相对较高，成为了该时期研究的重要焦点。张德禄、胡瑞云(2019) [13]指出，社会符号的“供用特征”和其“意义潜势”一样，指的是为了达到一定的交际目的，人们在一系列符号系统中进行有目的的选择，指模态为其他事物提供的条件。“在多模态话语的建构和分析中应该重视对符号系统及其符号的供用特征的研究和认识”(张德禄、胡瑞云，2019) [13]。随着多模态话语分析在国内发展的日渐成熟，研究者们主要致力于探讨多种模态中各种模态之间的关系以及从多模态视角研究话语分析的其他分支领域，如批评话语分析、积极话语分析等。因此，这一趋势促使“图文关系”“供用特征”以及“批评话语分析”等关键词成为了当前国内多模态话语分析领域的热门研究词汇。
3.4. 研究趋势
关键词的时序图可以很好地反映一个研究领域的演变过程(黄东晶、毛竹君，2023) [11]，可以使研究人员直观地了解某一领域的发展趋势。运行CiteSpace，设定相应的参数值，得到如下图所示的关键词时序图谱(见图6)。
Figure 6. Keyword timing map
图6. 关键词时序图谱
从图6可以看出，2003年至2023年间，国内对多模态话语分析的研究所关注的焦点存在差异。前期侧重于理论层面的深入探索，后期则主要聚焦于实际应用的研究与实践。多模态话语分析的理论研究，主要涉及相关理论的介绍与引进，总体上仍聚焦于对国外理论的解读与评价。例如对Halliday (1985) [4]提出的用于语言模态分析的系统功能语言学、Kress和van Leeuwen (1996) [5]提出的用于分析图像模态的视觉语法和后来的听觉语法的系统介绍。随着多模态话语分析在国内的发展，学者们也致力于对国外的多模态话语分析理论进行补充和完善，提出更适用于进行多模态话语分析的理论框架(如张德禄，2009 [8]；张德禄，2018 [14]；雷茜，2023 [15]；张德禄，2023 [16])。多模态话语分析的应用性研究，是指将该理论具体应用于多模态文本的研究实践。在国内的相关研究中，应用性文章占据显著比例，其中外语教学领域达52篇，文本分析领域为39篇，两者合计91篇，约占全部研究文章的50%。外语教学相关的文章主要涵盖了多模态在听、说、读、写教学中的应用、多模态与教学模式的探究、多模态视角下的教材编写以及多模态学习模式的研究。而文本分析领域的应用文章则主要聚焦于多模态与广告、旅游、政治语篇的结合、多模态在诗歌分析中的应用、多模态与政治漫画的研究以及多模态对电视新闻和网络视频的分析。由此可见，多模态的应用研究已达到一定深度，广泛涉及外语教学和文本分析的多个层面。
3.5. 研究讨论
多模态话语分析在国内尚未成为主流，还有非常大的研究空间(国防，2012) [17]。通过对国内多模态话语分析研究领域的深入分析，借助文献计量软件CiteSpace，我们考察了年度发文量、核心作者与研究机构、关键词分布、研究趋势、热点及前沿等多个维度。据此，可总结出以下几点观察：首先，就年度发文量而言，国内多模态话语分析的相关研究总体上展现出缓慢上升的趋势。其次，从主要作者和机构来看，作者与作者之间、机构与机构之间联系不够紧密，缺乏深入的合作与交流，学者间的学术交流与合作亟待加强。再者，从当前的研究热点与前沿动态来看，“多模态隐喻”“模态间的协同关系”“供用特征”以及“基于多模态视角的批评话语分析”均是国内多模态话语分析领域内备受瞩目的焦点问题。最后，从研究趋势来看，前期的相关研究主要在于对国外理论的引进和评介，后期则致力于探讨具体多模态文本中的多模态现象及各模态之间的互动关系。
然而，在对国内多模态话语分析领域进行文献计量分析的过程中，我们也发现了几个方面的不足之处。首先，学科间的融合与互补在深度和广度层面仍需进一步强化，且与新兴学科的交叉研究显得较为不足；其次，在语篇分析的具体研究领域，多数研究聚焦于广告语篇、教学语篇、新闻语篇及演讲语篇等对象，而对于法律语篇、政治语篇以及医患语篇等常涉及利益冲突的重要类型的研究则相对较少。最后，需要指出的是，国内的多模态话语分析研究仍然在很大程度上依赖于国外提出的理论框架。相比之下，中国本土化的多模态话语分析理论发展相对不足，仅有张德禄(2009) [8]在韩礼德的多模态话语分析框架基础上，提出了一个具有综合性的分析框架。考虑到我国当前多模态话语分析的研究现状与趋势，本研究提出以下建议：
1) 打破学术壁垒，促进各学科间的融合发展。尽管国内多模态话语研究已展现出与其他学科(例如传播学)相结合的趋势，但其融合的深度仍需进一步强化。此外，多模态话语研究还应积极探索与新兴交叉学科的结合点，如计算语言学和人工智能等领域，从而在顺应时代发展的背景下，逐步拓宽国内多模态话语分析的研究视野，使多模态话语分析不再受限于单一的研究视角。除此之外，学界还应积极借助跨学科理论以及相关多媒体技术(如计算机)，形成跨学科视角下的团队性合作研究，提升研究的创新性(胡晓，2022) [10]。
2) 多模态文本类型研究趋向多样化。除了以广告语篇、教学语篇、新闻语篇和演讲语篇等为研究对象，多模态话语分析的研究也应更多关注其他类型的语篇，如法律语篇、政治语篇和医患语篇等。基于此，未来研究应该以解决实际问题为起点，探讨不同情境下语言交际与语境关联，深挖此类语篇中的语言与社会理据，为解决利益冲突提供支持，促进社会和谐。
3) 深化理论探索，使国内多模态话语分析更加本土化。当前，国内多模态话语分析的研究普遍依赖于西方理论，而对于中国本土的多模态话语分析框架的关注则相对不足。朱永生(2007) [1]指出，多模态话语研究面临一些现实问题，包括研究过于主观、模态间的互动关系与互补作用难以明确界定，以及研究群体主要局限于系统功能语言学者等。程瑞兰、张德禄(2017) [18]强调多模态话语研究缺乏既统一又完善的多模态语法。因此，国内学界亟需组建一支专注于多模态话语研究的团队，以张德禄、李战子、冯德正等核心学者为引领，通过紧密合作，共同研发全面、系统且实用的多模态话语研究理论体系，并致力于构建契合中国国情与时代需求、具备中国特色及指导意义的理论框架与模型(陈风华、弗朗西斯科·维勒索，2017) [19]。
4. 结语
本研究在“外国语言文字”和“中国语言文字”学科下，以CSSCI和北大核心期刊的多模态话语分析相关文章为研究对象，借助文本挖掘功能强大的可视化工具CiteSpace，考察了国内学界在2003年~2023年间多模态话语研究的整体状况，并就国内关于该领域的未来研究提出了一些建议。研究发现：首先，国内多模态话语研究呈现总体上升的趋势；其次，国内该领域的研究趋势与热点主要聚焦于理论框架的探索以及模态间的协同作用等方面。最后，基于可视化研究的结果，本研究认为，国内学者在未来的多模态话语研究中，需更加重视并致力于理论探索、跨学科合作以及研究内容的深化等方面的工作。
本研究在时间、空间和内容等维度上对国内2003~2023年间多模态话语分析的相关研究进行了较为综合全面的阐述。在时间维度上拓展了学界以往对多模态话语综述研究的局限性，为未来的多模态话语研究提供了一定的参考与借鉴价值。然而，本研究仍然存在一些不足之处，如文献选取不够精确、期刊覆盖不够全面，导致获取的结论可能存在一些不够客观与科学之处，希望未来研究在更庞大的语料和更多维的视野基础上进一步完善本研究的发现。