1. 引言
多模态(multimodality)指的是在交流和信息传递过程中，使用多种符号系统或渠道的现象，包括但不限于语言、图像、声音、手势和表情。过去传统的结构主义语言学主要聚焦于符号学意义上的单个模态，即语言。通过剥离与语言相关的文字、语音、政治、社会、文化、地理、历史等因素，将研究对象简化为语言结构。20世纪末，随着对单一符号系统研究局限性的认识加深、数字媒体与互联网技术的飞速发展，研究者们开始注重人类在交流中呈现出的复杂多样化特点，多模态研究随之逐渐兴起。
国内多模态研究在过去二十年间取得了显著进展，研究领域从最初的理论探讨逐步扩展到实际应用，涵盖了多模态话语分析、多模态隐喻、多模态语篇研究等多个方向。本文以中国知网(CNKI)中收录的核心期刊为数据基础，使用CiteSpace (6.3.R1)文献计量软件，将时间范围限定在2010~2024年间，并将关键词设定为“多模态”，从而筛选出公开发表于知网平台上的多模态语言学领域文章进行详细分析，以便于把握多模态在语言学研究领域目前的现状、热门研究领域、未来发展趋势等，从而对未来相关领域的多模态研究提供参考数据。
2. 多模态研究起源背景与发展概况
早期Saussure结构主义语言学和Peirce符号学理论为多模态研究在语言学领域的发展奠定了重要的理论基础。Barthes在其作品《符号学原理》一书里阐述了符号学的几个基本概念和理论框架[1]。Halliday的系统功能语言学理论体系将语言看作社会符号系统，聚焦于研究语言在特定社会语境中的主要功能和意义，并提出了语言系统的三大元功能，即概念、人际与语篇功能[2]。此后，O’Toole借鉴该三大元功能理念，通过研究建筑、绘画、雕塑中视觉语法的呈现提出了再现、模态和构成三大意义[3]。Kress & van Leeuwen在《阅读图像——视觉设计的语法》(Reading Images: The Grammar of Visual Design)中拓展了系统功能语言学，将研究范围从语言文字拓展到了视觉图像等多种模态，形成了基于视觉模态的系统功能语法分析框架[4]。随着多模态研究的深入，Jewitt将多模态研究区分为了社会符号学分析、系统功能语法分析以及社会互动分析三个视角[5]。此外，在认知语言学领域，以George Lakoff & Mark Johnson的认知隐喻理论[6]为基础的多模态隐喻研究也受到了广泛学者的关注，Forceville等学者也基于此对多模态隐喻进行了系统性的研究[7]。为了更好地分析漫画视觉叙事结构，Bateman & Wildfeuer以社会符号学理论为理论框架，并结合语义学概念提出了新的多模态语义分析模型，为多模态话语分析的在计算建模和量化研究领域提供了有力支持[8]。
国内的多模态研究工作在语言学领域相对于国外起步较晚。2013年，学者李战子最早开始从社会符号学角度研究多模态语篇，并系统性阐述了Kress & van Leeuwen提出的视觉语法理论和图像分析方法[9]。2007年，胡壮麟对多模态话语分析(MDA)中的核心概念，如模式、模态、多模态等进行了细致界定[10]。同年，朱永生深入探讨了多模态话语分析研究的起源、定义、理论基础、研究方法、发展趋势和未来展望[11]。张德禄借鉴Haliday的系统功能语法，提出由语义、文化、形式、语境和媒介五个层次构成的MDA综合分析框架，为国内多模态研究提供了扎实的理论基础[12]。近十年来，国内多模态在语言学领域的研究范围变得更广，研究方法和理论框架也变得更为全面与系统。因此，本文将重点放在2010年至2024年在中国知网平台上发表的优质文章，以探究国内多模态研究的基本现状、热点领域和发展趋势。
3. 研究设计
3.1. 研究问题
(1) 2010~2024年间国内多模态研究的基本现状是何？
(2) 2010~2024年间国内多模态研究的热点领域有哪些？
(3) 国内多模态未来发展趋势及走向是什么？
3.2. 数据来源
本研究以中国知网(CNKI)平台上的核心期刊(CSSCI与北大核心期刊)为数据基础，采用CiteSpace (6.3.R1)文献计量软件等工具对国内2010~2024年间的多模态研究类文章进行筛选与数据分析。笔者首先在知网平台上以“多模态”为篇名进行文献检索，检索得到数据共23,095条，接下来，笔者设定检索篇名为“多模态”并将出版年份范围限定为“2010~2024年”、文献类型限定为“期刊”、来源类别限定在“北大核心期刊、CSSCI”，从而对上述检索结果进一步筛选，初步筛选出文章3147篇，最后，笔者从初筛后的文章中筛除了不属于语言学范畴内的文章，最终得到2010~2024年间中国知网平台上收录关于多模态在语言学领域内相关文章共716篇，这716篇文章即本文利用CiteSpace (6.3.R1)进行研究与分析的数据源。
3.3. 研究方法
CiteSpace (6.3.R1)作为一款文献可视化工具，能够通过分析文献的引用关系、关键词贡献以及作者机构合作关系等信息帮助研究者快速分析文献间的关系及发文趋势，并将其通过科学知识图谱的方式进行呈现。在确定数据源后，笔者将从中国知网上批量下载好的716篇文献导入CiteSpace中以获得年度发文量、高产作者与机构、高频关键词、关键词共现及聚类图谱等信息用于分析。
4. 文献基本概况
4.1. 年度发文量
为观察多模态研究领域的年度发文量，笔者利用CiteSpace数据分析软件对数据源期刊发布年份进行分类统计并将结果进行绘制由下方折线图(图1)表示。
年发文量的变化能大致反映该领域研究的活跃程度，图1中折线图展示了2010~2024年国内多模态在语言学领域相关研究的文献数量及变化趋势。通过分析图1可知：在经历早期李战子等学者将多模态理论引入并奠基后，国内多模态应用研究在2010年至2013年期间的相关发文量显著攀升，在2013年达到第一个高峰，发文量为64篇；2014年至2023年期间，发文量呈波动式上升并逐渐趋于稳定，在2023年间达到第二个高峰，发文量约为2010年的3倍，数量高达65篇。总体来说，2010~2024年总体发文数量在经历快速上升后逐渐趋稳，目前已进入平稳发展期。
Figure 1. Publication volume and trends of domestic multimodal research (2010~2024)
图1. 2010~2024年国内多模态研究文章发文量与发文趋势走向
4.2. 高产作者与研究机构
笔者首先利用CiteSpace对高产作者及研究机构进行分析，得到作者与研究机构混合网络图谱如图2所示，其次将高产作者按发文量进行排序归类，将发文量排名前七的作者整理分类后得到表1。
Figure 2. Prolific authors and research institutions in domestic multimodal studies (2010~2024)
图2. 2010~2024年国内多模态研究高产作者及研究机构
Table 1. Ranking of prolific authors in domestic multimodal research (2010~2024)
表1. 2010~2024年国内多模态研究高产作者排名
序号 |
发文量(篇) |
核心作者 |
1 |
31 |
张德禄 |
2 |
14 |
冯德正 |
3 |
8 |
赵秀凤、陈风华 |
4 |
7 |
潘艳艳 |
5 |
5 |
刘玉梅、黄立鹤 |
6 |
4 |
孙毅、康志峰、刘剑、王治国 |
7 |
3 |
汪燕华、张淑杰、张宜波、代树兰、刘秀丽、吴玲娟、侯建波、刘颖、张强 |
从图2中可以观察到，国内多模态的主要研究机构为同济大学、中国石油大学、香港理工大学、南京师范大学等高校。图2中作者合作图谱N值为361 (即有361个节点)，代表有361位作者，E值为112 (即节点间有112条连线)，合作密度为0.0017，表明核心作者节点分布较为分散，缺乏系统的协作网络。其中以同济大学的研究团队张德禄与黄立鹤等人、香港理工大学的研究团队冯德正和陈风华等人为中心的合作网络较为明显。从合作关系来看，大多学者归属于同一学科门类且以同校内部合作居多，跨学科、跨地域的研究合作体系还尚未形成。最后由表1可知，2010~2024年间发文量最多的学者为张德禄，共发文31篇，其次是冯德正，发文14篇，紧接着是赵秀凤、陈风华、潘艳艳、刘玉梅、黄立鹤等学者。
5. 研究热点与趋势
5.1. 研究热点：关键词频次与中心性分析
关键词是对文章核心主题与研究领域的概括，利用CiteSpace对关键词词频及中心性进行梳理，能够帮助掌握2010~2024年间国内多模态研究的重点内容和研究热点，统计结果见下方表2。
Table 2. Frequency and centrality statistics of keywords in domestic multimodal research (2010~2024)
表2. 2010~2024年国内多模态研究关键词频次、中心度统计表
关键词 |
频次 |
中心性 |
多模态 |
243 |
0.64 |
大学英语 |
16 |
0.03 |
图文关系 |
13 |
0.03 |
隐喻 |
10 |
0.03 |
视觉语法 |
7 |
0.01 |
语料库 |
7 |
0.01 |
教学模式 |
7 |
0.00 |
多媒体 |
7 |
0.01 |
叙事 |
6 |
0.01 |
国家形象 |
6 |
0.02 |
多模态化 |
6 |
0.01 |
话语分析 |
6 |
0.00 |
字幕翻译 |
5 |
0.00 |
儿童绘本 |
5 |
0.00 |
通过进一步分析表2中关键词所属文献，发现“大学英语”从属于“教学模式”，而“图文关系”讨论的则是意义建构的问题，剔除无效词“多模态”后，可得出2010~2024年国内多模态研究的热点主要集中在“教学模式”“意义建构”“隐喻”等，说明了学界在阐释该议题时对上述关键词予以了高度关注。紧随其后的是“视觉语法”“语料库”等，最后是“多模态叙事”“多模态话语分析”“国家形象”“字幕翻译”“儿童绘本”等。其中“视觉语法”一词体现了多模态研究的理论框架之一。
5.2. 研究议题：关键词聚类分析
笔者通过利用CiteSpace对数据源中文献的关键词进行聚类分析，得到了以下12个类别(见图3)，清晰反映出了14年来国内多模态研究的核心议题，而图中类别序号则代表了该议题的热门程度。从图3可知，国内多模态热门研究议题依次是语料库、隐喻、大学英语、图文关系、互动、符号系统等。
Figure 3. Keyword clustering map of domestic multimodal research (2010~2024)
图3. 2010~2024年国内多模态研究关键词聚类图谱
在图4国内多模态关键词分时区聚类图谱中，则清晰地展示了国内多模态在2010~2024年不同时间段的研究热点和发展趋势。颜色渐变代表不同年份，紫色表示早期，黄色表示近期。节点大小和颜色深浅表示关键词显著性的高低，节点越大，颜色越深，显著性就越高。节点之间的连线表示关键词的共现关系，线条越粗，表明共现频率越高，关系越紧密。
观察图4可知国内早期多模态研究(2010~2015年)主要集中在对多模态基础理论的研究与探索上，如对符号系统、语料库等基础概念的研究。而在中期发展阶段(2016~2020年)，随着理论基础的建立，多模态研究逐渐向应用层面拓展，涵盖但不限于大学英语教育、隐喻研究、文化认知等领域，同时，实证性研究在这一时期开始显现，反映了研究方法的科学化与多样化。步入近期(2021~2024年)，国内多模态研究热点更加集中体现在互动合作、网络语言、情感分析等方面，展现了多模态在新媒体时代下的研究变得更加广泛的趋势，此外，教学模式与课堂互动研究依然是近期的研究热点议题，表明多模态研究在教育领域的进一步深化。
根据每项聚类及其相关联的高频关键词(见表3)，可以总结出国内多模态在语言学领域的四大研究议题，分别为多模态语料库、多模态教学与写作、多模态话语或语篇分析以及多模态隐喻，下面将针对这四大研究议题进行更为细致的分析。
Figure 4. Time-zone based keyword clustering map of domestic multimodal research (2010~2024)
图4. 2010~2024年国内多模态研究关键词分时区聚类图谱
Table 3. Keyword cluster information table of domestic multimodal research (2010~2024)
表3. 2010~2024年国内多模态研究关键词聚类信息表
序号 |
聚类名称 |
主要节点 |
1 |
语料库 |
信息、功能、认知心理、社交媒体、情感分析、法律英语 |
2 |
隐喻 |
国家形象、政治漫画、汽车广告 |
3 |
大学英语 |
自主学习、听说教学、写作教学、互动教学 |
4 |
图文关系 |
广告语篇、字幕翻译、意义构建、儿童绘本、封面语篇、图文互补 |
5 |
互动 |
会话分析、课堂教学、人际意义 |
6 |
符号系统 |
视觉语法、网络语言、现代汉语、叙事 |
5.3. 研究趋势分析
5.3.1. 多模态语料库
相比于传统单模态语料库(通常仅包含文本数据)，多模态语料库收集并整合了多种类型模态数据，如文本、图像、手势、音频、视频等内容，能够反映人们在真实的不同交际场景中使用多种符号系统进行交流的复杂性。早期便有学者开始关注多模态语料库的建构问题，2013年，顾曰国采用多模态语料库研究方法对鲜活话语多模态语料库的建库问题进行了研究[13]，2015年，黄立鹤同样针对现场即席话语语料库构建进行了研究，此外，后者还对多模态语料库与语言研究、教学研究及人文社科研究的交融作出了展望[14]。也有部分学者将研究焦点集中于小型多模态语料库的建设上，如口译语料库[15]、小型超文本“中国梦”语料库[16]、多模态同传语料库[17]，多模态旅游翻译语料库[18]等。近一两年来，多模态语料库研究逐渐体现了人文关怀与文化使命，张艳琼、呼司乐土及谭宇辰等学者分别对手语[19]、东乡语[20]以及土家语[21]进行了语料库建库，呼吁社会各界对其的保护和开发。
5.3.2. 多模态教学模式
随着我国教学改革的开展，以多元读写能力为主的国内多模态教学应用研究受到了广泛关注。2008年，朱永生借鉴了西方国家对多元读写能力的培养实例总结了对我国教学改革的启示，其中包括改变传统办学理念，将多元读写能力纳入教学大纲并作为考评标准等[22]。2009年，张德禄分析了多模态话语分析理论基础与综合理论框架，并提出了在多模态话语交际框架下应如何对模态进行选择的问题，他指出，各种模态应作为教学实践中的工具、助手与补充，由此提高教学效率[12]。此后，多模态教学研究主要围绕着大学英语读、写、视、听、说等能力的培养展开[23]，研究指出多模态教学模式不仅对提高学生的听说读写能力、英语综合应用能力以及自主学习能力具有较为显著的效果，并且对学生学习英语的态度产生了良好的反拨作用。此外，多模态教学研究还涵盖包括PPT [24]、课堂话语[25]、教学实践以及课程设计[26]等研究对象。随着现代信息技术的不断进步，多模态教学研究逐渐向智能化发展，部分学者开始关注虚拟现实(VR) [27]、贴真体验与建模[28]、AIoT智能课堂[29]等在多模态教学中发挥的作用，同时，在多模态教学实验中也逐渐引入了最新的量化分析方法，体现了教学模式的与时俱进。
5.3.3. 多模态话语分析
多模态话语分析(Multimodal Discourse Analysis, MDA)作为一种研究话语的方法，关注人们在交际过程中如何使用多种模态来构建和传递意义。1996年，Kress & van Leeuwen基于系统功能语法与社会符号学理论提出了视觉语法与听觉语法等新的多模态话语分析路径[4]。2007年，国内学者李妙晴最早从语言批评的角度分析了电影语篇《大红灯笼高高挂》，从再现、互动及构图意义方面初步探讨了电影语篇的多模态构建与文本互译的问题[30]。而后，朱永生和辛志英对多模态话语分析的理论基础、研究方法做出了引介和评述[31]。2012年，李战子等学者探究了多模态符号学的研究途径与发展前景[9]。近十年来，国内学者在原有多模态理论框架上，针对不同语篇对象进行了广泛且细致的研究，如电影[32]、纪录片[33]、广告[34]、海报[35]、杂志封面[36]、绘本[37]、新闻[38]等。在新媒体时代下，部分学者也开始以短视频为研究对象，2022年，吕梦佳等学者以YouTube视频博主为例分析了海外社交媒体中个体影像叙事对国家形象的建构[39]，2023年，欧梨成等学者聚焦于科技期刊短视频并对其进行了视觉说服策略研究[40]。此外，部分学者也注重多模态话语分析研究方法的创新，学者林晶将传统的话语分析方法拓展到多模态批评话语分析，并对其进行了理论探索与前景展望[41]，潘艳艳对多模态认知批评分析的发展进行了综述[42]，而董梅等学者对多模态审美批评话语分析框架进行了建构研究[43]。此外，多模态话语分析与语言学、符号学、翻译学、社会学、心理学、计算机科学等领域的交叉融合也愈加显现[44]。
5.3.4. 多模态隐喻
隐喻研究源于古典修辞学，历经了修辞学、哲学、语言学的演进。1980年，George Lakoff & Mark Johnson在著作《我们赖以生存的隐喻》(Metaphors We Live By)中探讨了隐喻的认知功能，为语言学隐喻研究提供了理论基础[6]。1996年，Forceville基于概念隐喻理论，首次对广告中的图像隐喻进行了分析，指出多模态隐喻是一种始源域和目标域分别由不同模态呈现而形成的隐喻，由此拓宽了隐喻研究的范畴[7]。2011年，国内学者赵秀凤结合Forceville & Urios-Aparisi所编《多模态隐喻研究》(2009)一书，简要介绍了多模态隐喻概念的界定、研究的起缘和发展，并从多模态隐喻的语类性、区别性特征入手细致地分析了隐喻研究的聚焦点[45]。随后，国内众学者开始从不同语篇角度切入深入分析多模态隐喻，学者俞燕明研究了新闻漫画的多模态隐喻表征方式[46]，张辉等学者研究了广告语篇中多模态转喻与隐喻的动态构建[47]，谢静对李安系列电影中角色与场景的多模态隐喻展开了研究[48]，段荣娟选取小说《红楼梦》为语篇进行隐喻分析[49]。此外，多模态隐喻也运用于大学课堂教学分析，如大学英语写作教学的实证研究[50]和大学英语课堂教学实验研究[51]。多模态隐喻在近十年来一直是多模态领域研究的一大热点，其研究范围及内容也在不断拓展，呈现出强劲的发展趋势。
5.4. 近三年发展趋势
Figure 5. Keyword burst detection map of domestic multimodal research (2010~2024)
图5. 2010~2024年国内多模态研究关键词突现图谱
关键词突现图谱可通过识别和展示关键词在相关时间段内的使用的频次情况，帮助理解特定研究领域的动态变化和趋势转向。图5显示了从2010~2024年间，最为突出的19个关键词以及它们对应的突现强度、关键词初现时间和结束时间。图中蓝色条表示关键词在整个时间段内的出现情况，红色条则表示该关键词的突现期。分析图5可知，2010~2024年，关键词突现强度最高的是“图文关系”(3.96)，该词从2010年开始成为研究热点，并持续受到关注。相比之下，突现强度最低的词为“互动”(0.88)。在国内多模态研究萌芽与发展期(2010~2020)“隐喻”“视觉语法”“教学模式”“图文关系”“语料库”等词是主要的研究热点，而近三年来，传统的利用数字媒体的教学模式已不能满足需求，“深度学习”成为了新的教学目标，此外，由于多模态领域研究技术的进步，依赖智性分析与数据模型软件的“特征融合”“深度学习”“话语分析”成为了新兴的研究热点，反映了时代发展趋势。
6. 结语
由本文分析可知，2010~2024年国内多模态在语言学领域的发文量在经历快速增长后在近几年基本保持稳定，但国内多模态研究总体来说滞后于国外，虽不乏本土研究理论与方法的提出，但实质上仍然依附于系统功能语言学、社会符号学等理论框架，需要进一步创新。此外，多模态隐喻、多模态教学模式、多模态语料库与多模态话语分析仍是国内多模态领域研究的重点。在新媒体时代背景下，多模态研究学者紧追时代热点，将研究范围拓展到了短视频领域，同时，科学技术的进步使得依托于智性分析软件的多模态情感分析、话语分析逐步成为研究新趋势。