1. 引言
话语分析(discourse analysis)兴起于上世纪50年代，由美国语言学家Harris在Language杂志上的“Discourse Analysis”一文中提出70余年来，全世界见证了话语分析的从无到有、由小及大的发展历程，大批语言学家对此进行了积极分析，总结出具有深刻价值的话语分析理论及方法 [1] 。
于20世纪90年代，多模态话语分析(multimodal discourse analysis)取得了突破性的进展。其不仅对语言系统和语义结构本身及其与社会文化和心理认知之间的关系进行了研究，还补充了图象、声音、颜色、视频等其他话语形式 [2] 。由于人与人之间的交际以及人的学习模式本就是多模态的，此类研究的提出很大程度上克服了此前话语研究的局限性。
多模态话语研究已成为话语研究发展的必然趋势。早在1916年，现代语言之父Saussure指出，生活中实际使用的话语才是语言学家真正需要研究的对象，基于文本的语言形式和结构研究并不能从根本上解决语言学家想要解决的问题。多模态话语研究不仅加深了人们对符号学的认知，还促进了美学、文学、修辞学、传播学等学科的发展，使其研究视野得以扩展，研究内容得以丰富。
近数十年来，国内外语言学家等各类学者对多模态话语进行了大量研究，发表了众多影响深远的文献。这些文献在研究方法、研究重点、研究方向等方面侧重均不同。因此，有必要对近年来的多模态话语文献进行梳理，从而让学界对此方面研究有全面、清晰的了解。本文将论述与多模态话语紧密联系的四个问题：多模态话语的界定、多模态话语研究的发展历程、研究热点和展望。
2. 多模态话语的界定
Halliday创立的系统功能语言学(Systematic Functional Linguistics)主要在语言层面对多模态话语进行研究，是研究多模态话语的重要理论基础之一，其中的系统(system)是指任何语言层次(如音系、语法、语义等)中纵聚合关系的呈现 [3] 。语言在社会交际中形成和发展，由于社会交际的复杂性和多样性，语言在演变的过程中添增出许多分枝，这些分支被总结概括为语言系统。话语是社会文化语境中人们互动的产物 [4] ，社会文化语境包涵社会文化背景、历史文化背景、社会价值观念、思维方式等，且与语言系统有着共性。
从多模态话语研究的理论基础来看，系统功能语言学是70%以上的理论来源 [5] 。直到2013年，认知语言学理论的提出和拓展使多模态话语的研究理论来源更加广泛 [6] ，对多模态话语的界定进一步清晰化。
如今传统的依靠单感知渠道(如传统依赖文字)难以满足“话语”信号的接收和传递。随着功能性的增强和增多，人们不得不将感知渠道由原来的单模态(如单选择文字、图片、声音等模态的一种)拓展至多模态。与之对应的传播媒介，作为“话语”传递的重要载体，在科学技术和互联网应用强度等外界社会发展因素的影响下呈现出多样化。受此影响，传播媒介的选择日益丰富，其他感知渠道对“话语”的作用也不断增强。视觉、听觉、味觉、嗅觉、触觉，作为生命体具备的重要的五种感知渠道，在当前话语研究中得到重视。它们相互配合，在一定情况下也具备相互替代的作用，形成不同感知渠道分支，单模态感知渠道也逐渐向多模态感知渠道进展。多模态感知渠道对应的是语言、技术、图像、颜色、音乐等多极信号的接收和传递，而这些多级信号也是符号系统的部分构成。因此，多模态话语研究从传统语言学领域转向系统功能符号学领域，实现了多模态话语研究领域的拓展，以及未来研究方向的创新。
此后基于不同理论的多模态话语研究不断涌现。由于多模态话语研究具有多样性和复杂性，目前学界对于多模态话语的界定也大同小异，其研究基础从传统的系统功能语言学到认知语言学，研究角度也逐渐由语言系统深入到语言结构和功能、社会与文化等不同领域。
3. 多模态话语研究的发展历程
话语的多模态性并非是一个新兴现象。由于其过于普遍，人们往往忽视其重要性与必要性。在人际交往中，除直接表达的口语外，还有说者与听者的表情、动作、语调等非言语交际手段，向群体成员传达你是什么样的人，个人对他人的感觉如何，个人在交流时的精神状态(如自信或焦虑)。
3.1. 多模态话语研究的雏形
事实上，在我国古代，人们已意识到多模态话语的存在及其重要性。西晋著名文学家陆机曾提出，“宣物莫大于言，存形莫善于画”，认为画比言语可以更好描述形态；元朝时期王实甫写的《西厢记》第三本第一折“只你那眉眼传情未了时”，这也是成语“眉目传情”的出处。毋庸置疑，这些均属于多模态话语的范畴。当婴儿的表达方式从最简单的哭和笑逐渐发展到用简单的话语来表达诉求的时候，当他们慢慢可以听懂大人的话语之时，当他们可以通过别人的动作、表情、目光、声音逐渐领会他人的意愿之时，他们也就学会了真正的交流。这是原始语言进化为现代语言的大致过程，也正是在幼年语言进化到成年语言的过程中，语言的多模态性代代传承。
3.2. 多模态话语研究的正式提出与突破性进展
20世纪三、四十年代，欧洲功能语言学派的语言学家开始对视觉艺术及戏剧表演的非语言方面开展研究 [7] ；20世纪50年代末，美国语言学家对口语和非言语行为(Non-verbal language)的多模态分析产生了兴趣，随即掀起了一股研究热潮。
20世纪90年代，多模态话语分析取得突破性进展，多模态话语研究取得长足的发展，其跨学科性也逐渐显现，并应用于教学、新媒体、形象塑造、动画、电影等方面，多模态话语研究的价值进一步扩大。自此，多模态话语研究的新世界大门缓缓敞开。在互联网、个人计算机及其他数字技术出现并兴起后，多模态话语特征更加凸显出来，声音、文字、表情、色彩、空间、动作等同时出现的多模态话语也逐渐增多。虽然言语交流仍然作为交流的主要方式，但网络传播媒体逐渐趋向视觉化及图像化。人们对某项事物的理解不再局限于对书面语言的认知，它还扩展到对图像、动作、空间的思考。
3.3. 多模态话语研究在中国的阶段性成果
李战子在2003年将多模态话语研究引入中国学术界，介绍了国外学者关于视觉语法理论中图像分析的社会符号学框架。自此，国内学术界展开了对多模态话语研究的探索 [8] 。2007年，朱永生界定了多模态话语的概念、研究方向及意义，从模态的数量和单个模态所包含的符号系统的数量来识别多模态话语。张德禄将多模态话语研究界定为五个层面：文化层面、情境层面、话语意义层面、语法层面和媒介层面，以系统功能语言学为基础，建立了多模态话语分析的综合框架 [9] 。张德禄与王璐在2010年研究分析了在大学英语课堂教学中各种不同模态是如何配合从而更好完成教学目标的，将理论研究与实践探索进行综合探讨，促进了多模态话语研究在国内教学领域的应用 [10] 。
4. 多模态话语的研究热点
多模态话语研究涵盖多个领域和学科，因此，为了更好地研究多模态话语，方法之一就是聚焦多模态话语的研究热点。以下为国内网站多模态话语类研究论文的三个高频关键词：视觉语法、影视作品和多模态教学。
4.1. 视觉语法
现阶段，传媒发展是以语言和非语言符号相结合而成的，这也促使了文化交流由传统单一模式向“多模态”模式进行转变。多模态话语是运用听觉、触觉、视觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号来进行交际。
而视觉语法理论是在系统功能语言学的基础上提出的。系统功能将语言分为概念功能、人际功能和语篇功能三部分。基于这三大语言功能，视觉模式从以怎样的方式和传递什么意义出发，构建出了一个以再现意义、互动意义和构图意义为中心的视觉语法框架。在视觉语法中，再现意义通过图像中人物、环境、地点事件的关系来体现，分为叙事再现和概念再现。叙事再现主要关注动作，受参与者行动、言语等影响。概念再现表示参与者稳定、持久的状态，受分类、分析以及象征过程的影响 [11] 。
4.2. 影视作品
在如今的互联时代，大众传媒呈现智能化、便捷化与移动化等特点，而单一的语言文字系统难以表达完整意义，因此，媒体倾向使用声画合一的多模态表达方式。比如，电视剧《狂飙》就是非常典型的多模态话语，在内容构成上具有图像模态、声音模态与语言模态等多模态符号资源。《狂飙》展现了在扫黑除恶过程中新时代的执法者的举措，并通过表达文本意义，较为生动形象地描绘出扫黑除恶的艰辛以及来之不易的成功。笔者认为《狂飙》多模态话语可以分为图像模态、声音模态和语言模态三部分，以及再现意义、互动意义与构图意义三方面。
首先，图像模态奠定了受众对执法者的初始形象感知；其次，声音模态通过演员台词与背景音乐，营造相关的情境，增进人物的情感；最后，语言模态通过语境因素、语气系统与语体，发挥出强化主体以及解释引导的作用。例如，电视剧《狂飙》建构了执法者安欣的形象，其构图、同期声、文本符号、视角与话语风格等要素在多模态共建过程中对建构其形象发挥了重要作用。其中，图像模态给予受众直观的视觉展示，有助于增强受众的理解；声音模态有助于情感渲染，激起受众的情感共鸣；语言模态具有深化解释的作用，有助于培养广泛的社会共识。
4.3. 多模态教学
过去多模态话语分析理论多用于分析静态的多模态语篇，例如，PPT课件、平面广告、书籍封面、儿童绘本等印刷品。在多媒体时代，图像和声音等模态已经逐渐上升至主流地位，这些模态与语言文字符号共同构成多模态话语资源，一并参与信息的传递，被称之为“动态多模态语篇” [12] 。章洋在2019年也指出，“动态多模态教学语篇”是指微课、慕课等新型数字化学习资源中的视频流，属于外语学科的概念。在其它学科中，心理学界称为“多媒体学习资源”，教育技术界则将其称之为“数字化学习资源”或采用更加具体的称谓，如“视频公开课” [13] 。
5. 多模态话语研究展望
多模态话语研究是在国内外语言学界、符号学界、教育界、文艺界、传播学界等领域快速发展的研究课题 [14] 。国内外学者进行了大量的关于多模态话语研究的理论探索与应用研究。国内以张德禄、顾曰国、胡壮麟等为代表的学者丰富了中国多模态话语研究理论，并开展了应用研究。但是，目前的多模态话语研究仍有待进一步探索。
5.1. 扩大研究对象
国内多模态话语研究的语料主要集中在宣传网页、广告语篇、电影海报等方面，研究对象及内容都比较单一，并且多集中在对静态书面语篇及部分动态多模态话语的分析 [15] 。随着新媒体技术的快速发展，应当给予新型多模态话语更多关注，例如，音乐、网络购物话语、短视频等，减少多模态话语研究内容雷同的倾向。
5.2. 拓展研究领域
过去，我国多模态话语研究涉及的课题存在集中化倾向，导致了研究课题分布不均的问题。例如，多模态在教学领域的应用研究、多模态话语中的隐喻和符号学研究、多模态化与识读实践、多模态话语的系统功能语言学分析等研究较多，而在多模态与新媒体、批评性多模态研究、多模态语料库与话语标注分析等领域的研究则明显不足 [16] 。不应该重复前辈的研究，不能只是纠结于细枝末节的补充，而应当勇于创新，寻找新的着力点，探索新的研究领域。
5.3. 提高研究层次
当前国内多模态话语研究的同质化倾向比较严重，部分文章是对某一研究对象的纯文字性解读，缺乏理论及研究方法的创新。学者应将定性分析与定量分析相结合，努力探索基于研究对象对多模态话语研究的更深刻见解。此外，一些文章的着力点是对中国的某一事物的多模态话语的研究，忽略了与国外相似文章的对比分析。对同一事物在不同文化背景下的多模态分析有助于中国多模态话语分析理论和方法的创新性发展。
5.4. 加强跨学科研究
如今科技高速发展，很多事物往往不只涉及一个方向。而现有的多模态研究缺乏与计算机科学、传播学等学科的综合性研究，所以，在未来的多模态话语研究中，应当挑战不同学科的界限，实现真正意义上的跨学科研究，并善于借助多种学科的理论和方法拓展研究思路。
6. 结语
多模态话语研究的出发点是将语言及其意义的阐释扩展到其它交际模态 [17] ，从而提高受众的理解力。随着互联网的快速发展，很多领域都突破了传统的单一模式，实现了多模态话语的融合。这也为广大学者提供了更为丰富的研究对象。因此，多模态话语研究者要提高创新性思维能力，避免现有研究的同质化现象，寻找多模态话语研究的新热点，扩大研究对象，拓展研究领域，提高研究层次，加强跨学科研究，推动多模态话语研究在理论与实践方面的发展。
基金项目
项目信息：本篇为吉林大学学生大创项目论文。
项目编号：S202310183051。
项目名称：中国双一流大学形象建构的多模态话语研究。