1. 引言
自话语分析问世以来，其在语言学界的地位便不可撼动。从起初美国语言学家Harris的话语分析逐步发展出各种各样的话语分析方法，如：批评话语分析、积极话语分析、和谐话语分析等，话语分析在国际彰显出强大的生命力。但以上有关话语分析的理论和方法，基本都是以语言本身为研究对象，即只注意语言系统和语义结构本身及其社会文化和心理认知之间的关系，忽视了诸如图像、声音、颜色、动漫等其他意义表现形式，这就使得话语分析带有较大的局限性 [1] 。话语分析本身就具有一定的主观性，加之单单对语言文字一种模态形式进行分析，这就使得话语分析的权威性遭到了质疑。而随后兴起的多模态话语分析对上述问题有所贡献。
2. 模态与多模态
在生物学中，人类通过对世界的感知来认识世界、理解世界、改造世界。人类通过人体的各感知器官来获得相应的信号，进而信号在人体内通过神经等方式与媒介传递到大脑，最终形成对世界的感知与理解。而人类与外界获得信息交流的媒介就是感知器官，包括眼、耳、鼻、舌、手等；通过感知器官获得的感知渠道有5种：视觉通道、听觉通道、触觉通道、嗅觉通道和味觉通道，进而产生5种交际模态：视觉模态、听觉模态、触觉模态、嗅觉模态和味觉模态 [1] 。只涉及以上任意一种模态的叫做“单模态”，涉及两种及以上的我们可以称之为“多模态”。
3. 多模态话语分析与模态协同
多模态话语分析的理论基础是韩礼德的系统功能语言学理论。系统功能语言学认为语言是有功能的，语言的运用体现了语言的三种元功能：概念功能、人际功能和语篇功能。将模态与话语分析结合起来起源于索绪尔的社会符号学理论。索绪尔认为语言只是我们用于社会交往的一种符号，社会中包括图像、声音、颜色等的其他形式也是符号的一种。既然语言符号具有上述三种元功能，那么其他社会符号也应该像语言符号一样具有三种元功能。多模态话语分析是指运用多种模态或多种符号进行交际的现象。我们知道，语言符号背后会反映语言使用者的价值观与意识形态，那么其他符号的布局与安排同样也像语言符号一样，同样能够揭露创作者的意识形态。代树兰 [2] 也认为话语语言学对语言的单模态研究，需要与其他领域相结合。这也是多模态话语分析的理论基础。
使用多模态的原因是因为单模态无法满足创作要求，正所谓“众人拾柴火焰高”，因此某种形式创作需要用到多模态符号来完成。李妙晴 [3] 借助多模态话语分析的方法探讨了电影语篇如何构建多模态资源，从而实现电影与小说之间的互文。孙毅 [4] 以2011西安世界园艺博览会会徽为例，阐明了小小的一则会徽意义的构建并非仅仅语言文字，而是与图像等多种符号一起作用，共同反应和重塑历史、文化及社会。姚银燕和陈晓燕 [5] 则采用多模态话语分析的方法对一则企业形象电视广告进行分析，说明了视觉和听觉模态在企业形象建构中的作用，并解释了多模态符号如何相互作用共同实现语篇的整体意义。
模态协同是指各模态之间协同运作，互相配合，主次模态分工明确、有的放矢，背景化和前景化等技巧灵活运用，最终使得多模态交际顺利完成。因多模态涉及至少两种模态，所以模态之间便涉及各种关系，如互补和非互补，互补又包括强化和非强化两类；非互补又包括内包、交叠、增减、情景交互 [6] 。模态协同指的是互补关系。互补指的是两种模态相互配合，其中一种起主模态或基本模态的作用，另一种对主模态起到补充的作用。补充又可以分为强化和补缺 [7] 。强化是指次要模态对主模态的强化，如在传统课堂上的教师上课，教师通过口头话语传授知识，即听觉模态为主模态，通过板书加以辅助，所以视觉模态为次要模态，起到对听觉模态的补充作用，二者配合共同实现上好一堂课的多模态课堂；而补缺是说二者地位相等，互相补充，缺一不可，如看电视连续剧，视觉模态和听觉模态二者缺一不可，只出现视觉模态便成了看默剧，只出现听觉模态便成了听广播。张德禄和袁艳艳 [8] 以天气预报为例，探讨了动态多模态话语模态之间的协同。张德禄和王璐 [7] 探讨了多模态协同如何在大学英语课堂教学中共同作用，实现教学目标的。而非互补指的是各模态之间没有特定的联系。因本文主要讨论模态协同，故非互补关系便不再赘述。
4. 2022北京冬奥会的多模态话语分析与模态协同
4.1. 语料介绍
本文选取的语料为北京2022年冬奥会和冬残奥会组织委员会官方账号发布在bilibili软件上的北京冬奥会倒计时100天的宣传片，时长为2分钟。选取该语料的原因是作为冬奥会开始的最后一次宣传片，即距离冬奥会最近的一次宣传片，画面的整合，声音的选取，视频的设计一定意义非凡，是做好宣传工作的最后一站，对冬奥的知名度与我国形象的传播有着重要意义。
视频全长2分钟，可以用电影蒙太奇的手法对其进行切分，形成许多不同的小片段。广义蒙太奇的定义就包括声音与声音、画面与画面，声音与画面会因不同组合而产生特定的意义 [9] 。借此我们可以对视频资料进行更有条理的分析。从开始到24秒为第一段，25秒到1分50秒为第二段，其余为第三段。
第一段视觉模态为主模态，分为图像和语言文字符号，次要模态为听觉模态，只有心跳的声音符号，如图1、图2。
第二段听觉模态为主模态，包括朗读者声音符号、音乐符号(歌词主要为together for a shared future)和相应的背景声音符号，视觉模态为次要模态，主要是画面的布局与切换，如图3、图4。
第三段仍然是听觉模态为主模态，包括朗读者声音符号和背景声音符号，视觉模态是次要模态，包括中国的传统水墨和会徽等图像，如图5、图6。
4.2. 语料分析
第一段主要交代了世界背景，运动员们带着滑雪装备为共同的冰雪梦想准备出发，为听觉模态辅助视觉模态，属于模态配合的互补强化关系。画面中身穿各种颜色冰雪运动服的人站在不同的地方：雪山、沙漠、水乡……代表着来自世界不同地方，不同肤色的人们，在视频图像的切换中间穿插语言文字，对图像进行了补充，保证了视频所传递信息的完整与理解的准确性。听觉模态(心跳的声音)不仅传递出冬奥会倒计时100天的紧迫与激动，还有着更深刻的寓意。据本次宣传片设计项目的麦肯上海团队，在冬奥会倒计时100天之际，心跳声是一种共同的震动，更是共鸣，共鸣代表着所有人心跳一致，有着共同的理想与目标，是心连心的共振，是全世界运动员对于冬奥和冬奥精神的一种向往，在这个节点汇聚成的同频共振。符合当今世界百年未有之大变局的时代背景下全世界人民心齐聚，共同对抗不可知因素的整体趋势。视觉模态(文字“却有相同振动”，“有相通梦想”)在同阶段出现，仍是对听觉模态的补充说明，形成强化关系，表达了我国对本次冬奥会的期待与欢迎世界各国人们齐聚北京的强烈愿景，体现了我国爱好和平，亲仁善邻，与世界友好的正义情怀。
第二段的图像主要描述了身处不同地方的运动员过雪山、草地、沙漠、水路、破冰，克服万难，最终齐聚长城(北京)；接下来是各种冰雪运动项目竞技穿插各国人民的笑脸的场景，同时配以听觉模态(朗读者声音)，音乐符号贯穿整个第二阶段。此时听觉模态的朗读者声音为主要模态，视觉模态为次要模态，对听觉模态起到信息补充且更直观的强化作用。
Figure 9. Pitch and speech speed analysis
图9. 音高、语速分析
第二段音乐声音符号开始出现，通过praat音频分析软件对其背景音乐(女声)进行韵律分析，由图7可知，音高普遍在250 Hz以上，即出现了中高语阶(语阶的确定对照吴洁敏、朱宏达 [10] 的语音实验)；由图8，根据汉语基调的三级语速参数 [10] 分析可得，平均音节在135~300 ms，即语速较快；加之笔者对音乐的整体宏观感知，总体音乐旋律欢快、积极向上，奠定本次冬奥会欢乐，昂扬的情感基调；而听觉模态的朗读者声音(男声)为前景化处理，由图9同样可得朗读者声音为中高语阶、快语速，体现了朗读者欢快、活跃的心情。音乐作背景化处理，对整体起辅助强化作用。文字内容主要传达了在100天后的冬奥会上，希望所有世界各国的运动健儿们能够突破自我、超越极限，追逐我们共同的梦想。同时图像(奥运五环)与声音相互配合，都出现了2008年的北京奥运会，说明从2008~2022，作为奥运史上第一座双奥之城，北京的初心不变，中国的初心不变，始终秉持“友谊第一，比赛第二”的体育精神，“所有一心向梦的人，都将团结一起、并肩同行”，始终传达着“共同奋斗、团结一心”的理念，心齐聚，梦就绪，才有了时隔14年的北京冬奥会的成功举办。视频中一枪打出了行驶在金黄麦田中的中国高铁，金色代表财富，麦田代表丰收，代表着我国经济发展之迅速，彰显着作为中国人的自豪；高铁瞬间转为运动员的雪板，这种视觉模态的转变预示着奥运精神的“更高、更快、更强”。视频中“一起向未来”声音的出现，正是将本次冬奥的口号融入宣传，听觉模态继续作为主模态，视觉模态出现各国人民的笑脸，继续对听觉模态起强化作用。“一起向未来”符合构建人类命运共同体的中国倡议，以此为口号表达了中国希望世界人民团结一心、开放包容，共创美好家园的美丽愿景。2008年北京奥运会的口号为“同一个世界，同一个梦想”，表达了我国对开放、包容、团结、和平的世界的看法，而2022年“一起向未来”的口号表现了我国作为大国之一，不仅要表达对和平未来的呼吁，而且要带头践行实现和平、包容的未来世界的中国行动，不管中国遇到什么情况，中国一定会行动起来，同时我们希望世界各国“一起向未来”，一起出发，一起去奔向美好的前程(来自2022冬奥口号评审专家蒋孝愚)。体现了我国敢于争先，不惧困难，和平与共的大国责任与担当。此外，在宣传片43秒的时候，如图10，有一个很有中国诗意的镜头——“孤舟蓑笠翁”。湖面上，一位渔夫静坐在渔船上，运动员从湖面划过，奔向北京。在这种视觉模态中，视角降低，纵观渔翁静，运动员动，动静对比中，配以“风声”、“琴声”，传达出独特的中国意蕴。“孤舟蓑笠翁，独钓寒江雪”，仅一张图片便能体现中国人的集体文化记忆，体现了我国上下五千年灿烂文化的无与伦比。
第三段将古典水墨与现代冰雪运动相结合，仍是听觉模态为主模态，视觉模态为次要模态，视觉模态对听觉模态起着互补强化作用，如图11。听觉模态传达了对100天后相聚北京的期待，而视觉模态的运动员脚踩水墨勾勒出长城并在长城下驰骋，突出了水墨与长城代表中国的隐喻和对我国优秀传统文化的肯定，强化了听觉模态希望各国齐聚在北京的美好愿景，山河壮丽、文化灿烂的北京欢迎各国人们的到来，用文化彰显我们的自信，传递出我国对优秀传统文化的传承与自豪。
5. 结论
多模态话语分析师从话语分析，有利于揭露多模态语篇背后的意识形态。各个模态之间的配合形式更是多种多样，但冬奥宣传片是向外界展示我国面貌的方式，必须充分利用每种模态，因此非互补性的模态关系是直接杜绝的，多模态的协同能够克服单模态的短板，使得话语分析更加准确、全面，而随着当今世界数字化，多媒体技术的迅速发展，多模态语篇日益增加，多模态话语分析的发展前景定会更加广阔，越来越好。