1. 引言
多模态话语分析研究自上世纪90年代开始到现在方兴未艾，并且整体呈现出多元化趋势，成为了近年来课堂教学研究的新趋势。国内多模态话语分析的研究最早始于外语教学领域。李战子(2003)将多模态话语分析引入外语教学领域，开启了多模态话语分析在教学领域的先河 [1] 。吴玲娟(2022)以外语直播教学视频为研究对象，利用ELAN分析了线上教学中的多模态行为 [2] 。邓晓媛(2022)统计了近十年国内外语学界多模态话语分析发展情况，该研究发现多模态话语分析在外语教学中广泛涉及了不同视角、对象和方法，但对国际中文教育领域而言，该类研究还较为鲜见，尚处于起步阶段 [3] 。经过笔者对CNKI数据库进行文献检索后发现，已有研究中关于汉语多模态话语分析的成果主要涉猎国际中文语言要素教学、国际中文教材的分析以及国际中文课堂教学改进等几个方面。其中，理论研究如李雅(2018)对多模态话语分析理论进行的理论探讨 [4] 。同时，应用研究方面也受到了学者的广泛关注，陈新(2020)探索了国际中文视听说教学的多模态优化组合 [5] 。袁萍(2020)等人利用ELAN软件对国际中文语法教学进行多模态分析 [6] 。李娜美(2022)和王姗(2020)等人则主要分析了国际中文词汇教学中的多模态话语的作用 [7] [8] 。杨璇(2023)等人进一步通过多模态话语考察了对外汉语教材中少数民族的形象 [9] 。由此可见，多模态话语促进了国际中文教学在教学模式、教学手段、教材和教学资源方面的不断革新，但总体来说在话题选择、研究领域、方法创新、论证深度等方面较之外语教学研究仍有较大差距 [5] 。同时，疫情促使大规模线上教育成为主要趋势，混合式教学也有效地联通了线下–线上多模态课堂。因此，对于线上和线下的国际中文语法课堂多模态话语对比分析能够为线上教学提供参考，同时对线下教学如何选择话语模态形成反思，各自找准优势、整合技术、创新模式，从而促进线下线上国际中文教学提质增效。
2. 研究设计
2.1. 研究变量
本文是利用课堂实录进行个案对比分析，着重比较了线下课堂和线上课堂的语法教学中多类话语模态的运用，主要围绕下面三个问题展开调查。
线上与线下课堂多模态呈现的比例如何？它们有何种特征？
线上与线下课堂的师生互动情况如何？
线上与线下课堂中多种模态的话语间的关系为何？
2.2. 观察方法
第一，课堂观察的要义是以批判性眼光审视观察对象的特点并给予分析，需要做到准确、全面、深入。无论是定量研究的数据化展示，还是定性研究的多元化分析，课堂观摩要做到尽可能全面深刻的剖析。本文主要基于定量和定性的方法进行观察。首先，多模态分析量表参照了吴玲娟(2022)从师生角度对外语教学视频进行观摩的分析模式，着重探讨教师和学生语言行为模态、动作行为模态和多媒体运用行为模态在初级汉语语法课堂上的运用 [2] 。其次，使用语料分析软件ELAN对所选课的语料进行切分和分层标注，来统计不同课堂中语言、动作、多媒体运用的时长占比及分布情况。
第二，以观察量表为基础，对所观察到的主要内容进行了分析。观察量表分为三大板块：课程名称、课程类型和多模态的使用，如表1所示。根据话语互动理论，考查师生多模态教学话语的使用来分析课堂互动中多模态的作用。文章从语言、动作和多媒体三个角度考察了不同模态在教学中的表现。
Table 1. Class observation scale on the view of multi-modal discourse
表1. 多模态课堂观察量表
第三，利用ELAN (EUDICO Linguistic Annotator) 6.4标注软件较为准确地观察，分析和标注视频中的语言，肢体和多媒体运用情况。通过上述多模态课堂观察量表设置标注类型，创建教师和学生不同行为的标注层并根据观摩量表编辑相应的受控词汇；然后对视频内容进行切割和多层标注；最后，将ELAN的标注结果输入Excel表格进行数据统计和分析。如图1和图2所示，ELAN标注界面左上角为视频展示区，主要展示需要标记的视频；右上角为参数设置区，可以设置标注表格、标注文本、字幕等参数；下面是分层次的标注区域，主要是对不同类别的信息进行标记。本课程所观察的视频界面包含了多媒体显示和人像区域，能显示学生和老师的面部表情、手势以及上半身的身体运动等。
Figure 1. ELAN annotation diagram of “ba214” sentence teaching (part)
图1. “把”字句教学ELAN标注图(部分)
Figure 2. The ELAN annotation diagram of “a little + adj” and “adj + a little”
图2. “有点儿 + adj”“adj + 一点儿”ELAN标注图
2.3. 观察对象
在后疫情时代，语言教育迎来智慧化转型的新契机，教学模式由线下课堂教学逐步演变为线下、线上混合式教学。由于教学环境发生了改变，因而如何在线上教学中进行高效互动成为了研究的新热点 [10] 。为更好地观摩线上、线下如何利用多模态话语进行课堂互动，首先，本研究选取的课程类型为“初级汉语语法”课程，语言点为留学生常见语法偏误“把”字句与“有点儿 + adj”“adj + 一点儿”。其次，综合考虑课程性质和教学对象，选定线下课程为2008年北京语言大学莫丹老师展示的“把”字句的课堂实录以充分还原传统线下课堂教学。同时，为突出多媒体技术在线上课堂中的运用，线上课程选取了时间较新的2022年汉教英雄会中吉林大学教师组带来的语言点“有点儿 + adj”与“adj + 一点儿”的教学实录。最后，从Bilibili视频播放网站上下载所需观摩的教学视频，并导入ELAN软件进行原始语料的切分与定性，以此来统计不同教学视频中师生的语言行为、身体动作行为和多媒体运用行为的时长占比与分布情况。
3. 研究分析
无论是从生理学还是社会符号学角度看，教学中的多模态话语往往不是以单一模态的形式呈现，而是多种模态之间的互相交织 [6] 。通过对各种模态的分布情况的挖掘与分析能够体现出多种话语模态之间的相互协作情况。因此，文章通过ELAN软件的标注和统计得到了下列标注密度图，见图3至图4。
3.1. 线上与线下多模态话语行为分布对比
3.1.1. 线下课堂
传统的教学通常采用面对面授课的方式，观察者能够较为直观地观察到教师与学习者的语言、动作及多媒体的使用情况。由图3可知，在线下语法课堂“把”字句教学视频中三种模态呈现数量不均、协同出现、互补分布的情况。首先，教师与学生的语言行为以互补的形式出现，当教师进行提问或者发出练习的教学指令，学生进行回答或者跟读。其次，教师语言行为与身体动作行为以协同的形式出现，教师进行言语活动时往往搭配相应的身体动作进行辅助，有效地增强了信息传递的效果。最后，教师语言行为与多媒体运用行为也是互相协调，相互配合。教师通过呈现图片、例句或者播放视频进行提问或者讲授知识，两种行为模态相互协调。总之，在线下课堂中语言行为占据了主导地位，其他话语模态围绕语言行为展开并有力地辅助了教师的语言行为。
Figure 3. The density map of the “ba214” sentences
图3. “把”字句标注密度图
3.1.2. 线上课堂
现代信息技术的发展有效丰富了线上课堂的教学手段，促进了线上课堂多种话语模态的使用。由图4可知，在线上语法“有点儿 + adj”“adj + 一点儿”教学视频中三种教学模态密度不一，但是呈现出补偿式的出现方式。与线下课堂相同之处在于教师的语言行为与学生的语言行为在线上课堂中也是呈现互补的规律，一问一答或者问答相互交替出现。最显著的差异在于线下课堂教师身体动作行为密度远高于线上课堂，而线上课堂密度较高于线下课堂。师生的身体动作行为单一，主要是点头、摇头或者拍手，容易给学生留下刻板印象。其次，线下课堂缺乏学生多媒体的使用，线上课堂学生多媒体的使用频率较高。由此可见，在线上课堂中，运用多媒体的话语行为超越了语言行为，形成了以多媒体运用为主导，其余行为皆围绕其展开的教学新样态。
Figure 4. The density map of “a little + adj” and “adj + a little”
图4. “有点儿 + adj”“adj + 一点儿”标注密度图
3.2. 线上与线下多模态话语行为多维度分析
从微观的角度出发可以深入剖析各种模态资源之间的内在联系。多模态话语分析可以从多种模态资源的综合研究、相互作用研究以及如何统筹各种资源以获得最佳效果三方面着手 [5] 。本文主要探讨多种模态资源的相互协作以及如何获得效果最大化，故采用ELAN软件来统计三种教学行为的时间百分比(由于不同的教学行为在可能会同时进行，因此不同的行为所占的比例之和不一定为100%)。下列统计数据显示，线上课堂中教师与学生多模态话语行为时长占比由语言行为到多媒体运用行为皆呈递减趋势，而线上课堂中多模态话语行为时长占比则有所不同。教师多模态话语行为时长占比中多媒体运用行为占据主要时长而学生的语言行为占比最高。由此可见，运用多媒体的话语行为对线上课堂来说尤为重要。
Table 2. Total table of the proportion of multi-modal discourse behavior of “ba214” words
表2. “把”字句多模态话语行为占比总表
Table 3. The total proportion of multi-modal discourse behaviors of “a little + adj” and “adj + a little”
表3. “有点儿 + adj”“adj + 一点儿”多模态话语行为占比总表
3.2.1. 语言行为
本文观察的语言行为主要包括教师与学生在真实课堂中展开的有效对话，例如打招呼、提问、询问、回答问题、点名、反馈等言语行为。从上述统计可知，线下课堂语言行为占据了主要地位，学生语言行为比例较低，课堂活动中教师占据了主导地位，学生表现出配合或者较为被动接受的状态(见表2)。反观线上课堂，师生语言行为时长占比差距较小，教师在课堂中充分调动学生学习积极性，呈现引导式教学(见表3)。
3.2.2. 身体动作行为
本文观察的身体动作行为主要包括教师与学生在课堂中使用的从面部表情到上身肢体动作的一系列动作行为，例如点头、摇头、拍手、挥动手臂等。由于线上课缺乏直接性接触性动作，视频展示内容有限使得线上视频课中只能显示局部和有限的身体动作行为。从统计数据来看，线下课堂中教师和学生身体动作行为时长占比均远高于线上课堂，表明在虚拟空间中身体动作的展示受限(见表2和表3)。
3.2.3. 多媒体运用行为
本文观察的多媒体运用行为主要包括教师与学生在课堂中利用多媒体教学资源进行的课堂活动，例如PPT、雨课堂、超星等。根据结果显示，线下、线上课堂中多媒体的使用时长占比均较高，充分体现出多媒体技术应用于国际中文教学中的重要性(见表2和表3)。然而，线下课堂中学生通常选择直接与教师进行互动而不是使用多媒体技术进行互动，线上教学由于缺乏真实的互动而被迫使用在线工具进行课堂互动(见表2和表3)。
4. 总结
通过对线下、线上教学视频中教师和学生的多模态行为分布情况与时间比例的分析，归纳出了不同话语模态之间的关系。
4.1. 多种话语模态之间联系紧密
课堂教学中的不同行为是随着特定教学需求和学习者需求而产生和动态变化着的，不同话语模态的使用折射出课堂教学的不同特点。从多模态话语分析角度看，线下语法教学能够全方位地展现课堂中不同人物手势、肢体动作甚至是神情变化。因师生的语言行为、身体动作行为之间内在关系紧密，配合恰当，如教师呈现某种语言行为后会搭配相应的动作行为，使得师生的交流足以在短时间内被传递和接受。而多媒体运用行为则能为教师提供部分超越时空限制的模态，起到辅助教学的作用。线上课堂身体动作行为虽受限，但仍能充分发挥现代教育技术的作用，使用多种教学软件和教学工具，如通过PPT展示教学内容和开展丰富多样的教学活动。课堂练习和活动从真实转向虚拟，各种模态之间仍互相配合，师生借助多媒体软件来作为身体动作行为减少的补偿性手段。
4.2. 多种话语模态之间地位不等
由上述分析可知，本文观察的三种行为涵盖了视觉、听觉、触觉等多种模态，但是各种模态之间的地位是不平等的。传统线下语法课以教师讲授为主导，使用频率最高的模态是基于言语表达传递信息的类似于提问、讲授知识、反馈的语言行为，语言行为贯穿课堂教学。学习者在教师的指导下做出的机械回应或自主回应均属于语言行为话语模态，这是因为相较于身体动作和多媒体行为，借助语言行为传递信息的方式最为便捷和高效，是交际的主要手段。线上语法课多媒体运用比例远高于语言模态，教学活动完全通过多媒体这一媒介进行，降低了语言行为话语模态的优势地位，这是因为线上教学必须依托网络和网络平台展开，视觉模态被缩小，仅能展示教师上半身肢体，因此，教师通过传统的方式开展教学活动并不现实，只能通过多媒体来呈现教学内容、开展教学活动。整体来看，线上课堂的互动比较频繁，但缺乏真实性，原因在于多媒体运用具有强制性和高效性特点，教师使用在线工具与学习者进行互动时本可以兼顾所有的学生让其参与到课堂互动中来，但教师过强的现代技术话语权压制了学习者的主动性，从而导致课堂交际活动中学生的开口率较低。
5. 多模态国际中文语法教学新思路
国际中文语法教学不同于其他语言要素的教学，具有抽象性的特点，且语法点学习较为枯燥、难懂，因而营造真实交际环境成为了语法教学的重中之重。为改善线下语法教学语言行为支配地位和线上语法教学互动缺乏真实性的问题，教师和研究者们应妥善利用人工智能技术，以此赋能智慧课堂。同时，在借鉴马瑞祾等(2022)提出的智慧教学模式的基础上，尝试构建“虚实融合”的语法教学机制，提升线下、线上语法课堂多模态之间的配合度，从而打造沉浸式课堂教学 [11] [12] 。下文试图就如何实现课堂教学虚拟与现实相结合提出新思路。
5.1. 课前：聚焦学情分析
课前主要借助网络平台开展课堂前测。如借助在线学习平台学习通发送图片、视频或者问卷等多模态学习资源，帮助学生预习学习内容，降低学生畏难情绪。对教学者而言，更多的是预测教学困难。以“把”字句为例，教师可以通过在线问卷或者追踪学生上节课的反馈信息来收集学习者关于“把”的学习需求与学习难点，预测可能出现的偏误，以便在课堂中进行针对性化教学，打造科学、高效的语法课堂。除此之外，利用智慧教学平台自动推送个性化学习资源，满足学习者多样化的学习需求。
5.2. 课中：聚焦任务驱动
课中以线下教学为主，充分利用在线学习平台的丰富学习资源，打造线下、线上混合式教学模式。线下教学时可以借助实物、图片、视频等充分调动各种模态之间的协作。以“把”字句为例，导入部分常见教学方法是使用直观动作引导学生说出“把”字句，而线上学生通过视频软件直观地观察到教师的动作，然后利用在线聊天工具或者共享文档进行互动。学生的练习活动亦能做到线下–线上相结合的效果。如教师让学生进行“把一本书放在桌子上”这个动作时，VR、AR等现代信息技术能够模拟真实世界，让线下、线上学生隔空进行沉浸式互动。同时，由于人工智能技术ChatGPT能够较好地模拟真实人类，也可以通过与ChatGPT对话模拟真实交际。此外，在线平台能够对课堂进行实时监督，及时反馈学生学习情况与处理突发状况，从而帮助教师高效、科学地管理课堂。
5.3. 课后：聚焦巩固提升
听觉、触觉、视觉等模态具有直接性，唯有利用多媒体手段才能将其存于异时，留于异地。例如初级汉语学习者常出现“我把门关”“我把球打”和“我把水喝”等补语遗漏的偏误，关键在于对于“把”字句动词具有处置性的性质理解不到位，此时，无论是线下还是线上的学生都能通过课堂录播来巩固课堂知识，通过在线软件与教师进行实时沟通或者向其他同学询问，解决学习“把”字句的难点。除此以外，北京语言大学2023年发行的国际中文智慧教学系统2.0版能够利用大数据自动批量出题，个性化定制丰富的练习题，减轻教师工作量，使得规模个性化课堂成为可能。
6. 结论
本文通过对比线上和线下国际中文语法课堂的多模态话语行为，发现线上和线下课堂的多模态话语行为呈现紧耦合和松耦合的不同状态。其中，身体动作行为和多媒体行为线上教学处于松耦合状态，而线下教学则呈现紧耦合状态。同时，在身体动作行为上，线上课堂运用频率低于线下课堂，而多媒体行为则相反。这些研究结果表明，线上和线下课堂在多模态教学方面具有互补的趋势，需要在课前、课中、课后三个环节协调好多种模态之间的关系，课前：聚焦学情分析；课中：聚焦任务驱动；课后：聚焦巩固提升。这项研究的意义在于，通过线上和线下多模态话语行为的比较，可以为国际中文智慧教育提出新的多模态教学思路。同时，该研究也为多模态教学在其他语言教学领域的应用提供了一定的经验和参考。总之，通过对线上和线下国际中文语法课堂的多模态话语行为进行研究和探析，可以更好地了解不同模态教学的差异和特点，为提高多模态教学的效果和质量提供支持和指导。