1. 引言
随着计算机和互联网技术的发展，教育部提出“双基双主”课程目标，即基于互联网的自主学习和基于多媒体的课堂教学、以老师为主导和以学生为主体，计算机辅助教学使教育资源更便捷、更同步，也带来了语言学习的范式转变，因此把多媒体技术有效融入外语教学逐渐成为一种时代要求。多模态教学虽然新颖有趣，但是模态的选择涉及最佳搭配问题，不是完全自由的、随意的 [1]，对于一定的言语、一定的知识，教师选择何种模态进行表达是有待进一步研究的话题。
词汇是语言的有机组成部分，是外语学习的基础，在中学阶段，应试教育下的词汇教学以简单跟读、死记硬背等方式为主，词汇仅仅作为提升学生听、说、读、写、译等能力的跳板，词汇教学枯燥无聊且没有得到足够重视，而多媒体技术为英语词汇教学提供了图片、音频、视频等多模态材料，多模态词汇教学使课堂更加生动，教学资源、教学方法和检验方式都逐渐趋于多模态化，但多模态教学并不是外语教学与互联网技术的简单相加，它需要与学生的认知水平相适应，从而探索出最优的多模态教学方法。本文以某中学初一学生为对象，考察了四种模态显性词汇教学方式的效果，以期为我国初中英语词汇教学模式提供有益启示。
2. 文献回顾
双重编码理论由Paivio最早提出，最初的解释为人的认知过程分为表象过程和言语过程，二者共同发生作用 [2]；Paivio将双重编码理论进一步扩充完善，把人的认知系统分为两个既相互独立又相互联系的子系统——言语系统和非言语系统，言语系统是通过语言方式而感知到的表征信息，非言语系统指包括听觉、视觉和触觉等在内的感官系统 [3]。二十一世纪初，Richard E. Mayer强调了双重编码理论的重要性，并提出了多媒体教学理论和多模态认知学习理论 [4]，二者都是基于双重编码理论提出，多媒体教学理论认为言语与图片的结合更有利于学习，多模态认知学习理论下的双通道假设也指出大脑对言语和图像两种表征材料有不同的信息加工渠道，它们可以在学习者的大脑中形成统一的意向图式，但是由于学习者单个通道每次加工的容量有限，大量信息同时输入也许会造成认知负担。Paivio和Mayer都指出了图片与文字的结合在信息加工中的优势，而Paivio同时也强调了听觉和触觉等其他非言语系统的重要性。
二十一世纪以来，有关多模态教学的研究越来越多、越来越新颖，多媒体技术的发展为多模态教学提供了诸多便利，也拓展了新的领域。Mayer在2002年就把动画作为多媒体教学的辅助手段，并提出了一系列教学设计的原则 [4]；Mohammed Alfadil把VR游戏运用于外语词汇习得中，证明了VR游戏教学方式下的学生比传统教学方式之下的学生词汇学习成效显著 [5]；听觉材料对语言学习也意义重大，Regina Kaplan-Rakowski和Barbara Loranc-Paszylk对显性词汇教学中言语系统和非言语系统的效果进行了研究，证实了听觉材料的积极影响 [6]。尽管诸多学者认为且证明了多模态教学方式对词汇教学具有积极作用，但并不是所有的多模态方式都适用于所有的二语学习者，Joana Acha比较了口头注释、视觉注释以及口头注释加视觉注释三种方式对儿童词汇学习的影响，证实了口头注释对儿童更有帮助，其它两种学习方式对儿童的学习造成了认知负担 [7]。根据张德禄的观点，多模态课堂设计以取得最佳效果为总原则，其中三个相互关联的原则为有效原则、适配原则和经济原则 [1]，因此多模态课堂的优势并不在于多模态课堂与传统课堂之间的简单比较，而涉及了不同模态搭配之间的比较，任何模态搭配都要以取得更好的教学效果为前提，且模态搭配越简单、越有效，就越好。
基于多模态词汇教学的现状，笔者发现了两个多模态词汇教学和研究中的不足：1) 在我国初中英语词汇的实际教学中，英语教师不具备科学的词汇教学方式，随着多媒体技术的出现，教师把多模态教学方式拿来即用，并不了解此方式与初中生的认知能力是否相配，也不了解此方式对于词汇教学的效度如何；2) 以往学者的诸多研究只是比较了其中两种模态的教学效果，如传统方式和图片教学，亦如传统教学方式和多模态(不把模态细分，多模态教学过程包括了听觉、视觉或触觉等)。因此，本研究把在初中英语词汇教学中常出现的四种教学模态进行了比较，回答了以下问题：在显性英语词汇教学中，哪一种教学模态更有效？哪一种教学模态的学习效果更持久？
3. 研究方式
3.1. 研究设计
本研究采用2 (时间间隔) × 4 (组别)被试间设计，四个自然班级与四种教学方式随机匹配，四种教学方式分别为：纯文本、文本和图片、文本和音频、文本和视频，受试需要接受前测、25分钟的词汇教学、即时后测和一周后的延时后测，学生成绩采用单因素方差分析。
3.2. 参与者
172名初一学生参加了本次实验，他们都来自株洲同一所中学，分别属于四个班级，每个班级43人。经前测，他们的词汇成绩没有显著差异(F = 0.149，p = 0.930)，四个自然班被分为四个实验组，随机接受不同模式的词汇教学，12班采用纯文本教学(纯文本组)，11班采用文本和图片教学(图片组)，9班采用文本和音频教学(音频组)，10班采用文本和视频教学(视频组)。为了避免教师间差异，四个实验班均由笔者授课，两名经验丰富的英语老师对目标词汇难度和课件难度进行了判定和调整，后测成绩由笔者和其中一位英语老师共同打分。
3.3. 研究工具
本研究采用Paribakht and Wesche (1996)提出的词汇知识量表(附录1)进行后测 [8]，该量表分为五个词汇熟悉度等级，能同时测试学生对于目标词汇的的接受性知识和产出性知识，相应的给分标准可见附录2，即使后测和延时后测为相同试卷(见附录3)。
3.4. 研究材料开发
在实验正式开始之前，笔者从人教版和外研社版初一英语教材(上)中选取100个受试未学习的单词作为备选词汇，要求这所中学不参与实验的一个自然班级勾选陌生词汇，其中95%以上被认定为陌生的单词作为备选目标词汇，最终确定3个形容词、3个名词、3个动词和3个副词作为目标词。
所有课件由笔者和两名英语老师共同设计，纯文本组的课件中，每个单词的教授由中文释义、英文释义、三个短语和三个例句构成，图片组的课件由中文释义、英文释义、三张解释单词意思的图片和三个描述图片的例句构成，音频组的课件中文释义、英文释义、两至三首10秒的英文歌曲音频以及相对应的歌词组成，视频组的课件由中文释义、英文释义、两至三个10秒的影视片段以及相对应的台词组成，四种教学模态的课件可见附录4。
4. 研究结果与讨论
4.1. 初步分析
通过一般线性模型对学生两次后测成绩进行初步分析(见表1和图1)，结果显示时间间隔存在主效应(F = 23.482，p < 0.001)，实验组别存在主效应(F = 11.372，p < 0.001)，但是时间间隔与实验组别之间不存在交互效应(F = 27.229，p > 0.05)，被试受到四种教学模态的显著影响，即时后测和延时后测之间具有显著差异。
Figure 1. The interaction between treatment and time
图1. 时间与组别的交互图
Table 1. Tests of between-subjects effects
表1. 主体间效应检验
从两次后测的描述性统计数据(见表2)和交互效应图(见图1)可知，无论是在即时后测还是延时后测中，音频组的表现都是最好的，纯文本组其次，视频组再次，而图片组的成绩最差。纯文本组尽管在两次后测中的成绩排列第二，但是学生的记忆持久度最差，而图片组的记忆持久度最好。
Table 2. Descriptive statistics of immediate post-test and delayed post-test
表2. 即时后测和延时后测的描述性统计数据
4.2. 即使后测和延时后测分析
在两次后测中，四个实验组的成绩都具有区别，因而对两次后测成绩进行了单因素方差分析，从表3可知，四个实验组之间的成绩在两次后测中均存在显著差异(即时后测：F = 6.736，p < 0.05；延时后测：F = 5.385，p = 0.001)，采用雪费事后多重检验确定具体组间差异。
Table 3. ANOVA results of immediate post-test and delayed post-test of target words
表3. 即时后测和延时后测的单因素方差分析
从表4可知，在即时后测中，音频组的表现显著优于图片组的表现(Sig = 0.001)；纯文本组的表现也显著优于图片组的表现(Sig = 0.015)。而在延时后测中，音频组的表现依然显著优于图片组的表现(Sig = 0.005)，但纯文本组与图片组的显著差异消失，音频组的成绩要显著优于视频组的成绩(Sig = 0.015)。这进一步说明了纯文本组和视频组的记忆持久度不佳，而图片组的记忆持久度较为理想，音频组次之。
Table 4. Multiple comparisons of the immediate post-test and delayed post-test of target words
表4. 目标词汇即时后测和延时后测事后多重比较
4.2.1. 音频组的优异表现
音频组和纯文本组在两次后测中的表现都优于视频组和图片组，验证了顾曰国(2007)提出的假设一：同模态学习过程比模态转换学习过程要容易一些，音频组的教学属于文本输入和听觉输入，纯文本组的教学属于纯文本输入，测试内容属于文本输出，纯文本组的输入和产出属于同模态学习过程，虽然音频组的学习多了听觉输入的模态，但是他们的音频材料是英文歌曲，学生会一起唱歌，在言语输入的过程中也同时进行了言语输出，这与测试目的具有很大的一致性。而视频组和图片组属于视觉输入，从学习到产出，学习者需要启动个人知识库中的相关资源，启动新模态，进行模态转换，这是耗费大脑资源的过程，且视频组中的视频材料还增加了听觉模态，极有可能对学生的学习造成了认知负担。顾曰国的假设三又提出多模态、多媒体学习比单媒体、单模态更能增强记忆力 [9]，本研究的结果与此假设一致，音频组的表现要优于纯文本组，且听觉输入对信息处理和长期记忆更有效 [10]，他的研究也证实了听觉输入对词汇学习的重要作用，正如Baddeley的发现，听觉输入可以直接进入语音存储系统，而视觉输入(如图片)需首先进入视觉空间系统，经过反复默念后才能进入语音回路，一旦学习者对字词表征的语音形式获取困难，如通过视觉输入学习陌生词汇，则会对学习者的模仿与记忆产生不利影响 [11]，所以在本研究中图片组的词汇学习效果较差。
4.2.2. 图片组的持久记忆
从即时后测到延时后测，四个实验组都显示了不同水平的记忆衰退，其中纯文本组记忆衰退最快，视频组次之，而图片组记忆衰退最慢，音频组次之。多模态学习比单模态学习更能增强记忆力，且恰当的模态转化可以增强学习者对所学内容的内化度，提高记忆的持久度 [9]，本研究的结果也契合了双重编码理论，信息加工可以通过言语系统(言语或文本)和非言语系统(音频或图片)同时进行 [3]，但由于多模态学习的两面性，多模态课堂的设计必须把学习者的注意力吸引到知识点上，以达到强化记忆的作用，否则会分散学习者的注意力，干扰知识记忆，这是图片组分数最低却记忆最持久的原因之一，图片可能分散了学生的注意力，但视觉能力和抽象思维能力较强的学习者依然能掌握知识，正如Gholam Reza Zarei和Saeed Khazaie的研究显示，视觉能力或言语能力较强的学习者在词汇记忆方面更有优势 [12]，百词斩APP是最为典型的图片辅助单词记忆软件，学习者的反馈也两极分化，部分人觉得效果显著，部分人反映只能记住图片而记不住其意义。本研究的结果与Mayer的假设相左，Mayer认为词语加图像一起学习比单学单词效果要好 [13]，现代多媒体教学方式一直把这一假设当作真实命题，且忽视了其中设定的许多原则，其中两条是形态原则(modality principle)和冗余原则(redundancy principle)，它们要求同时向学习者展示动画和描述，而不是同时展示动画和文本，更不是同时展示动画、描述和文本，因为动画和文本同时出现会对学习者的视觉输入通道造成负担，从而影响学习，本研究的教学设计使图片、描述和文本同时出现，违背了这两大原则，这是图片组分数最低却记忆力最持久的原因之二。
5. 结论
本研究比较了四种教学模态在初一学生显性词汇学习过程中的效果，结果表明，无论是在即时后测还是延时后测中，音频组的表现都最好，虽然图片组的测试分数最低，但是学生的记忆持久度却最好。正如张德禄提出，多模态外语教学要选择最佳模态组合 [1]，对模态的选择要为外语教学提供辅助条件，提高教学效率，对这批初一学生而言，文本和音频是他们词汇学习过程中的最佳模态搭配，音频资料的辅助(如简单上口的英文歌曲)不仅能提升学生学习兴趣，而且能让学生在词汇学习方面取得更好成效，在针对初中生的英语教材设计中，为生词加入相对应的英文歌曲不失为一个好的开发方向。图片组的表现不如预期，但学生记忆保持度最好，这为英语教师敲响了一枚警钟，图片教学虽好，但前提是学生必须充分调动自身抽象思维能力，完全理解图片内容，并把图片内容与单词含义紧密联系，若图片选择错误则会分散学生注意力。而在多媒体技术迅速发展的当今时代，纯文本教学方式也并不是完全无用，他们的良好表现显示了中国初中生的学习风格更偏向于反复读背。
多模态教学的目的不仅仅是利用多媒体技术的创新带来教学创新，它更要充分刺激学生感官，强化教学效果，遵从最经济、最适配、最有效的原则，为外语教学提供教学情景和便利条件。关于计算机多媒体、多模态互动学习从输人到产出之间的模态搭配与学习效果，是一项亟待深人研究的重大基础课题 [14]，不同的教学内容需要选择不同的教学方式和教学模态，现代外语教学有待开发最佳多模态教学组合。
Appendix 1. Vocabulary Knowledge Scale 附录1. 词汇知识量表
来源：Paribakht & Wesche, 1996: 178。
Appendix 2. Score Criterion 附录2. 给分标准
Appendix 3. Immediate post-test and delayed post-test 附录3. 即时后测和延时后测试题
词汇后测题
班级：_____ 姓名：_____ 性别：____
Appendix 4. Teaching Courseware 附录4. 教学课件
纯文本组：
文本&图片组：
文本&音频组：
文本&视频组：
