信号对多媒体学习的促进作用

The Facilitating Role of Signals in Multimedia Learning

摘要: 多媒体学习是指利用多种媒体形式(如文本、图像、音频、视频等)来辅助和增强学习过程的一种教学方法。多媒体学习的认知理论认为，学习成功的前提是学习者必须整合文本和图片信息，建立完整的心智模型。信号(如高亮、加粗、下划线等)可以提供丰富的信息，激发学习者的兴趣。信号可以引导学习者注意学习材料中重要的方面，促进学习者的认知加工。多媒体的信号原则指出，在多媒体学习中，清晰的信号可以突出重要信息的组织结构，帮助学习者更好地学习和记忆内容。信号通过强调文本和图片中相应的元素，促进整体心理模型的构建，从而促进多媒体学习。

Abstract: Multimedia learning refers to an instructional method that utilizes various media forms (such as text, images, audio, video, etc.) to assist and enhance the learning process. The cognitive theory of multimedia learning posits that the prerequisite for successful learning is that learners must integrate textual and pictorial information to establish a complete mental model. Signals (such as highlighting, bolding, underlining, etc.) can provide rich information and stimulate learners’ interest. Signals can guide learners to pay attention to important aspects of the learning materials, promoting cognitive processing. The signaling principle in multimedia learning indicates that clear signals in multimedia learning can highlight the organizational structure of important information, helping learners to better learn and remember content. Signals facilitate the construction of an overall mental model by emphasizing corresponding elements in text and images, thereby promoting multimedia learning.

1. 引言

现代技术(例如，计算机、平板电脑、视频、在线课程、应用程序、电子书)在教学设计和课程中越来越普遍[1]。多媒体通过组合文本、静态图片、动画、视频和音频等多种格式，为创建有效的学习环境提供了机会。有证据表明，与只使用文本或图片的学习材料相比，使用多媒体材料学习可以获得更好的学习效果[2]。多媒体学习成功的前提是学习者必须整合文本和图片信息，建立完整的心智模型。然而，如何处理多媒体材料对学习者来说是一个挑战。他们并不总是能够充分地整合文字和图片中的信息[3]，并且倾向于更强烈地关注文字而忽略图片[4]。因此，Mayer提出了几种旨在优化学习材料的教学支持措施，以支持学习者处理多媒体。这些支持措施之一就是发出信号。

根据多媒体的信号原则，在多媒体信息中添加信号，引导人们注意材料的相关元素或突出重要材料的组织结构时，学习者会从多媒体信息中学习得更好[5]。根据多媒体学习的认知理论，信号对于多媒体学习的第一步尤其重要。信号强调文本和图片中相应的元素，目的是促进整体心理模型的构建，从而促进多媒体学习。多样性的信号可以提供更丰富的信息，激发学习者的兴趣和好奇心。例如，通过结合文字和图像，学习者可以更容易地理解抽象的概念。此外，多模态的信号，如结合文字、图像和音频，可以通过多个感官通道同时传递信息，提高学习的效果和效率[6]。

多媒体学习是一种通过融合文字、图像、音频和视频等多种媒体形式来传递信息的教育方法。信号作为信息的载体，对多媒体学习的效果产生直接影响。多媒体信号突出文字与图片的对应关系，支持文字与图片的融合，从而实现多媒体学习[7]。

2. 多媒体学习的理论

2.1. 认知负荷理论

认知负荷理论(Cognitive Load Theory, CLT)。CLT假设一个人总的认知能力是有限的，提出教学过程中学习者会经历三种类型的认知负荷：内在认知负荷、外部认知负荷和相关认知负荷。学习者所经历的认知负荷的大小由个体元素相互作用的程度来表征[8]。内在认知负荷的产生是由于学习材料的复杂性与学习者对材料的先验知识有关。内在认知负荷是实现特定目标所必需的不可避免的负荷[9]。这种负荷源于学习者对学习相关信息的认知加工，依赖于学习者的先验知识[10]。外部认知负荷是由学习内容之外的因素施加的，如糟糕的教学设计或混乱的学习环境界面。它与特定学习目标的实现没有直接关系[9]。相关认知负荷不同于内在认知负荷和外部认知负荷，它独立于学习材料的设计，与学习者如何分配工作记忆资源进行学习有关。

信号通过帮助学习者识别新的教学材料中哪些信息与学习相关，哪些信息可能与学习目标无关来支持学习者。信号将学习者的注意力引向最重要的、与学习相关的材料。特别是在长文本和同质文本中，相关信息的选择必须通过使用教学文本中的注意引导特征来协调，以防止认知超载。颜色信号可以被看作是注意力引导特征，它帮助学习者选择重要信息，从而促进生成性加工[7]。

2.2. 多媒体学习的认知理论

多媒体学习认知理论(Cognitive Theory of Multimedia Learning, CTML)认为，来自语言和图片表征的信息首先通过不同的感觉模式进行处理，然后被编码为依赖于这些表征和先前知识的连贯的情境模型[7]。根据多媒体学习认知理论，多媒体学习是一种主动的学习过程。在多媒体学习过程中，学习者可以参与三种不同的认知过程：选择——注意课程中的重要元素，进一步加工工作记忆；组织——在心理上将新信息整合成一个连贯的认知结构；整合——将新信息与长期记忆激活的相关知识在心理上联系起来。

选择、组织和整合信息的三个过程并不一定是以连续的线性顺序发生的，学习者可以以许多不同的方式从一个过程移动到另一个过程。选择信息的功能是引导注意特定信息和位置的线索，减少外界的认知负荷；组织信息的功能强调信息结构的提示，促进相关的认知负荷；整合信息功能提示教学视频各要素之间及内部的关系，促进相关的认知负荷。

多媒体效应，即文本和图片材料的组合呈现比单纯的文本更能促进学习。根据多媒体学习的认知理论，这是因为图像表征提供的互补信息支持了情境心智模型的构建。学习者需要识别文本和图片之间的对应关系，并绘制它们之间的联系。先验知识有助于形成完整的心智模型，并将其储存在长时记忆中[11]。

3. 信号

信号(如高亮、加粗、下划线等)是一种添加的信息，可以提供视觉支架，帮助引导用户注意学习材料中重要的方面，促进学习者的认知加工。多媒体学习的信号原理认为，通过视觉上阐明两种表征之间的联系，可以促进文本–图片的整合，从而促进理解[12]。眼动追踪研究表明，信号能更早、更频繁地将视觉注意力吸引到有信号的元素上[5]。

3.1. 信号的类型

一般来说，信号可以分为文本信号、图片信号和组合信号。

3.1.1. 文本信号

基于文本的信号包括插入到学习材料中的句子，目的是引导注意力到关键位置[13]。基于文本的信号也可以由学习材料之前的句子组成，并解释学习任务[14]。基于文本的信号可以是灵活和微妙的，通过在书面文本中使用颜色或在口语文本中使用不同的语调来吸引人们对关键术语的注意[15]。

Harp和Mayer通过在学习主要文本之前提供一段简短的概括性文本信号来强调主要文本中的步骤，研究文本信号对学习的影响[16]。即在有或没有诱人细节的条件下，向学生提供概括性文本信号，列出被解释和描述的过程中的主要步骤(闪电形成)，并对步骤进行编号。总的来说，在没有诱惑性细节的条件下，概括性文本信号对保留成绩和迁移成绩没有显著影响。除了在学习和强调材料结构(即步骤)之前提供信号之外，在文本中提示关键术语似乎也很有效。Moreno and Abercrombie研究了在由书面文本或动画组成的教学情境案例中，通过使用红色字体标明关键术语对学习的影响[17]。他们发现信号对文本(d = 0.63)和动画条件(d = 0.85)的主效应显著，同时信号组的感知认知负荷也显著低于无信号组。

3.1.2. 图片信号

基于图片的信号包括向学习材料中添加箭头或其他移动元素[18]。基于图片的信号也可以是口语文本中提到的元素的高亮、着色、闪烁、缩放。基于文本和基于图片的信号经常被结合使用，以引导对不同学习材料的注意[15]。

Tabbers等人研究在一节长达一小时的教学设计课中图片信号对学习的影响[19]。学习课程由11个图表组成，每个图表所呈现的文本被分成几个片段，学生在阅读或听完每个片段后，可以点击下一步按钮进入下一个文本片段。在信号条件下，文本片段所引用的图表部分被涂成红色。信号对保留成绩有显著影响(d = 0.32)，但对迁移成绩没有影响。Ozcelik等人在多媒体材料中使用了类似的图片信号提示来解释喷气发动机的工作原理[6]。在一张静态图片中，当旁白中提到该元素时，言语标签在句子持续时间内改变颜色(即变成红色)，之后又变回黑色。他们发现，在有图片信号提示的条件下，相关标签和图片元素的总注视持续时间较长，但平均注视持续时间没有差异。保留测试的成绩没有差异，但图片信号对匹配测试和迁移测试有显著的积极影响。

3.1.3. 组合信号

为了促进文本和图片的整合，可以使用颜色编码，通过给文本和图片元素赋予相同的颜色来突出显示它们之间的对应关系。

Kalyuga等人使用电路图和其功能作为学习材料，当学习者单击文本中的某个步骤时，文本和图表中提到的电路元件都会变成相同的颜色[20]。有信号组和无信号组在发现错误的成绩表现上没有显著差异，但有信号组在选择题测试结果上的表现明显更好(d = 1.46)，在学习过程中投入的努力更少(d = 0.93)。Scheiter和Eitel利用关于心脏循环系统的多媒体课程，研究了信号对注意力和学习的影响[5]。结果表明有信号提示版本的学生在学习过程中会更频繁、更早地关注信号信息，在成绩测试上表现出了更好的成绩。

3.2. 眼动追踪技术在信号研究中的作用

眼动跟踪技术提供了一个直接客观的捕捉眼动的通道，通过它可以对视觉认知过程进行跟踪、测量和解释[21]。眼动追踪技术可以揭示学习者的认知学习过程。

学习材料中的信号有望引导注意力。因此，眼动跟踪技术越来越多地被用于确定特定信号对学习的影响，而这些很难从传统的学习评估中获得，如测试成绩或观察结果。目前的教育研究经常采用眼动跟踪技术来捕捉学习行为。例如，Kriz和Hegarty使用眼部追踪器来探索箭头信号是否有效地吸引了视觉注意，并引导学习者观看所提示的信息[22]。结果显示，箭头信号确实捕捉并引导更多的注意力到相关信息上，但它们并没有提高对动画中信息的整体理解。Koning及其同事研究了注意提示的潜在机制[23]。在他们的研究中，学习心血管系统的认知过程被记录和分析使用眼睛跟踪和口头报告技术。Jamet使用眼球追踪技术来检查文本和图片信号的价值[24]。他们的研究结果表明，信号的存在(即改变颜色)减少了花费的时间专注于多媒体学习材料中相关性较小的领域，并提高了信息的记忆效果。

眼动追踪研究指出，视觉信号可以将学习者的眼球运动引导到重要的信息上，减少学习者花在不重要信息上的时间。

3.3. 信号与多媒体学习

3.3.1. 信号促进学习

有研究发现在图形表示中添加颜色有利于学习者的理解[25] [26]。Koning等人使用了一种提示技术来帮助他们的学生专注于心血管系统动画序列中最相关的元素[23]。他们稍微做了一点设计，使心脏瓣膜旁边的动画中的所有元素变暗。研究表明信号不仅能促进学生对提示信息的理解和知识转移，而且对非提示信息也能促进学生的理解和知识转移。Yung和Pass的研究发现了教学主体在教学动画中提示重要信息对学习的影响[27]。他们的研究结果表明，教学主体的提示对学生的学习和控制认知负荷有积极的影响。Schneider等人的元分析发现了信号对动机和认知负荷的整体影响[11]。信号与学习动机和认知负荷呈正相关，表明在使用信号材料学习时，学习动机增加，认知负荷减少。

3.3.2. 信号对学习无影响

然而，也有其他研究表明信号并没有改善学习。Lin和Atkinson在有口语文本的图片中使用箭头作为信号，发现信号对学习结果没有影响[18]。Crooks等人试图使用动态箭头作为信号来促进学习者在文本和图像信息之间的整合，但发现信号对学习没有显著影响[28]。

3.3.3. 信号与专家逆转效应

多媒体学习关于信号与多媒体学习的研究发现了一种专家知识逆转效应。

Kalyuga等人的研究表明，具有较低先验知识的学习者比具有较高先验知识的学习者更有可能从文本的辅助视觉表征中受益[10]。具有较高先验知识的学习者可能能够根据他们的先验知识在正确的时间找到正确的信息，因此可能不需要提示(部分专业知识逆转效应)，或者提示甚至可能对他们的学习产生不利影响(完全专业知识逆转效应)。

Richter等人以学习化学教科书中的中学学生为研究对象，研究了先验知识对信号提示相应元素的学习效果的影响[29]。一种实验条件下学生收到仅包含文本或图片信号(例如粗体)的基本信号版本；另一种条件下的学生收到一个扩展信号版本，提示相应的元素支持文本–图片集成(例如颜色编码)。他们发现了完全的专业逆转效应。当提示相应的元素时(与基本版本相比)，低先验知识的学生表现出更好的学习成果，而这对高先验知识学习者的学习产生了不利影响。当相应的元素被提示时，高先验知识的学习者报告了更高的无关认知负荷。

Richter和Scheiter使用相同的材​​料对中学生进行了眼动追踪研究[30]。他们重复了这一发现，即提示相应的元素对于低先验知识学生的学习是有效的。然而，在本研究中，仅存在部分专业知识逆转效应，即提示相应元素并没有影响高先验知识学生的学习。眼动数据表明，先验知识较低的学生收到相应元素提示版本后，在学习过程中会较早地查看图片。

4. 总结

在多媒体学习方面，将信号应用于多媒体学习材料中对学习者有三个好处。首先，信号的使用可能对那些难以自己识别关键信息的学习者特别有益。由于关键信息的选择先于其他学习过程，因此利用信号来引导学习者对相关材料的注意至关重要，从而增加必要的加工，减少无关材料的不必要加工[31]。其次，信号的使用有利于支持相关信息与学习者先验知识的组织和整合。根据Mautone和Mayer的研究，信号可以帮助学习者获得有关材料整体结构的相关信息[14]。这一过程通过确保概念之间的关系明确，使学习者能够更好地组织信息，从而使他们能够对一个主题作出更好的推断和结论。例如，概述流程中步骤的文本提示突出显示关系并确保学习者更密切地关注信息。最后，信号的使用有利于减轻学习者的认知负荷。有证据表明，带有信号的学习材料可以缓解对工作记忆的认知需求，从而降低认知负荷[17]。因此，在设计和使用多媒体学习材料时，可以考虑将信号应用于多媒体学习材料。

信号在多媒体学习中扮演着重要的角色，对学习者的影响不可忽视。信号可以成为教学设计者的有力工具。通过帮助学习者选择、组织和整合文本和图片中的信息，信号可以帮助学习者以最佳方式使用他们有限的工作记忆容量。然而，考虑到信号种类繁多以及信号使用的条件，很难为教学设计者提炼出明确、详细的指导方针。比如何时需要使用信号、文本或图片的哪些元素应该被提示，以及哪种类型的信号对哪种材料最有用。未来的研究可以探索信号使用的边界条件。