眼动追踪技术在个性化在线学习中的应用
Application of Eye-Tracking Technology in Personalized Online Learning
DOI: 10.12677/ASS.2022.1111669, PDF, HTML, XML, 下载: 204  浏览: 349 
作者: 陈登水:福建师范大学心理学院,福建 福州
关键词: 眼动追踪技术眼动指标在线学习个性化学习Eye-Tracking Technology Eye Movement Data Online Learning Personalized Learning
摘要: 学习材料的科学设计是其促进个性化学习的前提;基于眼动追踪技术的研究可为个性化学习提供技术支撑。但在教育研究中的应用较少。因此本研究从眼动追踪技术在学习过程中测量认知负荷;监测学习参与度;眼动样例对于学习者的实时指导;以及基于眼动的机器学习所提供的实时反馈和干预方面展开,以帮助形成完善的个性化学习提供技术支撑。未来研究应整合现有的研究并继续深入,完善已有的技术。
Abstract: The scientific design of learning materials is the premise of promoting personalized learning; re-search based on eye-tracking technology can provide technical support for personalized learning. But it is less used in educational research. Therefore, this study starts with eye-tracking technology to measure cognitive load during learning; monitoring learning engagement; real-time guidance of learners with eye-tracking samples; and real-time feedback and intervention provided by eye-tracking-based machine learning, to provide technical support to help form complete personalized learning. Future research should integrate existing research and continue to deepen and improve existing technologies.
文章引用:陈登水. 眼动追踪技术在个性化在线学习中的应用[J]. 社会科学前沿, 2022, 11(11): 4901-4905. https://doi.org/10.12677/ASS.2022.1111669

1. 引言

学习是一种自然的人类活动,受个人经历、认知意识、观点、文化背景和环境的影响。学习被定义为一个人知道和可以做的事情的稳定和持续的变化。学习是通过个人的互动形成的,包括从他人和经验传授知识和技能。因此,学习是一种个性化的体验,可以让人们扩展知识、观点、技能和理解。个性化学习是一种有效的方法,研究表明个性化学习可以提高学习者的参与度、满意度、学习效率和学习效果。因为个性化学习可以考虑学习者在其学习环境中的个体差异,尽早识别学生在学习过程中遇到的困难,并提供及时而个性化的干预。

眼动追踪技术是通过图像处理技术,定位瞳孔位置,获取瞳孔中心坐标,并通过某种方法,计算人的注视点的一项技术。它是基于眼脑假说,认为眼睛看着的地方就是大脑加工的地方,视觉注意和认知加工几乎同时发生。因此眼动追踪技术可以帮助了解学习者在看什么以及什么吸引了学习者的兴趣。同时,眼动追踪技术的非侵入性可以在学习者不受干扰的情况下收集到信息,这一特点可以有效地了解学习者的学习过程,因此眼动追踪技术对于个性化学习意义重大。

然而在教育研究中使用眼动追踪方法只是在最近十几年才迅速增加。根据Lai等人的研究 [1],2009年之前,很少有教育研究使用这种方法,可能是由于教育和心理学领域缺乏交流,以及设备的高成本。因此现有的眼动技术与个性化学习的教育理论缺乏有效的统一。大多数教育研究者缺乏对技术的了解,无法用技术实现所提出的理论模型。同样,优秀的教学设计团队缺乏有效的理论指导,无法充分掌握教学规律。针对目前研究零散、不系统的现状,本文归纳整理了眼动追踪技术在个性化学习中的应用。以期能够完善眼动追踪技术在教育心理学中的应用。

2. 眼动追踪用于测量认知负荷

在学习环境中,检测认知负荷有助于最大限度地提高学习结果。个性化学习需要能够根据不同学生的学习特点,提供适合学生学习过程的系统,以根据学生的需要提供帮助。现在主要用来测量认知负荷的方法包括主观测量和客观测量。主观方法通常需要被试评估他们的心理过程。主观量表测量的内容已经从一维发展到多维。客观方法通常包括双重任务方法和生理指标等。然而这些测量方法并不适合于在线学习的过程中。一个有巨大潜力的趋势就是利用学生的眼动来监控他们在学习过程中的认知状态。因为相比于其他技术,眼动追踪技术在监测的过程中不会干扰到学生的学习。

现在有大量研究表明,眼动可以可靠地测量认知负荷 [2]。常见的眼动指标包括与注视相关的指标,例如注视时长(眼睛相对静止的时间)和注视位置,以及与眼跳相关的眼动指标,例如眼跳长度(单个眼球运动的距离)。其他眼球运动测量包括瞳孔(例如瞳孔大小)和眨眼(例如眨眼频率)。已有的研究已经用瞳孔、眨眼率、注视时间和眼跳长度等测量认知负荷。研究发现,随着认知负荷的增加,注视时间随之增加,眼跳长度减少;眨眼率降低;瞳孔直径增加 [3]。而Zu等人的研究则更进一步 [4],发现眼动指标和三种认知负荷亚型(内在认知负荷、外在认知负荷和相关认知负荷)的关系。研究发现平均注视时长(mean fixation duration)、平均眼跳长度(mean saccadic length)和眨眼率(blink rate)这三种眼动指标对外在认知负荷的变化最灵敏。在文本和图片两个兴趣区转换次数(transitions between text and animation AOIs)对内在认知负荷的变化最灵敏。停留在问题解决相关的兴趣区的百分比时长(percentage dwell time over the solution-relevant AOI)对相关认知负荷的变化最灵敏。同时,该研究还发现瞳孔大小变化率(ratio of pupil size change)对外在认知负荷和相关认知负荷的变化都很灵敏。

这些研究结果表明眼动追踪技术有可能可以被运用到在线学习过程中,随时检测学生的认知负荷,从而可以根据学生的学习情况,进行教学内容上的调整。一个能调节内在认知负荷、减少外在认知负荷、促进相关负荷的在线学习平台,将会有效提高学生的在线学习能力。

3. 眼动追踪用于检测学习参与度

在线学习的一个关键问题是提高学习者对教学活动的参与度。参与度是指一个人的注意力资源集中在学习任务上的程度。自20世纪80年代以来,学习者参与度一直是教育类文献中的一个关键话题。因为学生参与学习活动的程度标志着学生对学习内容的加工深度,提高学生参与度也将有益于学生学习的效果。然而现实生活中学生在线学习的参与度一直不高。而有研究表明:适当的教学干预、学习设计和反馈可以提高学习者的参与度。培养学习者的参与度不仅有利于在线学习,也有利于传统教室的学习环境。因此为了通过对在线学习者的干预来提供个性化的教学支持,检测学习者的参与度已经成为在线学习的重要内容。

在几种检测学生参与度的方法中,眼动追踪的方法具有很大的前景。因为它本质上是非侵入性的,不会影响到学习者的学习。数据采集和分析的成本也比较低。已有大量的研究运用眼动追踪技术来测量学生在线学习的参与度。Sidney等人使用了眼动追踪系统来区分有无参与度 [5]。一旦学习者将视线从屏幕上移开时,就会被定义为无参与。Krithika和Priya利用眼动和头部旋转来推断电子学习环境中的参与度水平 [6]。头部旋转异常是一种消极行为,表明学习者对内容不感兴趣和厌烦。如果长时间内没有检测到学习者的面部和眼睛状态,则说明学习者对学习内容感到厌烦。根据检测到的次数,把学习者的参与度分成高中低三个水平。Aslan等记录了学生学习过程中的身体姿势、面部表情和眼睛注视的数据,使用特征选择和分类方法来产生分类器,用来区分学生参与度。

而一些在真实环境中测量学生参与度的研究也可以为在线学习的测量提供帮助。Rosengrant等人的研究利用眼动追踪学生的注视点和注视时间 [7],并对学生在课堂上的行为进行了分类:如果学生的眼睛盯着讲师或课堂笔记,学生就被归类为专注。然而,如果眼睛注视着其他地方(例如,学生正在看他们的手机),则学生被归类为分心。根据注视点和注视数据,将学生的每秒钟的注意力编码为专注和分心。结果发现学生在近89%的时间里表现出对任务的专注。尽管眼睛注视数据可以提供学习相关情境中注意力资源投入(和脱离)的相关信息,但将眼球运动与其他测量相结合可能会提供有用的实践和理论信息。在Goldberg等人研究中 [8],他们结合头部姿势、凝视特征和面部表情开发了一个机器学习算法。发现算法算出的学生投入与手动评分问卷有中度到高度的相关性。这一发现有助于教师在复杂课堂互动中监控和识别学生注意力技能。当教师能够注意到并发现缺乏参与时,他们就有机会相应地调整教学方法,并鼓励学生积极处理学习内容,使学习更加高效。

正如许多其他研究人员在研究中所建议的那样,将眼动追踪技术用于在线学习系统的评测中,可以提供有关学生参与度的极其有用的信息。未来的研究还应该调查学习者什么时候,为什么脱离学习活动,以及如何有效地重新参与进来。此外,还应进一步研究参与和脱离行为对学习结果的关系。

4. 眼动追踪用于提供实时指导和反馈

现有的在线学习内容大都基于线下真实的课堂,学习内容大多是简单的线下课堂内容的录像、视频等。研究表明,具有更高专业知识的个体可能会更快地分配他们的视觉注意力。这表明不同经验的个体注意到的内容是不同的。因此低经验的学生可能会错过理解学习材料所必需的信息,或者为什么这么做,特别是当信息是短暂的(下一刻就消失了)时。换句话说,当学生在正确的时间没有注意到正确的信息时,他们可能会丢失相关的信息。因此对于在线学习平台需要一套提供实时指导和反馈的技术。

眼动样例是一项有可能应用到在线学习过程中为学习者提供实时指导的技术。眼动样例是将专家在知觉任务中的眼动记录下来,然后,将他们的眼动(例如注视)在新手执行任务过程中显示出来。这些眼动信息可以提供关于视觉关注的媒介或表征、顺序和持续时间的独特信息。眼动样例通常以动态多媒体形式叠加(如视频),也可以叠加照片。这些眼动信息可以在画面上短时间或者永久性地显示以引导观看者的目光。基于样例教学的一个重要优势是学习者可以节省认知资源,因为他们可以不用寻找重要的理解的内容,而可以专注于所提供的重要内容。眼动样例引导学习者注意到专家在那一刻所关注的内容,学习者能够看到专家在那一刻在看什么,可以有助于学生更好地学习所呈现的内容。因此眼动样例可以产生更好的学习效果。

另一项技术是基于眼动追踪技术的机器学习。机器学习是利用算法让机器在没有任何人为干预的情况下执行某些任务的计算机算法,是实现个性化学习的重要手段。因为这项技术可以根据学习者的进度和节奏进行学习路径动态的改变,从而有效地转变为个性化学习。

已经有不少的研究根据眼动追踪技术生成的机器学习算法应用于教育领域,用来给学习者提供实时的帮助。Król and Król采集人们在做出一系列金融投资任务时的眼动数据生成了一套自动反馈系统 [9]。这一反馈系统会将采集到的眼动数据与正确金融决策前的眼动数据相比对,产生两个眼动数据是否相似的反馈。研究结果表明:这一反馈系统可以帮助人们像优秀的金融决策者分析信息,并减少了决策偏差。Faber等人记录了132名被试在电脑屏幕上阅读一本书的节选时的眼动数据 [10],设计出一种可以实时检测是否思维游移的机器学习算法。Wu et al.的研究发现,个体的眼动能够成功地预测他们在算术词问题任务中的问题解决能力。具体来说,结合三种眼动指标的模型:反应时间减去总注视时间(reaction time minus the total fixation duration)、长注视(Single fixations longer than 500 ms)和瞳孔大小(pupil size)指标可以预测参与者的表现,总命中率为74%。结果表明,如果个体花更多的时间注视空白区域,表现出更多的长时间注视,并且表现出更大的瞳孔大小,那么他们在解决难题时的表现会更好。同时,如果学生的瞳孔变小,那么他们在解决简单问题时的表现会更好。

研究者可以将这些研究整合到在线学习系统中,为学生提供个性化的学习材料和反馈。正如Yang等人 [11] 和T. S.-W. Liu等人 [12] 所指出的,教育工作者应该能够首先识别学生的特征和与更好的学习成果相关的眼动模式,然后利用这些发现开发出适应的学习系统。例如,如果学生被发现只盯着刺激区域,很少长时间盯着,并且在解决困难的任务时表现出较小的瞳孔大小,系统可以提供实时提示或反馈来提醒学生重读并彻底考虑材料,通过提供更简单的插图来降低任务的难度,或者允许教育者直接干预和帮助学生的学习。这种个性化的学习系统将引导学生逐步理解如何解决问题,帮助他们成为成功的问题解决者。

5. 未来展望

本文介绍了眼动追踪技术在个性化学习中的应用。首先是眼动追踪技术用来实时评估学习者学习过程的认知负荷,以根据学生不同的认知负荷压成份调整学习材料。其次是用眼动追踪技术来监测学生的学习参与度,以了解到学习者的学习特点,从而更好地因材施教。最后是眼动样例和基于眼动的机器学习,为学习者提供实时的引导和反馈。综上所述,眼动追踪技术可以帮助了解学习者的个性化学习过程,但目前还缺乏一个比较完善的技术系统,能够贯穿学习者的整个学习过程。未来可以在以下方面继续展开相关研究:

1) 眼动追踪技术在教育心理学研究中的应用面临的问题是如何解释眼动指标所代表的心理过程。例如,积极情绪可以引起瞳孔扩张,但心理努力大也可以引起瞳孔扩张。同一眼动指标可能由不同的心理过程引起,因此眼动指标还不能直接表明唤醒的是哪一部分的心理过程。同时,线上学习的研究与视觉的基础研究相比,学习过程中的不可控性大、变量多且不易控制。因此,这就需要在实验过程中,必须选择适当的指标来进行实验,尽量避免无关因素的干扰。因此,控制好有关变量并谨慎分析实验结果。

2) 未来研究应该综合已有的评测与优化。已有的研究大都利用眼动追踪技术来优化在线学习的一个方面(例如参与度、认知负荷等)。未来研究的一个重要方向就是综合这些应用。研究这些应用综合起来的效果,特别是了解这些应用是否可以叠加,这将对形成一个与学习者的学习风格、知识水平、兴趣和偏好相适应的在线学习系统大有帮助。

参考文献

[1] Lai, M.-L., Tsai, M.-J., Yang, F.-Y., Hsu, C.-Y., Liu, T.-C., Lee, S.W.-Y., Lee, M.-H., Chiou, G.-L., Liang, J.-C. and Tsai, C.-C. (2013) A Review of Using Eye-Tracking Technology in Exploring Learning from 2000 to 2012. Educational Research Review, 10, 90-115.
https://doi.org/10.1016/j.edurev.2013.10.001
[2] Kruger, J.L., Doherty, S., Fox, W. and De Lissa, P. (2018) Multimodal Measurement of Cognitive Load during Subtitle Processing. In: Lacruz, I. and Jääskeläinen, R., Eds., Innovation and Expansion in Translation Process Research, John Benjamins Publishing, Amsterdam & Philadelphia, 267-294.
https://doi.org/10.1075/ata.18.12kru
[3] Loschky, L.C., Ringer, R.V., Johnson, A.P., Larson, A.M., Neider, M. and Kramer, A.F. (2014) Blur Detection Is Unaffected by Cognitive Load. Visual Cognition, 22, 522-547.
https://doi.org/10.1080/13506285.2014.884203
[4] Zu, T., Hutson, J., Loschky, L.C. and Rebello, N.S. (2020) Using Eye Movements to Measure Intrinsic, Extraneous, and Germane Load in a Multimedia Learning Environment. Journal of Educational Psychology, 112, 1338-1352.
https://doi.org/10.1037/edu0000441
[5] D’Mello, S. and Graesser, A. (2012) Dynamics of Affective States during Complex Learning. Learning and Instruction, 22, 145-157.
https://doi.org/10.1016/j.learninstruc.2011.10.001
[6] Krithika, L.B. and Priya, G.L. (2016) Student Emotion Recognition System (SERS) for E-Learning Improvement Based on Learner Concentration Metric. Procedia Computer Science, 85, 767-776.
https://doi.org/10.1016/j.procs.2016.05.264
[7] Rosengrant, D., Hearrington, D. and O’Brien, J. (2021) Investigating Student Sustained Attention in a Guided Inquiry Lecture Course Using an Eye Tracker. Educational Psychology Review, 33, 11-26.
https://doi.org/10.1007/s10648-020-09540-2
[8] Goldberg, P., Sümer, Ö., Stürmer, K., Wagner, W., Göllner, R., Gerjets, P., Kasneci, E. and Trautwein, U. (2019) Attentive or Not? Toward a Machine Learning Approach to Assessing Students’ Visible Engagement in Classroom Instruction. Educational Psychology Review, 33, 27-49.
https://doi.org/10.1007/s10648-019-09514-z
[9] Król, M. and Król, M. (2019) Learning from Peers’ Eye Movements in the Absence of Expert Guidance: A Proof of Concept Using Laboratory Stock Trading, Eye Tracking, and Machine Learning. Cognitive Science, 43, e12716.
https://doi.org/10.1111/cogs.12716
[10] Faber, M., Bixler, R. and D’Mello, S.K. (2018) An Automated Behavioral Measure of Mind Wandering during Computerized Reading. Behavior Research Methods, 50, 134-150.
https://doi.org/10.3758/s13428-017-0857-y
[11] Yang, F.Y., Tsai, M.J., Chiou, G.L., Lee, W.Y. and Chen, L.L. (2018) Instructional Suggestions Supporting Science Learning in Digital Environments Based on a Review of Eye Tracking Studies. Educational Technology & Society, 21, 28-45.
[12] Liu, T.S.-W., Liu, Y.-T. and Chen, C.-Y.D. (2018) Meaningfulness Is in the Eye of the Reader: Eye-Tracking Insights of L2 Learners Reading E-Books and Their Pedagogical Implications. Interactive Learning Environments, 27, 181-199.
https://doi.org/10.1080/10494820.2018.1451901