移动学习投入量动态变化的文本挖掘和情感分析研究
A Text Mining and Sentiment Analysis Approach to the Dynamic Changes of Mobile Learning Engagement
DOI: 10.12677/CES.2021.95202, PDF, HTML, XML, 下载: 451  浏览: 3,354  科研立项经费支持
作者: 肖 巍:重庆大学外国语学院,重庆;李金凤:重庆市礼嘉中学校,重庆
关键词: 移动学习行为投入情感投入文本挖掘情感分析Mobile Learning Behavioral Engagement Emotional Engagement Text Mining Sentiment Analysis
摘要: 本文使用文本挖掘和情感分析两种技术,分析了“语言学导论”课程移动学习平台的学生发言数据,探讨了学生课前/课后的行为/情感投入量的动态变化规律,以及移动学习投入对学习成效的提升作用。结果表明:行为投入从开学到期中稳中略升,期末有所下降,且课后投入高于课前。课后情感投入与行为投入类似,但课前情感投入持续低迷、波动较大。无论是课前/课后还是行为/情感投入,均与期末成绩呈显著正相关。与未使用移动学习平台的班级相比,使用移动学习的班级期末成绩更高。
Abstract: Based on students’ online posts on a mobile learning platform in the course of An Introduction to Linguistics, this paper employed both text mining and sentiment analysis techniques to investigate the dynamic changes of students’ pre-/after-class and behavioral/emotional learning engagement, as well as the effect of mobile learning engagement on performance. The findings show that students’ behavioral engagement is high at the beginning of semester, slightly ascends at the mid-term, and goes down at the end of semester. It is also higher in the after-class activities than the pre-class ones. The after-class emotional engagement is similar with behavioral engagement, but the pre-class emotional engagement keeps low and fluctuates greatly. There is a significant positive correlation between the final exam performance and learning engagement, be it pre-/after-class or behavioral/emotional. Compared to the class that is not equipped with mobile learning platform, the class using this platform outperformed in the final exam, indicating that mobile learning engagement can boost learning performance.
文章引用:肖巍, 李金凤. 移动学习投入量动态变化的文本挖掘和情感分析研究[J]. 创新教育研究, 2021, 9(5): 1231-1238. https://doi.org/10.12677/CES.2021.95202

1. 引言

移动学习即学习者借助手机、平板电脑等移动终端设备,在任何时间、任何地点、以任何方式获取学习资源的一种泛在化学习方式 [1]。它能够有效连接正式与非正式学习、个人与公共空间、自我与他人、以及内部与外部资源,具有便携性、即时性、连结性、泛在性和适应性等特点 [2]。学习投入指学生在学习活动中表现出的行为参与和心理体验,包括行为投入和情感投入等维度 [3]。其中,行为投入即外显的行动、努力和活动参与;而情感投入则是指学习活动中的情感体验。二者相互交织,相互关联。换言之,积极的情感投入带来良好的心流体验,有助于提升移动学习平台的持续使用行为 [4],而行为投入又可提升学习成效,增强自我效能,促进情感投入 [5]。

移动学习投入引起了学界广泛关注。相关研究主要通过(准)实验设计、访谈和结构方程模型进行。行为投入方面,Martin和Ertzberger [6] 通过前后测设计,对比了传统学习模式和移动学习情景下学生的投入量差异,发现移动学习情境下学生的投入量更高。Hung [7] 使用问卷和半结构化访谈,对比了结构化翻转课堂、半结构化翻转课堂和传统课堂对英语学习者态度、行为投入和学习成效的影响,验证了移动学习对提升投入量和提高学习成效的积极作用。Bikowski和Casal [8] 使用有声思维、问卷、反思日志和受试核查等方法,研究学生在移动设备上使用互动电子教材时的学习过程和投入量,发现使用电子教材有助于提升学生的学习期望和投入量。情感投入方面,Gikas和Grant [9] 通过访谈调查了学生对于使用移动设备进行学习的情感投入,发现移动计算设备和社交媒体的使用创造了互动协作的机会,提升了情感投入量。Yang等 [10] 基于刺激–机体–反应框架和自我决定理论,对学生移动学习数据进行建模,发现感知的学习支持、自我学习管理和同伴影响对于移动学习情感投入和认知投入有着显著作用。Manwaring等 [11] 收集调查问卷数据并建模,发现:课程设置、学生观念、对学习活动的重视程度对认知和情感投入具有较大影响。

近年来,随着大数据的兴起,数据挖掘方法进入教育研究者的视野。数据挖掘又称“数据库中的知识发现”,可通过一定算法从大量数据中发现隐藏的模式与知识 [12]。在移动学习过程中,学生会在学习平台留下海量的学习数据,如学习日志记录、发帖、回帖、点赞、关注等。对于这些数据进行挖掘与分析,有助于揭示其中隐藏的知识与模式,以及传统手段所难以发现的教育规律特点。在教育领域,数据挖掘技术已被用到学习预警 [13]、学习成效预测 [14] 等话题。在移动学习投入量方面,Tang、Xing和Pei [15] 使用历时k-均值聚类等方法,对学习者在慕课学习中产生的历时活动数据进行了挖掘,识别了三种不同的历时学习投入轨迹,发现内在动机驱动的学习者和持续参与论坛活动的学习者在慕课学习中的表现更好。王丽英等 [16] 从行为、情绪和认知三个维度进行时序数据同步融合、分层递进诊断评估和统计聚类分析,构建了在线学习行为多模态数据融合模型。刘智等 [17] 采用社会网络分析技术,对云平台课程的论坛发帖记录进行挖掘,探究了不同学习群体在情绪表征(积极、消极与困惑情绪密度值)以及社会网络交互(网络中心性与网络结构特征)方面的差异。

诚然,移动学习投入量研究取得了长足的发展,但仍存在如下局限:首先,维度单一,将行为和情感维度整合起来的研究较少。其次,数据静态。多为单次描述或者前后测量,而投入量并非固定不变,可能随着时间推移、因活动任务不同而发生改变。若能跟踪测量,则可提供更丰富的信息。再次,方法传统,多为问卷、量表等传统方法,较少采用数据挖掘的方法。此外,“语言学导论”是英语专业一门重要的专业基础课,理论体系抽象庞杂,教学内容覆盖面广,对学生的学习能力和研究能力是一个不小的挑战,亟待教学模式的创新。为此,本文拟以该课程为例,跟踪收集学生在移动学习平台的发言数据。利用文本挖掘和情感分析技术,探讨学生行为和情感投入量的动态变化规律,并检验移动学习投入量对学习成效的提升作用,希冀对该课程的教学设计与实践提供参考,并为移动学习投入量研究提供一定方法论启示。具体研究问题为:

1) 移动学习行为投入量的动态变化规律如何?

2) 移动学习情感投入量的动态变化规律如何?

3) 移动学习投入能否提升学生的学习成效?

2. 研究设计

2.1. 研究对象

本文研究对象为某985高校英语专业三年级两个“语言学导论”教学班的学生。其中,实验组(使用移动学习平台的班级) 31人,男生8人,女生21人。对照组(未使用移动学习平台的班级) 39人,男生9人,女生30人。

2.2. 课程设计与数据采集

依托“语言学导论”课程所使用的UMU移动学习平台采集数据。UMU是一个知识分享与传播的学习平台,提供了创新混合式的互动学习方式,可以用于制作图文音视频互动课程,在线发起调研、提问、讨论与分享,使用手机进行直播等,非常适合作为移动学习的平台。“语言学导论”课程的内容包括语音学与音系学、形态学、句法学、语义学、语用学、语言变化、语言与社会、语言习得、二语习得、语言与大脑等10章,采取线上线下相结合、课内课外相结合的混合教学方式。每一章学习前,教师在UMU平台提供学习材料,要求学生自主预习,针对预习中的重难点在UMU平台进行提问和讨论。同学之间可以自由讨论,教师和助教也会及时答疑解惑。每一章学习结束后,学生需要提交本章的学习反思,由教师给予反馈。采集10次课前讨论和课后反思的发言文本数据进行分析。

2.3. 研究方法

采用文本挖掘和情感分析的方法研究移动学习投入量,并辅以文本质性分析和准实验设计。文本挖掘和情感分析方法用于对学生移动学习平台的发言文本进行精准定量分析,分别探究行为投入量和情感投入量的动态变化。文本质性分析用以辅佐解释数据挖掘的定量发现。准实验方法用于对比实验组和对照组的期末成绩,以探究移动学习提升学习成效的有效性。

2.4. 数据分析

以往对于移动学习投入量的研究,大多使用发帖数、回帖数、看帖数等作为投入量指标。这些指标只是粗放的数量指标,难以体现投入量的质量。因此,本研究并未简单将发帖数等作为分析指标,而是采用数据挖掘方法,深入分析发言文本内容。对于行为投入量,本研究使用R编程语言环境下的jiebaR包进行分词,去除停用词,以有效发言词数作为计量指标,有效词数越多,行为投入量越大。对于情感投入,基于清华大学李军教授的情感词典,编程对学生发言进行情感分析,情感计算分数越高,情感投入量越大。通过实验组期末成绩与行为和情感投入量的相关性分析,以及实验组与对照组期末成绩进行独立样本t检验,探究移动学习投入量对学习成效的提升作用。

3. 结果与启示

3.1. 移动学习行为投入量的动态变化规律

学生移动学习行为投入量动态变化的折线图见图1。课前讨论和课后反思的行为投入均呈现出开学到期中稳中略升、期末略有下降的特点。刚开学即有稳定的行为投入,表明作为“数字原住民”的90后大学生已经较为熟悉各种移动设备和平台的使用,技术壁垒已经不再是学习的障碍。刚开学时,学生可能不熟悉新课的教学要求和学习内容,对新课较为重视,故行为投入较高。例如,有学生在课后反思中提到:“这一章的内容非常基础,很多细节需要留意”(S2);“很多概念都很抽象,理解不易,要仔细揣摩才行”(S3)。因此,教师应当积极引导学生,如引导学生思考语言学是什么、语言学有什么用、介绍语言学的最新应用成果、进行简单的语言学小实验、介绍语言学家轶事等,让他们消除对陌生课程的焦虑感,从学习伊始就保持对语言学的兴趣,保持较高行为投入。期中的行为投入稳中略升,表明学生已经适应移动学习,能够在一定的语言学基础之上,开始进行有深度的思考。这段时间是学生学习快速提升的关键期,教师应当继续给予学生相应的支撑,如扩展阅读语言学原著节选、引导学生进行简单的语言学调查实践、申报本科生科研创新项目、参与学业导师主持的科研项目、参加本科生学术论坛等,使学生继续保持良好、稳定的学习状态和行为投入,逐步从单纯的知识接收深化到应用实践,初步培养科研创新能力。期末的行为投入略有下降,可能原因是临近期末,学生的重心转移到复习备考。由于期末考试成绩同日后的评奖评优、升学就业等密切相关,学生精力难免对备考有所倾斜。对此,教师可以适当引导学生,如帮助学生梳理知识点、构建更加清晰的课程框架、讨论课程重难点、答疑解惑等,利用移动学习帮助学生更好地进行期末复习。

Figure 1. Dynamic changes of mobile learning behavioral engagement

图1. 移动学习行为投入的动态变化

课后反思的行为投入量高于课前讨论,说明经过学生参与和教师讲授,学生能够理解、内化所学知识,从而能够有所思考,增加行为投入。例如,课后反思中有学生反映:“预习的时候就感觉音位和音素的定义很复杂,经过课堂讨论基本明白啦”(S4)。今后,可考虑进一步采取翻转课堂的模式,将讲义、PPT等提前发给学生,课下组成学习小组,将书本知识的学习前移。课上主要用来答疑解惑和讨论,深化对知识的理解和应用。

3.2. 移动学习情感投入量动态变化规律

学生移动学习情感投入量动态变化的折线图见图2。与行为投入类似,课后反思的情感投入也呈现出开学到期中稳中略升、期末略有下降的特点。然而,课前讨论的情感投入持续低迷、波动较大,且显著低于课后反思的情感投入。课后反思的情感投入呈现出与行为投入类似的变化规律,表明情感投入与行为投入存在一定关联。对于二者的关系,先前研究 [5] 业已通过对问卷数据进行结构方程建模等方法进行了探究。本文则通过数据挖掘的方法,分析了学生的移动学习平台发言文本数据,支持并拓展了前人的结论。“语言学导论”课程难度较大,为了学好这门课,学生增加了行为投入,从而一定程度促进了情感投入。同时,任课教师在教学过程中也十分注意及时解答学生的疑问,善于引入大量鲜活的语言学范例帮助学生消化理解抽象的概念,对于提升学生兴趣也起到了一定的作用。正如有学生反映:“这些语言学现象十分有趣,课堂氛围很活跃,感到十分轻松愉快”(S11)。学生的主动投入、教师的积极引导,使得学生从开学伊始就保持了较为积极的情感投入。期中时,情感投入稳中略升,可能是因为通过先前的学习,学生对这门新课有了一定的了解,增强了心理归属感和获得感。前人研究表明:移动学习平台的讨论交流使得学生能在社交团体中寻找到存在感,促使他们的学习投入不断提高 [18]。这一发现也在本文中得到印证。期末时,情感投入下降,可能是因为期末复习压力较大。此外,临近期末学习的几章内容“二语习得”“语言与大脑”等以理论介绍为主,且涉及到语言认知的脑机制等自然科学的知识,难度较大,可能一定程度上影响了学生的情感投入。

Figure 2. Dynamic changes of mobile learning emotional engagement

图2. 移动学习情感投入的动态变化

3.3. 移动学习投入对学习成效的提升作用

对课前、课后以及总体移动学习投入与期末成绩之间的相关分析(见表1)表明:课前、课后、总体(课前 + 课后)行为投入与期末成绩之间相关系数分别为0.522、0.564和0.655,均呈中度正相关,且达到显著水平。这说明行为投入越高,学习成效越好。课前、课后、总体情感投入与期末成绩之间的相关系数分别为0.444、0.427和0.504,均为显著中等正相关。这说明情感投入越高,学习成效越好。

Table 1. Correlation coefficients of different mobile learning engagement and final test performance

表1. 不同的移动学习投入量与期末成绩之间的相关系数

注:*p < 0.05,**p < 0.01。

将实验组与对照组的期末成绩进行独立样本t检验(见表2),发现:使用了移动学习平台的班级平均期末成绩更高(88.87 vs. 79.21),两组成绩均值差异达到显著性水平(p < 0.001)。由于两个班级的学生来自同一所高校的同一专业,生源质量无明显差异,故可以认为成绩的提升是由移动学习带来的。这再一次验证了移动学习的有效性。

Table 2. Independent sample t-test of final test performance between experiment group and control group

表2. 实验组和对照组期末成绩的独立样本t检验

注:*** p < .001。

4. 结语

本研究通过对学生在“语言学导论”课程移动学习平台发言的数据进行文本挖掘和情感分析,探讨了移动学习行为投入量和情感投入量的动态发展规律,以及学习投入对学习成效的提升作用。研究表明:学生移动学习行为投入量从开学到期中稳中略升,期末有所下降,且课后投入高于课前。与行为投入类似,课后情感投入亦呈现开学到期中稳中略升、期末有所下降的特点,但课前情感投入持续低迷、波动较大,且显著低于课后。无论是课前还是课后,行为投入还是情感投入,投入量都与学习成效呈显著正相关。与未使用移动学习平台的班级相比,使用移动学习平台的班级期末成绩更高,表明移动学习投入对学习成效有一定促进作用。

本研究对教学的启示:首先,教师应当将技术与内容深度耦合,针对不同课程单元、主题的特点,采用不同形式的教学设计,开展多样性的移动学习活动,以提升学生投入。其次,针对期初、期中、期末等不同学习阶段的学生认知、心理特点,进行针对性的教学设计,以引导学生持续保持高投入。再次,由于课前的情感投入波动较大,教师应当特别关注学生的课前学习状态,充分了解学生在课前预习和讨论中存在的问题,并及时予以反馈,将潜在负面不利因素消灭在萌芽状态。最后,可将移动学习行为投入纳入课程考核,构建形成性评估和终结性评估相结合的多元评价体系,通过考评促进移动学习投入。

本研究存在以下不足之处。研究对象方面,由于样本高校英语专业的学生人数有限,导致本研究样本量受限。尽管本研究满足了统计分析每组样本30人的要求,但无法控制学生的性别差异等变量,其代表性和可推广性值得进一步验证。今后,可联合其他院校“语言学导论”课程的主讲老师,推广本研究中的课程设计,从而获取更大的样本量;也可将本课程的设计拓展应用于其他同类课程或者学习平台,以探究本研究的结论在不同课程以及不同学习平台中的适用性。技术手段方面,本研究只从文本词频统计和情感分析方面进行了粗粒度的分析。今后,可结合词汇复杂度、句法复杂度等语言特征进行细粒度的分析,精细勾勒学生的移动学习画像,并为档案袋评估提供客观详实的资料。此外,本研究所依托的移动学习平台提供了丰富的学生学习行为数据,如点赞数、获赞数、发帖数、回帖数、发帖时间、回帖时间等。本研究作为一项先导研究,尚未充分利用这些数据。今后,可基于海量的教育大数据进行深度挖掘,如通过社会网络分析发现活跃和不活跃的学生、探讨发帖时间与发帖质量之间的关系等,以期更好地应用数据挖掘的成果服务教学。

基金项目

重庆市社会科学规划青年项目“基于数据挖掘的语言测试认知效度研究”(2019QNYY51),重庆大学教学改革研究一般项目“语言学研究方法课程建设研究”(2017Y12),重庆市交叉学科研究生导师团队建设项目“语言、认知与智能计算”(YDSTD1923)。

参考文献

[1] Crompton, H. (2013) A Historical Overview of Mobile Learning: Toward Learner-Centered Education. In: Berge, Z.L. and Muilenburg, L.Y., Eds., Handbook of Mobile Learning, Routledge, Florence, 3-14.
[2] Looi, C.K., Seow, P., Zhang, B., So, H.J., Chen, W. and Wong, L.H. (2010) Leveraging Mobile Technology for Sustainable Seamless Learning: A Research Agenda. British Journal of Educational Technology, 41, 154-169.
https://doi.org/10.1111/j.1467-8535.2008.00912.x
[3] Fredricks, J.A. and Paris, B.A.H. (2004) School Engagement: Potential of the Concept, State of the Evidence. Review of Educational Research, 74, 59-109.
https://doi.org/10.3102/00346543074001059
[4] Ooi, K.B., Hew, J.J. and Lee, V.H. (2018) Could the Mobile and Social Perspectives of Mobile Social Learning Platforms Motivate Learners to Learn Continuously? Computers & Education, 120, 127-145.
https://doi.org/10.1016/j.compedu.2018.01.017
[5] Li, R., Meng, Z., Tian, M., Zhang, Z. and Xiao, W. (2020) Modelling Chinese EFL Learners’ Flow Experiences in Digital Game-Based Vocabulary Learning: The Roles of Learner and Contextual Factors. Computer Assisted Language Learning, 34, 483-505.
https://doi.org/10.1080/09588221.2019.1619585
[6] Martin, F. and Ertzberger, J. (2013) Here and Now Mobile Learning: An Experimental Study on the Use of Mobile Technology. Computers & Education, 68, 76-85.
https://doi.org/10.1016/j.compedu.2013.04.021
[7] Hung, H.T. (2015) Flipping the Classroom for English Language Learners to Foster Active Learning. Computer Assisted Language Learning, 28, 81-96.
https://doi.org/10.1080/09588221.2014.967701
[8] Bikowski, D. and Casal, J.E. (2018) Interactive Digital Textbooks and Engagement: A Learning Strategies Framework. Language Learning & Technology, 22, 119-137.
[9] Gikas, J. and Grant, M.M. (2013) Mobile Computing Devices in Higher Education: Student Perspectives on Learning with Cellphones, Smartphones & Social Media. The Internet and Higher Education, 19, 18-26.
https://doi.org/10.1016/j.iheduc.2013.06.002
[10] Yang, S.Q., Zhou, S.S. and Cheng, X.Y. (2019) Why Do College Students Continue to Use Mobile Learning? Learning Involvement and Self-Determination Theory. British Journal of Educational Technology, 50, 626-637.
https://doi.org/10.1111/bjet.12634
[11] Manwaring, K.C., Larsen, R., Graham, C.R., Henrie, C.R. and Halverson, L.R. (2017) Investigating Student Engagement in Blended Learning Settings Using Experience Sampling and Structural Equation Modeling. The Internet and Higher Education, 35, 21-33.
https://doi.org/10.1016/j.iheduc.2017.06.002
[12] Baker, R.S. and Yacef, K. (2009) The State of Educational Data Mining in 2009: A Review and Future Visions. Journal of Educational Data Mining, 1, 3-17.
[13] 肖巍, 倪传斌, 李锐. 国外基于数据挖掘的学习预警研究: 回顾与展望[J]. 中国远程教育, 2018(2): 70-78.
[14] Tomasevic, N., Gvozdenovic, N. and Vranes, S. (2020) An Overview and Comparison of Supervised Data Mining Techniques for Student Exam Performance Prediction. Computers & Education, 143, Article ID: 103676.
https://doi.org/10.1016/j.compedu.2019.103676
[15] Tang, H.T., Xing, W.L. and Pei, B. (2018) Exploring the Temporal Dimension of Forum Participation in MOOCs. Distance Education, 29, 353-372.
https://doi.org/10.1080/01587919.2018.1476841
[16] 王丽英, 何云帆, 田俊华. 在线学习行为多模态数据融合模型构建及实证[J]. 中国远程教育, 2020(6): 22-30.
[17] 刘智, 康令云, 刘三女牙, 等. 学习者社会网络交互、情绪表征与学习成效的关系研究[J]. 中国远程教育, 2020(6): 31-39.
[18] Dirin, A., Laine, T.H. and Nieminen, M. (2017) Sustainable Usage through Emotional Engagement: A User Experience Analysis of an Adaptive Driving School Application. Cognition Technology & Work, 19, 303-313.
https://doi.org/10.1007/s10111-017-0406-6