1. 引言
随着智慧教育的日益普及,越来越多的学习者借助在线平台练习习题。然而,面对海量的习题资源,以及不同学习者在知识基础、学习目标与兴趣偏好上存在显著差异,如何推荐适配的习题,已成为当前智能教育备受关注的研究之一[1]。
近年来,许多研究致力于习题推荐。传统习题推荐方法以协同过滤为核心范式,分为基于习题相似度与基于学生相似度的推荐方法[2] [3]。其中,基于习题相似度的推荐方法[2] [4],是向目标学生推送与已完成习题具有较高相似性的其它习题(如图1(a)所示);而基于学生相似度的推荐[3]则是将与目标学生特征相似的其他学生所完成的习题,作为推荐内容推送给目标学生(如图1(b)所示)。然而,这类方法未能挖掘学生与习题之间的内在关联,而这种关联正是判断学生学习能力与习题难度匹配的关键因素。此外,传统方法忽略了学生在知识状态的个体差异,无法根据学生自身的知识缺口匹配对应习题,最终导致推荐结果与学生学习需求脱节。
最近,研究者通过挖掘学生对知识的掌握程度来提升推荐效果。例如,基于知识概念预测的习题推荐模型(KCP-ER) [5]通过生成习题知识覆盖度与学生知识掌握度的嵌入向量,并依托习题筛选模块实现精准推荐。基于上下文的推荐方法(LSTMCQP) [6]采用CQ矩阵个性化机制构建知识追踪模型,并利用长短期记忆网络LSTM实现习题推荐。基于知识图谱的习题推荐方法(KG4Ex) [7]引入知识特征提取模块表征学生学习状态,并构建知识图谱辅助习题推荐。尽管基于知识的习题推荐方法能够基于学生知识状态提供相应习题,但仍存在不足:
(1) 知识建模不足:现有方法大多忽略了答题细粒度信息对知识状态的影响,且对学生、习题和知识点之间的内在关系没有进行深入探究,难以精准捕捉学生知识状态,影响推荐的准确性与适配性。
(2) 群体交互特征缺失:现有方法未纳入学生群体间的交互影响,仅聚焦于个体知识状态进行孤立推荐,导致推荐习题的新颖度与多样性受限。实际上,融入学生群体学习特征能够提供更宏观全面的视角(如图1(c)所示)。
基于上述问题,本文提出一种知识状态预测与聚类驱动的习题推荐方法(KSPC-ER),该模型能够同时保证推荐的准确性、新颖性和多样性。KSPC-ER方法包含三个模块:知识状态预测模块、聚类模块和习题推荐模块。知识状态预测模块通过量化学生答题细粒度信息并挖掘学生,习题及知识点间的高阶交互关系,实现知识状态的有效评估。聚类模块采用K-means++算法将知识状态相似的学生划分为同一群组,挖掘群体学习信息以提升推荐的多样性和新颖性。习题推荐模块则用于向学生推荐难度适配的习题。其中,在推荐模块中,为消除多技能叠加导致的习题难度增加问题,设计基于多技能关联因子的习题难度计算机制,同时采用动态推荐阈值控制学生近期状态对推荐结果的影响。
Figure 1. The existing exercise recommendation methods
图1. 现有习题推荐方法
本文的主要贡献如下:
(1) 提出一种新的知识状态预测与聚类驱动的习题推荐方法(KSPC-ER),能够同时保证推荐的准确性、新颖性和多样性,为学生推荐合适的习题。
(2) 构建精细化的学生知识状态评估方法,引入学习能力、尝试次数和提示次数等细粒度行为特征,设计双图结构来深度捕捉学生,习题和知识点之间的内在关联。
(3) 引入K-means++算法挖掘群体知识特征,通过分析学生群体的共性知识特征,为推荐策略注入跨个体的学习经验,提升推荐的新颖性与多样性
(4) 设计基于多技能关联因子的习题难度计算机制,并结合动态推荐阈值,确保推荐习题难度与学生的实时学习状态相匹配。
论文后续结构安排如下:第2节讲述相关研究工作;第3节定义问题描述和符号说明;第4节描述具体方法;第5节和第6节分别呈现实验结果和结论。
2. 相关工作
2.1. 知识状态预测
知识状态预测是教育数据挖掘中的基础任务,在个性化学习中发挥关键作用。该领域主要存在两种方法:认知诊断和知识追踪。认知诊断模型假设学生知识状态在特定时期内相对稳定,通过分析短期答题表现评估学生知识状态[8]。而知识追踪模型则认可学生知识状态的动态演化特性,基于长期答题表现追踪知识状态变化[9]。
目前已有多种知识追踪模型被提出。贝叶斯知识追踪(BKT) [10]是早期经典方法,它基于马尔可夫模型,根据答题结果迭代更新学生知识状态。然而,该方法无法捕捉学习交互中的复杂动态特性,导致准确率较低。为解决这一问题,深度知识追踪(DKT)模型应运而生[9]。例如,Deep Knowledge Tracing (DKT) [11]采用循环神经网络(RNN) [12]捕捉学生与习题的序列交互关系,但该模型仅关注答题正确性,忽略了其它有价值的学习特征。后续模型如PDKT-C [13]、DKVMN [14]和EKT [15]等通过融入习题相关特征改进深度知识追踪效果。此外,基于图的知识追踪模型被用于捕捉复杂关系结构,如图知识追踪(GKT) [16]将知识结构转化为图结构进行预测。然而,该模型未分析图结构的合理性,且现有多数图模型[17] [18]主要关注习题–技能关系,忽略了答题行为中的图结构信息。综上,为了尽可能解决现有模型的不足,本文引入学生学习能力、尝试次数和提示次数等因素,采用图结构来更精准地建模和评估学生知识状态。
2.2. 习题推荐
习题资源是教育领域的重要组成部分,是学生学习过程中不可或缺的资源。传统推荐方法包括协同过滤(CF) [4] [19]、基于内容的过滤(CBF) [20]-[22]和混合过滤(HF) [23] [24],这些方法已被广泛应用于习题推荐任务。传统方法通常依赖相似度为学生推荐习题,例如,Ghauth和Abdullah等人[25]提出基于习题与学习目标属性相似度的内容过滤式习题推荐方法。Hu等人[26]提出基于学生交互习题响应的均衡习题推荐方法,能够向符合条件的学生推荐其专业兴趣领域的新习题。Segal等人[27]采用协同过滤技术,通过汇总相似学生已解决习题的已知难度排名,为目标学生生成习题集。尽管协同过滤算法可应用于习题推荐,但推荐结果缺乏可解释性,且无法保证推荐习题与学生知识状态相符。鉴于此,基于知识的习题推荐方法应运而生,该类方法通过学生历史答题记录推断知识状态,以提升推荐性能[28]-[30]。例如,Wu等人[5]通过知识技能预测模块生成知识技能覆盖率和学生掌握程度的嵌入表示,并结合习题过滤模块筛选习题库;Ren等人[31]提出基于自注意力网络的双层多目标习题推荐框架MuIOER-SAN,底层通过自注意力和门控自注意力评估学生知识状态,顶层优化候选子集以最大化推荐列表的多样性。尽管基于知识的模型有效弥补了传统习题推荐方法的不足,但受限于真实教学场景的复杂性,此类方法仍存在明显局限:其一,缺乏高效可靠的知识评估机制,导致推荐结果的准确性难以保证;其二,现有推荐策略过度聚焦学生个体学习特征,忽视了学习过程中学生间的交互影响,难以从更宏观、全面的视角对学生群体学习规律进行建模与分析。为此,本文提出一种融合知识追踪理论与群体学习效应技术的习题推荐方法,以期在智慧教育场景下实现学生学习需求与习题资源的精准匹配。
3. 问题定义
设U为学生集合,Q为习题集合,S为知识点集合。对于学生
,其习题作答交互序列记为
,其中
表示时刻
的作答记录(
为作答习题,
为对应时刻学习能力,
为作答次数,
为提示使用次数,
为作答结果,0表示错误,1表示正确)。设
为学生个体知识状态矩阵,
表示
对知识点
的掌握程度;
为学生群体集合(
为群体总数),
表示
所属群体对
的掌握程度;
为习题难度向量,
表示习题
的难度。表1给出了习题推荐任务关键符号及说明。
习题推荐任务形式化定义如下:
(1) 输入:学生答题交互序列X,习题集合Q;
(2) 知识建模:通过知识追踪获取学生水平矩阵IK,该矩阵反映学生对特定技能的掌握程度;依据知识状态矩阵IK,采用K-means++算法获取目标学生的群体知识状态特征MK;
(3) 输出:融合学生个体知识状态IK与所属群体知识状态MK计算习题难度
;基于
与动态阈值
的欧氏距离,筛选前n道最优适配习题构成
。
Table 1. The key symbols and meanings for exercise recommendation
表1. 习题推荐关键符号表示与含义说明
符号 |
定义 |
|
学生集合 |
|
习题集合 |
|
知识点集合 |
|
特定学生 |
|
学生
的习题作答交互序列 |
|
学生
在时刻
的习题作答记录 |
|
作答记录
中的习题 |
|
学生
在
中的学习能力 |
|
习题
在
中的作答次数 |
|
习题
在
中的提示使用次数 |
|
作答结果(0 = 错误,1 = 正确) |
|
学生个体知识状态矩阵 |
|
学生
对知识点
的掌握程度 |
|
学生所属群体知识状态向量集合 |
|
习题难度向量 |
|
习题
的难度 |
|
融合后的习题难度 |
|
动态推荐阈值 |
|
前
道习题推荐列表 |
4. 研究方法
本研究提出的习题推荐方法KSPC-ER,核心目标是解决当前习题推荐方法存在的针对性不强、新颖性与多样性欠缺的问题。该方法整体框架如图2所示,涵盖三大核心模块:知识评估模块、聚类模块、习题推荐模块。其中,知识评估模块通过深度融合学生细粒度答题信息,构建学生–习题图与习题–技能图,运用图卷积网络GCN和LSTM网络获取学生知识状态;聚类模块基于学生个体知识特征实施聚类分析,并挖掘不同学习群体的知识掌握规律、学习偏好及提升需求,为个性化推荐模块提供群体层面的优化依据;习题推荐模块作为最终执行单元,通过构建多技能关联的习题难度评估方法,结合群体聚类结果与学生个体知识状态,引入动态阈值调控机制,最终生成兼具准确性、新颖性与多样性的个性化习题推荐列表。
Figure 2. The structure of the KSPC-ER model
图2. KSPC-ER模型结构图
4.1. 知识评估模块
知识评估模块通过构建双图知识追踪模型,实现对学生知识状态的精细化建模与动态演化追踪,为后续习题推荐提供可靠决策依据。该模块包含细粒度特征量化、图构建与嵌入、时序状态预测三大核心环节,旨在挖掘学生知识状态。
首先,对学生答题过程中的三类细粒度特征(学习能力、答题次数、尝试次数)进行量化表征,分析各自对知识状态的具体影响。学习能力通过历史答题准确率表征,计算如公式(1)所示:
(1)
其中,
为学生
的学习能力控制因子,
为答题总数,
为第
题的答题对错。
研究表明,答题尝试次数与提示次数基于泊松分布特性[32],通过累积分布函数转化为效应因子后,经自适应Sigmoid函数调控知识收益权重,如公式(2)所示:
(2)
其中,
为对应特征的量化因子,
、
、
为超参数。
三类特征经注意力加权融合得到综合答题表现如公式(3)所示:
(3)
其中,
,
,
为特征注意力权重参数,满足
,通过端到端训练自适应学习特征重要性。
其次,构建异构图并进行图嵌入学习。首先构建学生–习题交互图
,该图用于刻画学生与习题间的动态交互关系,其中
为学生节点集合,
为习题节点集合;邻接矩阵
其中
(表示学生
对习题
的作答交互强度),无交互时
。
接着构建习题–技能知识图
,该图用于建模知识体系的内在关联结构。其中
为技能节点集合;邻接矩阵
,若习题
关联技能
,则
,否则
。
然后利用图卷积网络(GCN)对两类异构图分别进行邻域信息聚合与跨层特征传播,以获取增强型节点嵌入表示,如公式(4)所示:
(4)
其中,
为添加自连接的邻接矩阵(I为单位矩阵,用于保留节点自身特征),
为
对应的度矩阵,且满足
,
表示图神经网络第l层的节点特征矩阵(N为图中节点总数,
为第l层特征维度),
为第l层的可学习权重参数。
进一步,引入跨域注意力机制对两类异构图学习到的习题嵌入进行动态加权融合,得到信息增强的习题表征,如公式(5)所示:
(5)
其中,
和
分别为从学生–习题交互图与习题–技能知识图中学习到的习题
嵌入向量,
为跨域注意力的可学习权重向量,用于自适应平衡两类嵌入特征对最终表征的贡献度。
随后,将增强后的习题表征与答题结果拼接,输入至LSTM网络中建模学生知识状态的时序演化过程,如公式(6)所示:
(6)
其中,
为时序输入向量,
为t时刻隐藏状态,用于精准反映学生当前知识状态,
为上一时刻隐藏状态,
与
为可学习参数。
LSTM模型以最小化答题结果预测偏差为优化目标,采用负对数似然形式的二元交叉熵损失函数进行训练,如公式(7)所示:
(7)
其中,T为学生答题序列总长度;l为二元交叉熵损失;
为t时刻隐藏状态
经全连接层映射得到的知识状态向量;
表示点积运算,用于融合
与
时刻答题对应的知识技能嵌入
;
为
时刻的答题结果。
接着,通过端到端训练最小化上述损失函数后,最终输出所有学生的知识状态矩阵
,如公式(8)所示:
(8)
其中,
表示学生
对技能
的掌握程度;
为Sigmoid激活函数,取值范围为
,数值越接近1代表掌握程度越高;
与
为全连接层可学习参数。
4.2. 聚类和知识融合模块
(1) 初始质心选择
依据学生知识状态矩阵
选择初始聚类中心,其中
是学生的数量,
是技能的数量,矩阵元素
表示学生
对技能
的掌握程度,每行
构成一个
维向量,代表学生
的知识状态向量。首先随机从所有学生知识状态向量中选择一个作为第一个质心
,接着计算其它每个学生知识状态向量
与已选定的质心
的欧式距离,计算如公式(9)所示:
(9)
其中,
是质心
的第m个维度的值。
随后将每个学生知识状态向量按距离分配给最近的质心。学生
的知识状态向量
作为下一个质心的概率
的计算如公式(10)所示:
(10)
其中,
为集合R中第h个学生的知识状态向量,集合h表示尚未被选为质心的学生知识状态向量集合。该公式表明,选取后续中心时,每个学生知识状态向量被选中的概率与它到已选最近中心的距离成正比,即距离较远的数据点更易成为下一个质心,以此保证簇间距离尽可能大。重复上述步骤,直至选出预先设定好的
个质心。
(2) 聚类
首先,计算目标学生
的知识状态向量
与k个质心的欧氏距离,将其分配到距离最近质心所在的簇
。对于每个簇
,重新计算其质心
,新质心为该簇内所有学生知识状态向量的平均值,计算如公式(11)所示:
(11)
其中,
表示簇
中的学生数量。
接着,重复分配和更新,直到质心不再发生变化。最终得到目标学生
所属群体的知识状态向量,记作
。
(3) 知识融合
将目标学生的知识状态向量
与所属群体的知识状态向量
融合,具体计算如公式(12)所示:
(12)
其中,
为第i个学生的知识状态向量,
为群体学生知识状态的平均值,
为融合比例。最终得到综合知识状态矩阵
。
4.3. 习题推荐模块
(1) 习题难度评估
在实际答题中,一道习题常涉及多个相互关联的知识技能,任一知识掌握欠佳都会影响对整个习题的理解。同时,技能叠加会增加习题难度,因此引入多技能关联因子
。该因子用于模拟多技能叠加对习题难度的提升作用,即习题涉及的技能越多,关联因子
越大,习题难度越高。
对于学生
来说,习题
的难度
定义如公式(13)所示:
(13)
其中,
是关联系数,
表示习题
涉及的技能数量,
是目标学生
对知识技能
的知识状态。
(2) 个性化习题推荐
为确保推荐习题难度适中,动态推荐阈值依据学生答题情况动态调整。学生近期练习表现良好时,模型应推荐难度更高的习题;表现欠佳时,则适当降低推荐难度。为此引入动态推荐阈值
,具体计算如公式(14)所示:
(14)
其中,
为习题的难度水平,T是滑动窗口,通过这个滑动窗口来观察学生近期的T次做题记录,进而计算学生的近期平均成绩,得到动态推荐阈值
值。
接着计算习题难度
与阈值
之间的欧式距离Ω,然后选择其值最小的前n个习题组成一个推荐习题列表
,如公式(15)所示:
(15)
5. 实验与分析
5.1. 实验设置
(1) 数据集
实验使用ASSISTments20091,ASSISTments20122和Junyi3三个真实教育数据集进行实验。数据集的详细描述如下:
ASSISTments20091数据集[33]:是2009~2010学年从ASSISTments在线教育平台收集的。为了保证数据质量,在数据预处理阶段移除了无技能信息的习题记录,同时删除了答题次数少于20次的学生记录。经预处理后,ASSISTments 2009数据集包含123个知识点,2131名学生回答的17,622个习题,总计65,529条答题记录。
ASSISTments20122数据集[33]:记录了ASSISTments在线辅导系统2012~2013学年学生答题数据。经过与ASSISTments 2009数据集相同的数据处理后,ASSISTments 2012数据集包含251个知识点,以及6713名学生回答的45,067个习题,总计343,984条答题记录。
Junyi3数据集[34]:来自中国“均一教育平台”。因其规模较大且样本不均衡,数据处理时过滤掉了答题次数少于20次和多于300次的习题。后续数据预处理步骤与ASSISTments 2009数据集保持一致,包括对学生记录和技能记录的整理。预处理后,Junyi数据集包含35个知识点,4561名学生回答的263个习题,577,645条答题记录。
(2) 评估指标
相较于传统推荐,习题推荐评估更为复杂。为助力学生持续获取全面知识技能,推荐包含新知识的习题是有利的,同时,推荐习题难度应与学生之前完成习题难度平稳过渡,理想的推荐习题集合也应丰富多样。基于此,本章从准确度(Accuracy)、新颖性(Novelty)和多样性(Diversity)三个维度评估所提方法。
向学生推荐习题时,习题难度若过于困难或过于简单,均会对学生学习产生负面影响。因此,推荐的习题应具备适当的难度,准确性定义如公式(16)所示:
(16)
其中,
表示计算推荐列表中每道习题难度与推荐阈值
之间的相对距离,以测试推荐习题的准确性,
为推荐习题列表,l是推荐习题列表的长度。
另一方面,在学习过程中,学生很容易厌倦相同知识技能的习题,新颖性指标旨在为学生推荐技能掌握不好或从未学习的习题,新颖性定义如公式(17)所示:
(17)
其中,
是习题
包含的知识技能集合,
是目标学生在历史学习互动中答对的知识技能集合,
是
和
之间的Jaccard相似度[35]。
多样性(Diversity)用于衡量推荐习题之间的差异程度,可通过计算推荐习题列表中所有习题的平均相似度来体现。在此,采用余弦相似度来度量任意两个习题之间的差异,多样性定义如公式(18)所示:
(18)
(3) 实验环境
本次实验在64位的PyCharm集成开发环境中开展。实验基于Python 3.8环境以及PyTorch 1.12.1深度学习框架。所使用的计算机配置为:NVIDIA 4060Ti GPU (32 GB内存)。
5.2. 基线方法
为全面评估KSPC-ER方法的性能,本章将KSPC-ER方法与8个具有代表性的基线模型进行比较。以下是对基线方法的简要介绍:
(1) EB-CF [2]:一种基于习题相似度的推荐方法,从习题-习题相似度矩阵中创建相似度向量方法,以识别不同习题之间的相似关系,然后利用这些关系间接为学生推荐习题。
(2) SB-CF [3]:一种基于学生相似度的推荐方法,利用学生答题记录来构建相似度矩阵。通过分析该矩阵,它可以从学生的记录中推荐与期望难度水平紧密匹配的习题。
(3) HB-DeepCF [36]:将自动编码器与传统深度协同过滤模型相结合的混合推荐方法,该方法通过自动编码器生成表示习题和学生的潜在向量。这些潜在向量捕捉了习题和学生的潜在特征和偏好,从而能够进行更准确和个性化的推荐。
(4) DKT-CF [37]:使用经典的知识追踪模型评估学生的知识状态,接着基于学生知识状态矩阵进行基于学生的协同过滤推荐。
(5) NeuralCD [8]:这是一个通用的神经认知诊断框架,该框架采用神经网络来学习学生与习题之间复杂的交互函数,从而获取学生的知识状态和习题难度。后续操作与深度知识追踪(DKT)相同,不同之处在于,习题表征是由模型训练得到的习题难度来表示。
(6) MBHT [38]:这种方法利用具有低秩自我注意的多尺度转换器来编码细粒度和粗粒度级别的行为顺序模式。它以自定义方式将全局多行为依赖关系整合到Hypergraph神经网络架构中,以捕获分层远程项目相关性,这样做可以成功捕获短期和长期的跨类型行为依赖关系,以用于推荐目的。
(7) Dtransformer-CF [39]:DTransformer能在每个习题掌握状态下诊断知识熟练程度,并运用对比学习法来稳定地诊断知识状态。后续采用基于学生的协同过滤进行习题推荐。
(8) PERP [40]:首先对学生进行细粒度建模构建学生画像和习题画像,获取学生的知识掌握程度。随后,基于近乎解耦的马尔可夫链属性进行随机游走,以获取推荐练习的列表。
5.3. 实验结果与分析
表2表2报告了实验结果。各项评估指标中,最优结果以加粗字体呈现,次优结果加下划线标注。表末行给出KSPC-ER方法相较于次优或最优模型的性能提升率,以便直观展示其优势。其中,ACC代表准确性,NOV代表多样性,DIV代表新颖性。
Table 2. The experimental results and comparison with baseline models
表2. 表2实验结果与基线模型的比较
|
ASSISTments 2009 |
ASSISTments 2012 |
Junyi |
ACC |
NOV |
DIV |
ACC |
NOV |
DIV |
ACC |
NOV |
DIV |
EB-CF |
0.483 |
0.952 |
0.289 |
0.412 |
0.951 |
0.320 |
0.495 |
0.944 |
0.304 |
SB-CF |
0.725 |
0.953 |
0.572 |
0.754 |
0.960 |
0.599 |
0.739 |
0.956 |
0.585 |
DKT-CF |
0.880 |
0.602 |
0.466 |
0.873 |
0.56 |
0.522 |
0.846 |
0.57 |
0.479 |
HB-DeepCF |
0.826 |
0.917 |
0.766 |
0.852 |
0.944 |
0.791 |
0.839 |
0.93 |
0.778 |
NeuralCD |
0.894 |
0.583 |
0.495 |
0.858 |
0.346 |
0.602 |
0.860 |
0.551 |
0.508 |
MBHT |
0.893 |
0.946 |
0.343 |
0.859 |
0.579 |
0.493 |
0.859 |
0.914 |
0.356 |
Dtransformer-CF |
0.892 |
0.713 |
0.452 |
0.871 |
0.690 |
0.479 |
0.858 |
0.681 |
0.465 |
PERP |
0.897 |
0.959 |
0.781 |
0.876 |
0.936 |
0.828 |
0.863 |
0.927 |
0.814 |
Our Model |
0.895 |
0.964 |
0.795 |
0.877 |
0.941 |
0.842 |
0.878 |
0.948 |
0.828 |
Improvement rate |
↓0.22 |
↑0.52 |
↑1.79 |
↑0.11 |
↓1.05 |
↑1.69 |
↑1.73 |
↓0.83 |
↑1.72 |
KSPC-ER在ASSISTments 2009数据集上,NOV和DIV分别超过了最佳模型0.52和1.79个百分点,ACC则略低于最佳模型0.22个百分点。在ASSISTments 2012数据集中,ACC和DIV分别超过最佳模型0.11和1.69个百分点,而NOV值降低了1.05个百分点。在Junyi数据集中,ACC和DIV分别高于最优模型1.73和1.72个百分点,但NOV降低了0.83个百分点。尽管一些指标略低于最佳水平,但在大多数指标中,KSPC-ER的各项指标优于先前的基准方法,这表明KSPC-ER是有效的。分析来看,个别指标未超越最优基线的核心原因在于模型设计的权衡性:本模型以准确性、新颖性、多样性三维平衡为核心目标,通过动态阈值和多技能关联机制强化了推荐适配性与多样性,适度约束了过度新颖性推荐以避免与学生知识缺口脱节,而部分基线模型未做三维平衡,仅注重优化新颖性单一指标,因此在该指标上表现更优;同时ASSISTments 2009数据集答题记录样本量最小,细粒度特征挖掘精度有限,也导致其ACC指标小幅低于最优基线。
EB-CF和SB-CF推荐效果最差,这是因为该模型仅采用协同过滤方法进行推荐,缺乏对学生个体知识状态的准确性评估,导致模型性能差。这意味着基于知识开展的习题推荐,对学生提升技能掌握程度具有积极作用,依据知识技能掌握情况定制习题推荐,能够提供符合需求的习题,有力支撑学生的学习进程。
DKT-CF、NeuralCD以及Dtransformer-CF在新颖性方面的表现始终不理想。这表明所采用的知识建模方法难以精准掌握学生和习题之间的复杂联系,从而限制了它们的有效性。MBH和PERP在多样性上始终优于DKT-CF、HB-DeepCF、Dtransformer-CF以及NeuralCD,这突出了挖掘学生与习题间细粒度行为的重要性。不过,这些模型并未考量学生群体的助力效应,最终致使未能实现最佳推荐成果。
5.4. 参数敏感性分析
本节基于ASSISTments 2009数据集评估关键参数的敏感性,通过实验分析关键超参数对KSPC-ER推荐性能的敏感性。重点考察聚类个数k、融合参数
、滑动窗口T及推荐习题数n。
(1) 聚类个数k决定学生群体划分数量。实验设置了
五个不同取值,其余参数固定。结果如图3所示。结果表明,当
时,KSPC-ER性能最优。k过小会导致群体内知识差异大、推荐针对性不足;k过大会使单组样本偏少、群体特征不显著,均会降低推荐效果。
Figure 3. The influence of cluster number k on performance
图3. 聚类个数k对性能的影响
(2) 融合参数
用于平衡个体知识向量与群体状态向量的权重。实验取
,其余参数固定。结果如图4所示,当
时模型性能最佳。
偏小易过度依赖群体而忽略个体差异;
偏大则过度侧重个体,未能有效利用群体信息,均不利于推荐优化。
Figure 4. The influence of fusion parameter ρ on performance
图4. 融合参数ρ对性能的影响
(3) 滑动窗口T用于计算推荐阈值,决定近期做题记录的观察范围。实验取
,其余参数固定。实验结果如图5所示。结果表明,当
时推荐效果最好。T偏小导致近期信息不足,阈值难以反映真实水平;T偏大易引入过时历史数据,降低推荐准确性。
Figure 5. The influence of sliding window T on performance
图5. 滑动窗口T对性能的影响
5.5. 消融实验
本节设计了KSPC-ER方法的2个变体评估每个组件的单独贡献和有效性,消融实验结果如表3表3所示。“w/o-KS”表示未加入学生知识状态提取模块,仅利用学生的答题结果作为特征,“w/o-Clus”表示未考虑学生的群体特征,仅利用学生自身的特征信息进行习题推荐。
从表3消融实验结果来看,无论修改KSPC-ER的哪个组件,其在准确性(ACC)、新颖性(NOV)和多样性(DIV)评估指标上的性能均会下降,这表明所提出的KSPC-ER方法中的关键组件对于实现有效的推荐均至关重要。另一方面,w/o-KS模型性能下降最为显著。原因在于w/o-KS模型未加入学生知识状态提取模块,仅利用学生的答题结果作为特征,这表明学生知识状态提取模块对KSPC-ER方法性能提升起到了关键作用,其能够通过对学生知识状态的建模,为推荐系统提供更具针对性的习题资源。
Table 3. The ablation experiments
表3. 表3消融实验
|
ASSISTments 2009 |
ASSISTments 2012 |
Junyi |
|
ACC |
NOV |
DIV |
ACC |
NOV |
DIV |
ACC |
NOV |
DIV |
w/o-KS |
0.782 |
0.884 |
0.653 |
0.765 |
0.852 |
0.681 |
0.751 |
0.863 |
0.667 |
w/o-Clus |
0.874 |
0.941 |
0.754 |
0.857 |
0.925 |
0.836 |
0.853 |
0.932 |
0.803 |
KSPC-ER |
0.895 |
0.964 |
0.795 |
0.877 |
0.941 |
0.842 |
0.878 |
0.948 |
0.828 |
6. 结论
本章提出了一种知识状态预测与聚类驱动的习题推荐方法KSPC-ER。首先,通过引入构建的双图知识追踪模型,对学生的知识状态进行有效追踪,以此确定学生的知识掌握程度。接着,利用K-means++聚类算法,依据学生的知识状态将相似学生划分为同一群体,挖掘群体学习效应。最后为确保推荐习题难度与学生当前学习状态相匹配,在计算习题难度的基础上引入关联因子模拟多技能叠加难度提升的情况,并设置了动态推荐阈值,该阈值能够基于学生近期的答题情况进行动态调整。通过在三个公开教育数据集上与多个基线模型进行比较,从准确性、新颖性和多样性三个维度对KSPC-ER方法进行了全面的评估。
未来,我们希望深入探究学生学习节奏波动与推荐阈值调整的耦合关系,从而更高效地平衡推荐的挑战性与可接受性。受发展区理论[41]的启发,我们将在动态推荐阈值模型中纳入学习节奏的自适应调节因子,并深入研究阈值敏感度对学习效果的影响机制,进而实现与学生个体学习节奏精准匹配的智能推荐策略。
NOTES
*通讯作者。
1https://sites.google.com/site/assistmentsdata/home/2009-2010-assistment-data.
2https://sites.google.com/site/assistmentsdata/home/2012-13-school-data-with-affect.
3https://www.kaggle.com/junyiacademy.