1. 引言
教学效果评估，是对教学效果的评价和估计。传统的教学效果评估方式，主要是对课程成绩、学习满意度、学习动机、学习风格等指标进行统计，进而根据这些评价教学效果[1]。这些指标，有着主观性强的缺陷，无法真实、客观地反映教学效果。在职业教育领域，上述指标还存在着与学生职业技能关联性弱的缺陷。
与上述评价指标相比，职业院校技能大赛(下文简称“竞赛”)成绩是相对客观和准确、能够反映学生职业技能的。本文通过竞赛成绩这个相对客观的数据，对不同课程在职业技能培养方面的教学效果进行评估。
为了找到竞赛成绩和课程教学效果之间的联系，本文做了如下假设：如果一门课程的教学是有效的，那么其课程成绩应当和学生的竞赛成绩之间存在较强的正相关性。在竞赛成绩客观、准确的前提下，这个假设的成立是显然的：如果一门课程成绩是有效的，那么其必然可以发现和培养一批具有专业成长潜质的学生；相比于普通学生，这些学生有更大的可能在接下来的竞赛中获奖。根据这个假设，本文提出了一种基于机器学习[2] [3]的课程教学效果评估方法，这种评估方法的依据是通过决策树算法找到的各科成绩和竞赛成绩之间的关联性。本文以邯郸职业技术学院大数据技术2022级第一学年上学期的课程成绩和第一学年下学期竞赛成绩作为实验对象，用决策树[4]算法找出各科成绩和竞赛成绩之间的关联性，并且用统计学计算了各科成绩和竞赛成绩之间的相关性。结果表明，在各科目当中，Python混合式教学课程成绩与竞赛成绩之间具有最为明显的正向关联性。
根据以上结果，本文认为，Python混合式教学课程对学生职业技能的培养取得了明显的效果。从培养方案的角度讲，我们可以考虑提高以Python混合式教学为代表的实践性强的专业课程在总课时当中所占比重，从而进一步提升职业技能培养质量。
本文有如下创新点：1) 通过学生的课程教学成绩与竞赛获奖情况之间的关联性，反推出各个课程在职业技能培养方面的作用；2) 通过建立以课程成绩为属性、竞赛获奖情况为输出的决策树模型，反推出课程成绩和竞赛获奖情况之间的关联性。
2. 数据预处理
本文选取了2022级大数据技术专业第一学年第一学期的课程成绩和第一学年第二学期的技能大赛获奖情况，作为相关性分析和建立决策树分类模型所依据的数据集。之所以选择大一上学期的课程成绩和大一下学期的竞赛获奖情况作为分析的依据，是因为这样可以确保课程成绩不会反过来受到技能大赛获奖情况的影响(教师倾向于给技能大赛的获奖者更好的成绩)。为了简化分析过程，我们将学生的获奖情况标注为“0”“1”两种类别(0表示没获奖，1表示获奖)。
这样一来，我们就建立了这样一个数据集，该数据集包括88个样本，对应于大数据2022级两个班88人。每个样本以学号、姓名和Python混合式教学课程、高等数学、大学英语、演讲与口才、大学体育、思想道德与法治、形势与政策七门课程成绩作为属性、以“是否获奖”作为类标。
3. 构建决策树模型
决策树是一种可解释性强的监督性学习算法，常用于分类任务和回归任务[5]。在本文中，我们使用决策树算法建立了以各科成绩作为输入、竞赛获奖情况作为输出的分类器，并通过这个分类器寻找各科成绩和竞赛获奖情况之间的关联性。在本文中，我们使用的是以信息熵为划分节点依据的CART决策树。
我们首先建立以所有课程的成绩作为输入、以技能竞赛获奖情况作为输出的决策树模型。为了验证算法的有效性，我们进行了五折交叉验证，其正确率的平均值是98.89%。这表明，决策树算法在这里是有效的。接下来，我们以全部数据集作为训练集，建立了如图1所示的决策树模型，该模型在数据集上的正确率是100%。
Figure 1. A decision tree classifier based on subject scores as attributes and skill competition awards as categories. Category 1 indicates that the student has won an award in the competition
图1. 以各科成绩作为属性、以技能竞赛获奖情况作为类别的决策树分类器。类别1表示该学生在竞赛中获奖
可以看出，该决策树只包含了一个根节点和两个叶子节点，其根节点的分支依据是Python混合式教学课程成绩是否大于96.75分。也就是说，仅仅根据Python成绩是否大于96.75这一个条件，就可以完全划分出竞赛获奖的学生和没有获奖的学生：大一上学期的Python混合式教学课程成绩大于96.75的三位同学，全部在下学期的职业技能大赛中获奖；其余85位同学，无一在下学期的职业技能大赛中获奖。这表明，我们的Python混合式教学起到了十分有效的筛选和培养职业技能人才的作用。
那么，其它课程对职业技能大赛的作用是怎样的呢？我们将Python混合式教学课程从数据集当中排除，仅保留其它课程的成绩作为属性，重新建立了决策树模型。在五折交叉验证中，决策树算法在调整后的数据集上得到了89.93的平均正确率。这表明，其它课程的成绩和职业技能大赛的获奖情况之间，也存在较强的关联性。我们将调整后的全部数据作为训练集，建立了如图2所示的决策树模型，该模型在数据集上的正确率仍然是100%。
Figure 2. Decision tree classifier based on course grades other than Python blended learning as attributes
图2. 由除Python混合式教学之外的课程成绩作为属性的决策树分类器
在决策树当中，根节点选取的是最能够区分不同类别样本的属性。我们看到，在Python混合式教学之外的科目当中，与竞赛成绩关联最密切的是思想道德与法治(正相关)和高等数学(负相关)。演讲与口才、大学英语、大学体育这三门课程的成绩与学生在随后的职业技能大赛中的表现并无显著关系。
4. 用相关系数对分析结果进行检验
为了检验第三部分的分析结果的有效性，我们计算了各个课程与竞赛获奖情况之间的皮尔逊相关系数[6]，结果如表1所示。
相关系数的计算结果与第三部分的分析结果一致。与获奖情况相关性最强的是Python混合式教学(正相关)，其次是高等数学(负相关)。造成这种情况的原因，可能是Python混合式教学的内容与竞赛内容之间具有较强的相关性，而学生在专业课程上投入主要精力可能会导致其在高等数学课程上投入较少精力，进而影响其高等数学课程的成绩。
Table 1. The correlation coefficient between subject scores and award situations
表1. 各科成绩与获奖情况的相关系数
| 课程名 |
与获奖情况的相关系数 |
| Python混合式教学 |
0.606958 |
| 思想道德与法治 |
0.188747 |
| 形式与政策 |
0.164740 |
| 演讲与口才 |
0.097167 |
| 大学英语 |
0.055909 |
| 大学体育 |
−0.128368 |
| 高等数学 |
−0.202947 |
5. 总结
学生的课程成绩和职业院校技能大赛的获奖情况之间存在一定的关联性，这种关联性可以作为评估有关课程在职业技能培养方面的教学效果的依据。为了找到这种关联性，本文使用决策树算法，建立了由各科成绩推断出竞赛获奖情况的分类模型。这个模型可以清晰地显示出对竞赛成绩起决定性作用的课程。此外，我们用课程成绩和竞赛成绩的相关系数检验了上述分析结果。我们以邯郸职业技术学院大数据技术2022级第一学年上学期的课程成绩和第一学年下学期竞赛成绩作为实验对象。实验结果表明，在所有课程当中，Python混合式教学课程的成绩与竞赛成绩具有最强的关联性。为了进一步提升职业技能的培养效果，本文建议提高以Python混合式教学为代表的实践性强的专业课程在总课时当中所占比重。
基金项目
本论文得到邯郸市教育科学“十四五”规划课题(No. 23YB011)、邯郸职业技术学院自然科学研究项目(No. ZRYB202413)资助。