1. 引言
目前，我国高等职业学校学生评教的主要方式还是结果性评教。通常在课程结束后由学生对授课老师的教学情况做出评价，评价结果通常用于学校对教师的管理[1]。与结果性评价不同，基于过程评价的学生评教更侧重课程教学过程中各阶段的学生学习体验和老师的教学效果。其评价结果主要用于提升课程教学质量和提高学生学习成效[2]。本文以广西电力职业技术学院为例，探索基于过程评价的学生评教教学技能评价实践。
2. 评价实施
本次学生评价实践选取《电机技术》、《供应链管理》、《热力设备检修实训》和《职场通用英语》四门课程作为评价课程载体。为了研究不同类型课程的过程评价应用效果，课程的选择包含了公共基础课、专业基础课和实验实训课程。通过四门课程选定了四个不同的班级作为评价实践主体。
评价指标采用基于过程评价的高职院校学生评教指标体系中的教学技能评价指标，主要包括教学设计、教学实施、教学反馈和鼓励引导等方面。
学生评价的主要实施方式是问卷调查。学生通过问卷填报完成对授课老师教学技能的过程评价。教学技能过程评价主要反馈授课教师的教学设计及实施效果，其问卷调查的时间主要安排在课程教学中期。根据不同课程的教学进程安排，并结合授课教师的实际情况，问卷调查实施的时间有所不同。《电机技术》安排在第10周。《供应链管理》安排在第6周。《热力设备检修实训》安排在第12周。《职场通用英语》安排在第8周。问卷调查完成收集后，结合SPSSPRO软件对评价结果进行数据分析，通过评价实践优化评价指标，及时反馈学生评价情况并及时做出教学调整。
3. 数据分析
运用SPSSPRO数据统计分析软件对学生的过程评价结果进行置信度、有效性和特征性分析。
3.1. 置信度分析
问卷调研的置信度是问卷反馈内容是否有真实意义的主要衡量标准。通俗的讲，置信度反映的是问卷填写者是否根据题目和自身情况认真进行填报[3]。本次置信度统计运用SPSSPRO软件进行分析，引入克隆巴赫系数进行评判。本次问卷调研，电机技术课程回收问卷49份，置信度系数为0.837；供应链管理课程回收问卷46份，置信度系数为0.812；热力设备检修实训课程回收问卷47份，置信度系数为0.785；职场通用英语课程回收问卷48份，置信度系数为0.796。一般情况下，置信度系数大于0.7时，问卷可信度比较高，可以进行下一步研究。本次问卷调研置信度符合要求。
3.2. 有效性分析
在置信度分析之后，进而分析问卷的有效性。其目的是检查所回收的问卷内容是否检测到了问卷设计的预期内容。
基于过程评价的高职院校学生评教指标体系中的教学技能评价指标包括教学设计、教学实施、教学反馈、鼓励引导四个一级指标。其涉及问卷题目23个：1) 课程学习设计是否使得你有兴趣主动学习；2) 课堂学习任务的难度是否合理，你能否跟上学习进度；3) 课堂作业是否有效巩固所讲授内容；4) 老师对本课程的讲授能否与其他课程有机融合；5) 老师授课内容的逻辑安排是否清晰条例；6) 所用教材是否与学习内容吻合，能帮助学习。7) 老师授课是否严谨认真负责；8) 老师授课时的状态是否得体大方、自信积极、有亲和力；9) 老师对学习内容的讲解是否清晰易懂；10) 老师在课堂上是否明确讲述课堂学习目标；11) 老师的讲授是否流畅熟练；12) 你是否能明确课堂学习内容的重点难点；13) 老师是否通过举例、动画等方式辅助讲解知识；14) 除所学知识外，老师是否讲解分析和解决问题的方法。15) 老师是否对课堂作业或提问及时作出反馈；16) 你是否能通过老师的反馈及时了解自己的课堂学习效果；17) 你是否经老师的指导后明确了解决方法或学习方向；18) 老师的指导是否能促进你自学的积极性；19) 课堂学习遇到难点能够得到老师的帮助解决；20) 老师是否会询问你关于课堂学习的建议。21) 你是否在课堂上得到老师的表扬；22) 老师是否会鼓励你提问；23) 老师是否会引导你进行讨论。
运用SPSSPRO统计软件进行分析，KMO检验值为0.881，Bartlett球形度数值小于0.05。结果表明，问卷各题目设置具备比较高的相关性，满足下一步进行题目因子载荷数据分析的条件[4]。根据教学技能评价四个一级指标可预期四个载荷因子，教学技能因子载荷系数分析情况见表1。
Table 1. Load coefficient of teaching skill factor
表1. 教学技能因子载荷系数表
问题 |
因子1 |
因子2 |
因子3 |
因子4 |
问题1：课程学习设计是否使得你有兴趣主动学习 |
0.127 |
0.825 |
0.229 |
0.204 |
问题2：课堂学习任务的难度是否合理，你能否跟上学习进度 |
0.109 |
0.844 |
0.284 |
0.263 |
问题3：课堂作业是否有效巩固所讲授内容 |
0.156 |
0.730 |
0.237 |
0.331 |
问题4：老师对本课程的讲授能否与其他课程有机融合 |
0.262 |
0.895 |
0.356 |
0.273 |
问题5：老师授课内容的逻辑安排是否清晰条理 |
0.168 |
0.742 |
0.275 |
0.215 |
问题6：所用教材是否与学习内容吻合，能帮助学习 |
0.461 |
0.643 |
0.249 |
0.263 |
问题7：老师授课是否严谨认真负责 |
0.725 |
0.330 |
0.289 |
0.224 |
问题8：老师授课时的状态是否得体大方、自信积极、有亲和力 |
0.869 |
0.201 |
0.267 |
0.233 |
问题9：老师对学习内容的讲解是否清晰易懂 |
0.707 |
0.108 |
0.165 |
0.249 |
问题10：老师在课堂上是否明确讲述课堂学习目标 |
0.783 |
0.315 |
0.243 |
0.211 |
问题11：老师的讲授是否流畅熟练 |
0.747 |
0.251 |
0.428 |
0.109 |
问题12：你是否能明确课堂学习内容的重点难点 |
0.683 |
0.218 |
0.114 |
0.485 |
问题13：老师是否通过举例、动画等方式辅助讲解知识 |
0.689 |
0.192 |
0.168 |
0.421 |
问题14：除所学知识外，老师是否讲解分析和解决问题的方法 |
0.705 |
0.122 |
0.170 |
0.496 |
问题15：老师是否对课堂作业或提问及时作出反馈 |
0.316 |
0.255 |
0.221 |
0.852 |
问题16：你是否能通过老师的反馈及时了解自己的课堂学习效果 |
0.240 |
0.183 |
0.275 |
0.776 |
问题17：你是否经老师的指导后明确了解决方法或学习方向 |
0.110 |
0.246 |
0.194 |
0.740 |
问题18：老师的指导是否能促进你自学的积极性 |
0.158 |
0.196 |
0.443 |
0.742 |
问题19：课堂学习遇到难点能够得到老师的帮助解决 |
0.451 |
0.335 |
0.607 |
0.241 |
问题20：老师是否会询问你关于课堂学习的建议 |
0.211 |
0.380 |
0.756 |
0.408 |
问题21：你是否在课堂上得到老师的表扬 |
0.103 |
0.224 |
0.802 |
0.256 |
问题22：老师是否会鼓励你提问 |
0.195 |
0.241 |
0.788 |
0.323 |
问题23：老师是否会引导你进行讨论 |
0.154 |
0.266 |
0.764 |
0.171 |
从表1可以看出，问题1至问题6的因子载荷系数最大值主要分布在因子2；问题7至问题14的因子载荷系数最大值主要分布在因子1；问题15至问题20的因子载荷系数最大值主要分布在因子4；问题21至问题23的因子载荷系数最大值主要分布在因子3。并且大部分因子载荷系数的最大值都大于0.7。由此可见，针对教学技能过程评价的四个一级指标所设计的问卷有效性比较理想。
另外，问题6、问题11、问题12、问题13、问题14、问题18、问题19、问题20的载荷因子最大值数据不够显著，不纳入特征分析。
3.3. 特征性分析
基于过程评价的教学技能学生评教主要评价教师的教学设计、教学实施、教学反馈和鼓励引导四个方面。针对这四个方面相关的问卷题目进行均值数据分析情况如下。
教学设计方面涉及问题1、问题2、问题3、问题4和问题5。教学设计方面各题目均值分析数据情况见表2。
Table 2. Mean analysis of various questions in teaching design
表2. 教学设计方面各题目均值分析
问题 |
《电机技术》 |
《供应链管理》 |
《热力设备检修实训》 |
《职场通用英语》 |
问题1：课程学习设计是否使得你有兴趣主动学习 |
2.55 |
3.04 |
4.36 |
3.33 |
问题2：课堂学习任务的难度是否合理，你能否跟上学习进度 |
2.24 |
2.93 |
3.51 |
3.44 |
问题3：课堂作业是否有效巩固所讲授内容 |
1.53 |
3.59 |
4.47 |
1.56 |
问题4：老师对本课程的讲授能否与其他课程有机融合 |
3.57 |
2.17 |
4.26 |
0.52 |
问题5：老师授课内容的逻辑安排是否清晰条理 |
2.45 |
2.93 |
4.15 |
3.54 |
从表2中的数据可以看出，《电机技术》课程授课老师在问题4取得教学设计各题目均值最大值3.57，可见老师在课程与电机相关课程的知识融通方面设计的效果很好，而问题3取得相对较低均值1.53，说明在作业内容设计方面可以针对性改进。《供应链管理》授课老师在教学设计各题目取得的均值相差不大，问题4均值相对较低为2.17，老师可重点关注课程内容与其他专业课程内容的融通应用。《热力设备检修实训》课程授课老师在教学设计各题目的均值取得都比较高，说明老师的教学设计合理，学生认可度高，效果好。《职场通用英语》授课老师在问题3和问题4的均值取得分别是1.56和0.52，老师可结合英语课程特点在作业设计和课程融通方面考虑改进。
教学实施方面涉及问题7、问题8、问题9、问题10。教学实施方面各题目均值分析数据情况见表3。
Table 3. Mean analysis of various topics in teaching implementation
表3. 教学实施方面各题目均值分析
问题 |
《电机技术》 |
《供应链管理》 |
《热力设备检修实训》 |
《职场通用英语》 |
问题7：老师授课是否严谨认真负责 |
3.57 |
3.48 |
3.30 |
4.17 |
问题8：老师授课时的状态是否得体大方、自信积极、有亲和力 |
3.67 |
3.26 |
2.13 |
3.85 |
问题9：老师对学习内容的讲解是否清晰易懂 |
1.84 |
1.63 |
3.40 |
4.06 |
问题10：老师在课堂上是否明确讲述课堂学习目标 |
3.16 |
2.50 |
3.94 |
3.65 |
从表3中的数据可以看出，课程《电机技术》和《供应链管理》的授课老师在教学实施方面的问题7、8、10取得比较高的均值，这三个方面的教学实施效果好，学生比较认可。而问题9的均值取得为1.84和1.63，数值相对较低，教师应特别注意讲授内容学生是否听得懂，并进行针对性改进。《热力设备检修实训》课程授课老师在问题7、9、10取得较高均值，而问题8均值相对较低，数值为2.13，老师可注意一下自己授课时的状态，更加得体大方，有亲和力。《职场通用英语》授课老师在教学实施相关四个问题都取得比较高的均值数值，说明老师教学实施的效果比较好，学生认可度高。
教学反馈方面涉及问题15、问题16、问题17。教学反馈方面各题目均值分析数据情况见表4。
Table 4. Mean analysis of various questions in teaching feedback
表4. 教学反馈方面各题目均值分析
问题 |
《电机技术》 |
《供应链管理》 |
《热力设备检修实训》 |
《职场通用英语》 |
问题15：老师是否对课堂作业或提问及时作出反馈 |
3.06 |
2.39 |
3.72 |
3.44 |
问题16：你是否能通过老师的反馈及时了解自己的课堂学习效果 |
2.14 |
1.63 |
4.04 |
3.13 |
问题17：你是否经老师的指导后明确了解决方法或学习方向 |
1.84 |
2.07 |
4.15 |
3.33 |
从表4中的数据可以看出，《电机技术》课程的问题15均值取得3.06，数值相对较高，说明老师对课堂作业和提问的反馈比较积极到位。而问题16和17的均值数值较低，老师可在教学效果评价方面进行针对性改进。《供应链管理》课程在教学反馈方面三个问题均值都不高，老师应特别注意对学生提问和课堂作业的认真反馈，以及每次课堂教学内容的考核评价。《热力设备检修实训》和《职场通用英语》课程在教学反馈方面三个问题均值都比较高，说明老师在教学过程中非常注重对学生的及时反馈评价和指导，学生比较认可。
鼓励引导方面涉及问题21、问题22、问题23。鼓励引导方面各题目均值分析数据情况见表5。
Table 5. Encourage and guide the analysis of the mean values of various questions
表5. 鼓励引导方面各题目均值分析
问题 |
《电机技术》 |
《供应链管理》 |
《热力设备检修实训》 |
《职场通用英语》 |
问题21：你是否在课堂上得到老师的表扬 |
1.53 |
1.30 |
1.06 |
3.65 |
问题22：老师是否会鼓励你提问 |
4.08 |
4.24 |
4.47 |
4.58 |
问题23：老师是否会引导你进行讨论 |
3.57 |
3.59 |
3.94 |
4.06 |
从表5中的数据可以看出，四门课程在鼓励引导方面的问题22和问题23都取得比较高的均值，说明老师在授课时能够很好的鼓励和引导学生积极提问或讨论。而《电机技术》、《供应链管理》、《热力设备检修实训》课程在问题21均值取得分别为1.53，1.30，1.06，数值相对较低，说明授课老师在表扬学生方面做得不多，老师授课时应更加注重对学生学习成果的肯定和表扬。
3.4. 相关性和差异性
对四门课程不同问题的均值数据进行相关性分析。计算皮尔逊相关系数，具体数据见表6。
Table 6. Correlation analysis between courses
表6. 课程之间的相关性分析
课程 |
《电机技术》 |
《供应链管理》 |
《热力设备检修实训》 |
《职场通用英语》 |
《电机技术》 |
|
0.58 |
0.16 |
0.19 |
《供应链管理》 |
0.58 |
|
0.38 |
0.19 |
《热力设备检修实训》 |
0.16 |
0.38 |
|
−0.29 |
《职场通用英语》 |
0.19 |
0.19 |
−0.29 |
|
从表6可以看出。《电机技术》与《供应链管理》这两门课程的相关系数较高，为0.58。表明它们之间存在较强的正相关关系。说明学生对这两门课程的评价具有一定的相似性，表明这两门课程在教学方法、课程内容或难度等方面有共同之处，导致学生对它们的反馈呈现出较高相关性。这两门课程都是专业理论课。说明同类课程的正相关性较高。
《热力设备检修实训》与《电机技术》的相关系数为0.16，与《供应链管理》的相关系数为0.38，与《职场通用英语》的相关系数为−0.29。这表明《热力设备检修实训》与其他课程的相关性较低，尤其是与《职场通用英语》存在一定的负相关关系。这表明《热力设备检修实训》在各方面与其他课程有较大差异，如课程性质、教学方式、作业形式等，导致学生对它的评价与其他课程不同。
《职场通用英语》与《电机技术》的相关系数为0.19，与《供应链管理》的相关系数为0.19，与《热力设备检修实训》的相关系数为−0.29。这表明《职场通用英语》与《电机技术》、《供应链管理》的相关性较低，且与《热力设备检修实训》存在一定的负相关关系。因为《职场通用英语》作为一门语言类课程，在课程内容、教学目标和评价标准等方面与其他三门技术类课程存在较大差异，导致学生对它的评价与其他课程不一致。
总体来看，课程性质越相近，其相关性越强。课程性质差异越大，其相关性越低。
对四门课程不同问题的均值数据进行差异性分析。计算各问题标准差与均值的比值，得到差异系数。具体数据见表7。
从表7可以看出。在不同的评价问题中，各门课程的差异系数有所不同。其中，问题3、问题4和问题21的差异系数分别为0.53、0.63和0.63，差异系数相对比较大。表明学生对各门课程在作业设计和效果、课程间内容的有机融合、授课老师的称赞和表扬这三个方面的评价差异较大。而在课程教学实际中，由于课程性质不同，授课老师的教学习惯和风格不同，也确实会导致这三个方面的明显差异。而问题22、问题23的差异系数分别为0.05和0.07，差异系数数值相对较小。说明学生对各门课程在鼓励学生提问和引导学生讨论方面的评价较为一致。也说明授课老师们在鼓励提问和组织讨论方面的做法一致性比较高。
Table 7. Analysis of differences between courses
表7. 课程之间的差异性分析
问题 |
差异系数 |
问题1：课程学习设计是否使得你有兴趣主动学习 |
0.23 |
问题2：课堂学习任务的难度是否合理，你能否跟上学习进度 |
0.19 |
问题3：课堂作业是否有效巩固所讲授内容 |
0.53 |
问题4：老师对本课程的讲授能否与其他课程有机融合 |
0.63 |
问题5：老师授课内容的逻辑安排是否清晰条理 |
0.23 |
问题7：老师授课是否严谨认真负责 |
0.10 |
问题8：老师授课时的状态是否得体大方、自信积极、有亲和力 |
0.24 |
问题9：老师对学习内容的讲解是否清晰易懂 |
0.43 |
问题10：老师在课堂上是否明确讲述课堂学习目标 |
0.19 |
问题15：老师是否对课堂作业或提问及时作出反馈 |
0.18 |
问题16：你是否能通过老师的反馈及时了解自己的课堂学习效果 |
0.39 |
问题17：你是否经老师的指导后明确了解决方法或学习方向 |
0.38 |
问题21：你是否在课堂上得到老师的表扬 |
0.63 |
问题22：老师是否会鼓励你提问 |
0.05 |
问题23：老师是否会引导你进行讨论 |
0.07 |
4. 效果与改进
通过四门课程的评价实践和分析，结合座谈和调研发现，与结果性学生评教相比，基于过程评价的教学技能学生评教对教师教学和学生学习的效果更好。学生普遍认为，通过参与过程性教学技能的评价，能够感觉到老师对课程教学和对学生学习的重视，能够将教学过程中的问题及时反馈。授课老师认为，跟结果性评价不同，过程性评价能够及时了解教学过程中的问题并进行针对性改进，提高了教学实施的效果。
面向所有课程而设计的有关教学技能的通用型评价指标及问卷与个别课程的教学实际偶尔存在不适应的情况。本次实践中，课程《热力设备检修实训》的教学内容实践性和操作性显著。其课程教学在课堂作业、多媒体辅助案例、与其他课程内容融合拓展等方面的评价适用性不强。后续研究中，可以考虑增设一些结合课程实际的个性化自定义评价内容。考虑在教学技能评价的管理、实施和反馈过程中给予教学团队和授课老师一些自定义权限。让教学技能评价与课程教学实际更加符合，进一步提升教学技能过程评价的反馈效果。
基于过程评价的高职院校学生评教指标体系中的教学技能评价指标共涉及23个问卷问题，其中8个问题特征反馈不显著，未纳入特征分析。问题6在因子载荷分析中因子1取值0.461，因子2取值0.643，因子3取值0.249，因子4取值0.263。其设计期望因子在因子2，因子1对因子2的干扰显著。因此，问题6改为：老师所讲内容大部分在课本上能找到。问题11在因子载荷分析中，因子1取值0.747，因子2取值0.251，因子3取值0.428，因子4取值0.109。其设计期望因子在因子1，因子3对因子1的载荷干扰显著。因此，问题改为：老师能将复杂问题简单化讲解。问题12在因子载荷分析中，因子1取值0.683，因子2取值0.218，因子3取值0.114，因子4取值0.485。其设计期望因子在因子1，因子4对因子1的载荷干扰显著。因此，问题改为：每次上完课能知道本次课的主要内容。问题13在因子载荷分析中，因子1取值0.689，因子2取值0.192，因子3取值0.168，因子4取值0.421。其设计期望因子在因子1，因子4对因子1的载荷干扰显著。因此，问题改为：老师讲解新知识时经常举例说明。问题14在因子载荷分析中，因子1取值0.705，因子2取值0.122，因子3取值0.170，因子4取值0.496。其设计期望因子在因子1，因子4对因子1的载荷干扰显著。因此，问题改为：老师在讲解新知识时，也经常讲解分析和解决问题的方法。问题18在因子载荷分析中，因子1取值0.158，因子2取值0.196，因子3取值0.443，因子4取值0.742。其设计期望因子在因子4，因子3对因子4的载荷干扰显著。因此，问题改为：老师是否提升了你学习的主动性。问题19在因子载荷系数分析中因子1取值0.451，因子2取值0.335，因子3取值0.607，因子4取值0.241。该问题设计的期望因子为因子4。可以看出，目前因子1、因子2、因子3对因子4的干扰比较大。因此，问题19改为：课堂学习遇到难点寻求老师帮助时能得到解决。问题20在因子载荷分析中，因子1取值0.211，因子2取值0.380，因子3取值0.756，因子4取值0.408。其设计期望因子在因子4，因子2和因子3对因子4的载荷干扰显著。因此，问题改为：老师是否有鼓励同学们提出建议。
5. 结束语
本文基于过程评价开展高职院校学生评教教学技能评价实践，通过问卷调研与分析反馈的方式展开，调查问卷数据在置信度和有效性方面均满足进一步分析的条件，经过对教学设计、教学实施、教学反馈和鼓励引导相关数据的均值分析，完成了学生对授课老师教学技能的及时评价，老师通过评价反馈及时做出了针对性教学改进。另外，通过实践分析，对教学技能评价指标进行了改进。
致 谢
感谢本人所在单位对本研究项目的申报、立项、研究及成果认定等方面工作提供的支持。感谢本研究课题组成员为项目研究工作各阶段所做出的努力。这使得项目研究各阶段如期取得了预期的成果。感谢高等教育学生评教研究领域的相关学者们。你们的研究成果为本论文研究提供了必要的科研基础。
以上几个方面对本论文的顺利完成提供了重要帮助。向你们表示真诚的感谢。
基金项目
广西电力职业技术学院2023年度教育教学改革项目“基于过程评价的高职院校学生评教改进研究与实践”(2023JGY18)。