1. 研究基础与问题提出
研究生教育作为高等教育阶段的重要环节，其课程质量在研究生高质量人才培养方面起到重要作用。为提高研究课程的教学质量，国内外在学生评教、教师自评、监督自评和行政评教等多位一体课程教学评价体系方面进行了尝试和研究[1] [2]。学生评教(Student Evaluations of Teaching, SET)在20世纪20年代中期由美国高校创立以来，在提升教学质量、促进师生互动、优化课程设置、增强教学管理的科学性、推动教育改革以及提高学生评价能力等方面发挥重要作用[3]-[5]，也是保障学生行使课程权等相关权利的重要措施[6]。国外学生评教研究呈现增长态势，内容涉及信效度、影响因素、功能及挑战等[7]-[9]。学生评教制度自20世纪80年代引入国内并得到推广，研究生评教工作得到国内高校的重视并逐步对评教机制进行完善，确保评教结果的客观性和有效性，为提升研究生教育水平提供有力支持[10]-[12]。
学生评教作为一种衡量课程教学质量的方式，因其能够提供关于课程教学质量的第一手资料、具有一定的客观性和公正性、有助于增强学生参与感和主人翁意识等优势而被广泛采用。为了解2023版培养方案的执行效果情况，决定开展研究生评教工作。鉴于学生线上评教方式具有便捷性、匿名性、实时性、高效性、广泛覆盖性以及易于保存和查询等多个优点[13] [14]，本文采用调查问卷的形式在问卷星平台进行研究生评教。然而，学生在评教时存在晕轮效应、受第一印象影响等问题[12] [15]，容易引发主观偏见。研究构建合理的教学评价指标体系并引导学生实现有效的教学评价效果，因此在研究生教评工作中考虑不同年级和专业的学生在不同课程学习中的教学质量问题具有一定的必要性。
2. 指标体系构建与问卷收集
2.1. 评教指标体系构建
不同专业、不同年级、不同学科的课程评教结果不仅与教师的授课表现具有相关性，也与学生的个性差异和课程因素具有相关性，因此在构建评教指标体系时，避免模糊或容易引发主观偏见的问题，设计更具体、针对性强的问题，不简单地让学生评价教师的整体教学效果，而是分别从教学内容的组织、教学方法的运用、对学生问题的解答等具体方面进行评价。基于上述考量，本文最终选取10个维度的指标体系进行2023版培养方案的专业课程评教，每个指标均采用李克特5级量表(1表示很不满意，2表示不满意，3表示一般，4表示满意，5表示很满意)；该量表便于理解、作答和分析。
指标1：课程内容的相关性与深度，用于评估课程内容是否与课程大纲紧密相关，是否涵盖了该领域的核心知识和最新进展，以及课程内容涉及深度和广度是否适合研究生层次学生的学习。
指标2：教学组织与结构，用于考察课程的结构是否清晰，各章节或主题之间的衔接是否流畅，是否有明确的课程目标和学习成果说明。
指标3：课程资源的丰富性与有效性，用于包括教材、参考书目、在线资源、实验材料等的质量和适用性，以及这些资源是否有利于学生对课程内容的深入研究和理解。
指标4：课程教师的教学能力和方法，用于评价教师在课程内容的讲解方面是否清晰易懂，是否通过多元化和多维度的教学路径(如实例分析、社会实践、小组讨论、学术讲座等)来激发学生的专业兴趣和课程参与度。
指标5：技术运用与现代化教学手段，用于考察教师在教学过程中是否有效利用了信息技术和多媒体工具(如在线资源、教育软件、虚拟实验室等)来增强课堂教学效果。
指标6：互动与反馈，用于评估课堂上师生互动的频率和质量，教师是否鼓励学生提出问题和表达观点，以及针对相关的问题和课后作业给予及时、详细且具有建设性的反馈。
指标7：教师的专业态度与责任感，用于评价教师对教学工作的投入程度，是否展现出对学科的热爱和专业精神，以及对学生学习状态的关心和支持。
指标8：创新性与启发性，用于评估课程是否能激发学生的创新思维，是否介绍了新的观点、方法或技术，以及是否鼓励学生进行批判性思考和独立研究。
指标9：课程评估方式的公平性与合理性，用于考察课程考核方式(如作业、项目、考试等)是否全面、公正地评价了学生的知识掌握和能力提升，是否提供了有效性评价以促进学生的专业能力的提升。
指标10：课程整体满意度与收获感，用于学生对课程的整体感受，包括是否觉得课程有价值、有收获，是否达到了个人学习目标，以及对课程改进的建议和期望。
2.2. 问卷说明与信效度分析
(1) 问卷说明。调查问卷中将高校X的16门专业课程进行匿名化处理，16门专业课程分别简记为课程1~课程16。问卷主要包括三个调查内容：一是教学设计评价部分(包含指标1、2、3)，二是教学能力评价部分(包含指标4、5、6、7、8)，三是教学效果评价部分(包含指标9、10)三类。教学设计部分主要涉及课程教学内容的设计、课堂教学的组织和教学资源的提供，是课程质量的基础。教学能力部分涵盖了教师的教学水平、互动能力、专业素养、创新能力和技术运用能力，是确保教学质量的关键因素。教学效果部分关注课程评估的公平性和学生的整体满意度及收获感，是评价课程成功与否的最终标准。问卷对象选取高校X上过相应专业课的4个专业(1个学术型专业、3个专业学位点，专业编号为1~4，其中：专业1为机械工程学硕，专业2为机械专硕，专业3为交通运输专硕，专业4为农业专硕)的研一、研二年级(年级编号为1~2)，共计115名学生。不同专业和不同年级对应评价的课程关系如表1所示。最终收回有效问卷86份，问卷有效回收率74.8%，如表1所示。
Table 1. Correspondence between majors, grades, and evaluated courses
表1. 各专业各年级与评价课程的对应关系
专业 |
年级 |
课程编号 |
参与人数 |
有效人数 |
有效率
(=有效人数/参与人数) |
在校
人数 |
有效抽样率
(=有效人数/在校人数) |
1 |
1 |
1, 2 |
9 |
7 |
0.778 |
16 |
0.438 |
2 |
1, 2, 3, 4, 5 |
6 |
5 |
0.833 |
16 |
0.313 |
2 |
1 |
1, 6 |
29 |
21 |
0.724 |
39 |
0.538 |
2 |
1, 4, 5, 6, 7 |
10 |
8 |
0.800 |
38 |
0.211 |
3 |
1 |
6, 8, 9 |
23 |
19 |
0.826 |
32 |
0.594 |
2 |
6, 8, 9, 10, 11 |
14 |
7 |
0.500 |
32 |
0.219 |
4 |
1 |
12, 13, 14 |
14 |
11 |
0.786 |
22 |
0.500 |
2 |
12, 13, 14, 15, 16 |
10 |
8 |
0.800 |
21 |
0.381 |
(2) 信度和效度分析。研究利用SPSS 27.0进行分析并进行数据清洗处理，在信度方面，研究得到问卷的克隆巴赫Alpha系数为0.848，因此问卷的信度分析以及问卷信度检验结果符合判别标准具有较好的信度。在效度方面，得出问卷的KMO值为0.898，并且在1%水平下表现显著，研究表明调查问卷设计具有合理的结构信度，可以进行因子相关性分析。
3. 研究结果与分析
3.1. 正态性检验
通过对10个指标的得分进行是否服从正态分布的检验，研究显示该10个指标均不服从正态分布特征，如表2所示。
Table 2. Normality test of 10 indicators
表2. 10个指标的正态性检验
|
柯尔莫戈洛夫–斯米诺夫a |
夏皮洛–威尔克 |
统计 |
自由度 |
显著性 |
统计 |
自由度 |
显著性 |
指标1 |
0.356 |
286 |
<0.001 |
0.714 |
286 |
<0.001 |
指标2 |
0.278 |
286 |
<0.001 |
0.772 |
286 |
<0.001 |
指标3 |
0.287 |
286 |
<0.001 |
0.772 |
286 |
<0.001 |
指标4 |
0.262 |
286 |
<0.001 |
0.775 |
286 |
<0.001 |
指标5 |
0.29 |
286 |
<0.001 |
0.772 |
286 |
<0.001 |
指标6 |
0.287 |
286 |
<0.001 |
0.768 |
286 |
<0.001 |
指标7 |
0.315 |
286 |
<0.001 |
0.744 |
286 |
<0.001 |
指标8 |
0.28 |
286 |
<0.001 |
0.765 |
286 |
<0.001 |
指标9 |
0.311 |
286 |
<0.001 |
0.75 |
286 |
<0.001 |
指标10 |
0.305 |
286 |
<0.001 |
0.748 |
286 |
<0.001 |
a里利氏显著性修正。
3.2. 因子提取
基于主成分分析方法对调查数据进行分析，结果如表3所示。根据特征值的原则(特征值 > 1)，分析得到公共因子数为1，累计解释原始变量总方差为42.658%。
在部分原始变量上初始公因子的载荷绝对值均未完全趋于0或1，随后通过正交旋转得到方差最大正交旋转矩阵。在对矩阵进行标准化处理的前提下，提取因子的旋转载荷矩阵如表4所示。研究共包含
Table 3. Results of principal component analysis
表3. 主成分分析结果
总方差解释 |
成分 |
初始特征值 |
提取载荷平方和 |
总计 |
方差百分比 |
累积% |
总计 |
方差百分比 |
累积% |
1 |
4.266 |
42.658 |
42.658 |
4.266 |
42.658 |
42.658 |
2 |
0.936 |
9.358 |
52.016 |
|
|
|
3 |
0.846 |
8.464 |
60.48 |
|
|
|
4 |
0.719 |
7.193 |
67.672 |
|
|
|
5 |
0.647 |
6.474 |
74.146 |
|
|
|
6 |
0.629 |
6.288 |
80.434 |
|
|
|
7 |
0.607 |
6.072 |
86.506 |
|
|
|
8 |
0.512 |
5.125 |
91.63 |
|
|
|
9 |
0.462 |
4.619 |
96.249 |
|
|
|
10 |
0.375 |
3.751 |
100 |
|
|
|
提取方法：主成分分析法。
Table 4. Varimax orthogonal rotation matrix
表4. 方差最大正交旋转矩阵
|
主因子 |
1 |
2 |
3 |
4 |
5 |
指标1 |
0.667 |
|
|
|
|
指标2 |
|
|
|
|
0.963 |
指标3 |
|
|
0.862 |
|
|
指标4 |
|
0.74 |
|
|
|
指标5 |
0.745 |
|
|
|
|
指标6 |
|
|
|
0.851 |
|
指标7 |
0.778 |
|
|
|
|
指标8 |
|
0.723 |
|
|
|
指标9 |
|
|
0.678 |
|
|
指标10 |
|
0.753 |
|
|
|
提取方法：主成分分析法。旋转方法：凯撒正态化最大方差法。注：旋转在6次迭代后已收敛。
5个公因子，问卷中的所有测试题项在这5个公因子上的旋转因子载荷值均大于0.5，累计解释原始变量总方差为74.146%，研究表明调查具有良好的结构效度。
第一项主因子分别在指标1，指标3，指标7上具有较大载荷，这3个指标分别反映了课程内容的质量、资源的支持以及教师的专业能力方面的影响因素，研究设定该项主因子为“第一印象因子”。第二项主因子在指标6，指标8，指标10上有较大载荷，第二项主因子解释了师生互动反馈、课程内容的创新性以及学生的整体满意度方面的个性化层面影响因素，研究设定该项主因子为“互动启发因子”。第三个主因子在指标4，指标5上有较大载荷，该主因子的指标与教学能力和教学手段运用的影响因素具有相关性，研究设定该主因子为“能力运用因子”。第四个主因子在指标9上有较大载荷，这项指标与课程评估方式的公平性与合理性影响因素具有相关性，研究设定该主因子为“课程考核因子”。第五个主因子在指标2上有较大载荷，这项指标与教学组织因素具有相关性，因此研究设定该主因子为“教学组织因子”如表5所示。
Table 5. Factor naming convention
表5. 因子命名
因子 |
主因子1 |
主因子2 |
主因子3 |
主因子4 |
主因子5 |
载荷的影响因素 |
指标1，指标3，指标7 |
指标6，指标8，指标10 |
指标4，指标5 |
指标9 |
指标2 |
因子命名 |
第一印象因子 |
互动启发因子 |
能力运用因子 |
课程考核因子 |
教学组织因子 |
3.3. 因子相关性分析
对5个主因子的平均值进行正态分布检验，结果显示均不服从正态分布特征，如表6所示。
Table 6. Normality test of 5 principal factors
表6. 5个主因子的正态性检验
正态性检验 |
|
柯尔莫戈洛夫–斯米诺夫a |
夏皮洛–威尔克 |
|
统计 |
自由度 |
显著性 |
统计 |
自由度 |
显著性 |
主因子1 (第一印象) |
0.194 |
286 |
<0.001 |
0.87 |
286 |
<0.001 |
主因子2 (互动启发) |
0.192 |
286 |
<0.001 |
0.864 |
286 |
<0.001 |
主因子3 (能力运用) |
0.211 |
286 |
<0.001 |
0.866 |
286 |
<0.001 |
主因子4 (课程考核) |
0.311 |
286 |
<0.001 |
0.75 |
286 |
<0.001 |
主因子5 (教学组织) |
0.278 |
286 |
<0.001 |
0.772 |
286 |
<0.001 |
a里利氏显著性修正。
因不服从正态分布特征，故使用斯皮尔曼相关系数进行相关性检验，如表7所示。5个主因子均呈现显著性相关(P < 0.01)，但相关系数在0.5以下(最大为第一印象和能力运用的0.442)，相关程度较弱。说明每个因子都相对独立地反映了课程的不同方面，没有哪个因子能够完全替代其他因子。这些指标既相互关联又相对独立，能够全面且区分度好地评价研究生专业课程。
3.4. 专业间差异分析
4个专业两两之间的5个主因子进行了非参数检验(惠–曼特尼检验)以探究专业之间的差异，结果如表8所示。机械工程学硕与机械专硕、交通运输专硕在课程评价方面表现相似，可能由于它们属于同一或相近的学科领域，而农业专硕在与其他专业的比较中，特别是在教学组织方面，存在显著差异。这是符合学科差异的。
Table 7. Correlation test between principal factors
表7. 主因子间的相关性检验
|
教学组织 |
课程考核 |
第一印象 |
互动启发 |
能力运用 |
斯皮尔曼Rho |
教学组织 |
-- |
|
|
|
|
课程考核 |
0.196** |
-- |
|
|
|
第一印象 |
0.258** |
0.307** |
-- |
|
|
互动启发 |
0.266** |
0.379** |
0.345** |
-- |
|
能力运用 |
0.173** |
0.289** |
0.442** |
0.400** |
-- |
**在0.01级别(双尾)，相关性显著。N = 286。
Table 8. Nonparametric test analysis across majors
表8. 专业间非参数检验分析
专业比较 |
主因子1 |
主因子2 |
主因子3 |
主因子4 |
主因子5 |
专业1 vs专业2 |
无差异 |
无差异 |
无差异 |
无差异 |
无差异 |
专业1 vs专业3 |
无差异 |
无差异 |
无差异 |
无差异 |
无差异 |
专业1 vs专业4 |
无差异 |
无差异 |
无差异 |
无差异 |
有差异 |
专业2 vs专业3 |
无差异 |
无差异 |
无差异 |
无差异 |
无差异 |
专业2 vs专业4 |
无差异 |
无差异 |
无差异 |
无差异 |
有差异 |
专业3 vs专业4 |
有差异 |
有差异 |
有差异 |
有差异 |
有差异 |
注：“无差异”表示两个专业在该因子上的检验结果P值大于0.05，即无显著性差异。“有差异”表示两个专业在该因子上的检验结果P值小于0.05，即存在显著性差异。
3.5. 年级间差异分析
对主因子以年级区分进行独立样本非参数检验(惠–曼特尼检验)，结果显示研一和研二年级在第一印象因子上表现出明显差异(P < 0.05)，但在其它4个因子上并无没有表现出明显差异(P > 0.05)，如表9所示。
Table 9. Nonparametric test analysis across grades
表9. 年级间非参数检验
|
第一印象 |
互动启发 |
能力运用 |
课程考核 |
教学组织 |
曼–惠特尼U |
8694.5 |
9284.5 |
9752 |
9719 |
9629 |
威尔科克森W |
18,147.5 |
18,737.5 |
19,205 |
19,172 |
19,082 |
Z |
−2.219 |
−1.35 |
−0.674 |
−0.776 |
−0.915 |
渐近显著性(双尾) |
0.027 |
0.177 |
0.5 |
0.438 |
0.36 |
研一和研二年级在“第一印象因子”上存在显著差异，这可能与他们对课程内容、资源和教师素养的期望和评价不同有关。而在其他四个因子(互动启发因子、能力运用因子、课程考核因子、教学组织因子)上，两个年级的感知或评价相似，说明这些方面的教学体验或评价方式在两个年级之间保持了一致性。
3.6. 专业和年级交叉分析
为探究专业和年级交叉作用下，因子之间的差异，使用5个主因子进行卡方检验。检验结果显示，5个因子均无显著性差异(P > 0.05)。表明这些因子在专业和年级之间是独立的，这可能反映了本文所构建的评价体系的通用性。
4. 总结与建议
4.1. 研究总结
1. 构建多维度评教指标体系。突破传统评教模式，从课程内容、教学组织、资源利用、教师能力、互动反馈、专业态度、创新性、考核方式及整体满意度等10个维度构建评教指标体系。全面且细致地涵盖了影响研究生专业课程教学质量的关键因素，相较于以往研究，能更精准地衡量教学效果，为深入剖析课程教学质量提供了丰富视角。
2. 实证分析揭示差异特征。通过对不同专业、年级研究生的评教数据进行实证分析，揭示了专业间和年级间在课程评价上的差异特征。发现机械工程相关专业与农业专硕在教学组织方面存在显著差异，研一和研二在“第一印象因子”上差异明显，这为高校根据不同专业和年级特点优化教学管理、提升教学质量提供了有力的数据支持。
3. 验证评价体系通用性。专业和年级交叉分析表明，所构建的评价体系中的5个主因子在专业和年级之间相互独立，验证了该评价体系具有一定的通用性，有助于高校在不同专业和年级间推广应用，提高评教工作的效率和科学性。
4.2. 改进建议
本研究为研究生专业课程评价提供了一定的参考，但仍存在一些局限性。未来研究将进一步扩大样本数量和种类；样本将涵盖更多专业和学校，以提高研究结果的普适性。深入探究影响研究生课程满意度的其他因素，如师生关系、学校教学环境等，完善影响因素模型。此外，结合质性研究方法，如访谈、课堂观察等，更全面地了解学生对课程的看法和需求，为研究生课程教学质量的提升和研究生教学的改革提供更有效的建议。
基金项目
中国学位与研究生教育学会农林学科工作委员会2024年研究课题一般课题“研究生导师队伍能力建设研究”(项目编号：2024-NLZX-YB097)；教育部产学合作协同育人项目(项目编号：241100805051325)。
NOTES
*通讯作者。