基于层次分析法的高校线上教学模糊综合评价

Fuzzy Comprehensive Evaluation of College Online Teaching Based on Analytic Hierarchy Process

摘要: 在疫情防控背景下，线上教学质量评价对提高教师的教学能力和学生的学习效果具有重要的现实意义。然而，当前的高校线上教学质量评价具有可操作性的方法较少，没有充分考虑评价等级的模糊性。为此，给出了一种操作性强的线上教学质量模糊综合评价方法。首先，通过文献梳理，建立了线上教学质量评价指标体系。其次，结合层次分析法，得到了不同层次的指标权重。再次，结合模糊数学理论，给出了一种线上教学质量模糊综合评价方法，并以某高校为例进行了实证分析。最后，基于实证结果，给出了若干建议，以期促进高校线上教学质量的改进和提升，也为高校教学管理部门提供决策参考。

Abstract: In the context of epidemic prevention and control, online teaching quality evaluation has important practical significance for improving teachers’ teaching ability and students’ learning effect. However, there are few operational methods for online teaching quality evaluation in colleges and universities, and the fuzziness of evaluation level is not fully considered. Therefore, a practical fuzzy comprehensive evaluation method for online teaching quality is presented. Firstly, an online teaching quality evaluation index system is established through literature review. Secondly, combined with the analytic hierarchy process, the weights of different levels of indicators are obtained. Thirdly, combined with fuzzy mathematics theory, a fuzzy comprehensive evaluation method of online teaching quality is given, and an empirical analysis is carried out by taking a university as an example. Finally, based on the empirical results, some suggestions are given in order to promote the improvement and promotion of online teaching quality in colleges and universities, and to provide decision-making reference for the teaching management departments of colleges and universities.

1. 引言

随着新冠疫情的爆发，各大高校的线下教学工作受到了一定程度的影响。为确保教学工作的顺利开展，各大高校积极开展了线上教学活动，广大教师迎难而上，利用现代信息技术指导学生居家线上学习，保证了疫情期间的教学进度和安排，实现了“停课不停教、停课不停学” [1] [2]。然而，无论是对学校、教师还是学生，如此大规模的线上教学都是一个巨大的挑战。传统的线下教学质量监控与评价体系已不再适用于疫情防控背景下的线上教学，因此研究科学有效的线上教学质量评价体系与方法，具有重要的现实意义。

对线上教学质量评价指标体系的研究，薛宁和杨晓冬 [3] 基于高职院校线上教学过程中出现的问题，从课前准备、课中实施、课后效果3个维度构建了评价指标体系，确定了相应的指标权重，然后以学习者、讲授者、授课质量、学习效果为评价对象，对课程教学的全过程进行评价。高贵凤等 [4] 采用德尔菲法进行专家意见征询，构建了一套以课程设计、教学内容、教学方法与手段、教学过程、教学队伍和教学效果等6个维度的线上教学质量评价指标体系。黄冠群 [5] 以人才培养目标为中心，设计了一套包含课程内容、课程团队、技术支持和课程评价等4个维度的线上教学质量评价指标体系。

关于教学质量评价方法的研究方面，徐世强 [6] 在构建了高校线上教学质量评价体系的基础上，采用深度信念网络对线上教学质量和指标间的关系进行拟合，建立了高校线上教学质量评估方法，通过仿真实验评估了某高校的线上教育质量等级。张怡和武小鹏 [7] 借助层次分析法和模糊数学理论，构建了翻转课堂教学评价指标体系，建立了翻转课堂综合评价方法，实现了从传统的单纯依靠专家凭印象打分向系统的项目化过程性评价的转变，为科学合理地评价翻转课堂教学提供参考。鲁小艳 [8] 根据新时代高校线上教学的特性，定性地分析了高校在线教学质量评价体系的构建问题。

尽管诸多学者对教学质量的评价体系和评价方法开展了相关研究，但是目前关于高校线上教学质量评价还不是很成熟。通过文献梳理分析发现，目前关于高校线上教学质量评价具有可操作性的方法较少，没有充分考虑评价等级的模糊性。为此，本文以某高校的线上教学为例，结合易于操作的层次分析法(Analytic Hierarchy Process, AHP)，用模糊集描述各指标的评价等级，构建了一种线上教学质量的模糊综合评价方法。

2. 高校线上教学质量评价体系构建

通过相关文献 [3] [5] [9] [10] [11] [12] [13] 的研究发现，影响线上教学质量的因素主要有平台资源、教学管理、教学过程和教学效果4个方面，具体体现在：

1) 平台资源是高校线上教学的前提和基础，可分为课内与课外两方面。课内平台资源主要包括线上课程视频、课程PPT、线上课程用题等，课外平台资源主要包括平台稳定性、网络的畅通性等。通过这些课内课外平台资源可以给学生提供较为舒适的线上教学环境，提升学生线上学习的积极性和便捷性。

2) 教学管理作为教学的一个重要环节，无论是对线上教学还是线下教学都十分重要。对于线上教学而言，这主要包括线上教学平台的支持与培训、线上教学管理制度的规范性和线上教学过程的督导等方面。

3) 教学过程是评价线上教学质量的重要内容，主要包括线上教学内容、教学方法、教学参与度和教师的应变能力。教学内容涉及知识点的深度和广度，是教学过程中传递的主要信息。教学方法包括教师教的方法(教法)和学生学的方法(学法)，是教法与学法的统一。由于线上教学环境较为特殊，需要教师的教法和学生的学法做出相应调整和改变。教学参与度主要是指学生线上教学过程中的有效交流互动情况，一方面体现着教师教的水平，另一方面也影响着学生学的质量。教师的应变能力是指教师处理教学过程中临时突发问题的能力。教师若能够巧妙地对学生进行启发与引导、因材施教，则对提升教学质量有很大帮助。

4) 教学效果是指线上教学内容取得的教学成效，主要根据学生对知识的掌握程度、对作业的完成程度以及在学习过程中能否进行学习反思等方面来体现。

基于上述分析，本文围绕这4个方面构建了高校线上教学质量的评价指标体系，如表1所示。

Table 1. Online teaching quality evaluation index system

表1. 线上教学质量评价指标体系

3. 基于AHP的指标权重确定

根据上一节构建的线上教学质量评价指标体系，结合专家打分，并基于AHP对表1中同一层的指标进行两两比较，确定各层指标之间的重要程度，然后结合指标重要性程度判断标准表(见表2)进行赋值，进而得到判断矩阵，并进行一致性检验。

Table 2. 1~9 Scale table (Criteria for judging importance degree)

表2. 1~9尺度表(重要性程度判断标准表)

下面，以U-A层级为例，结合某高校的线上教学情况，给出具体计算步骤：

步骤1 确定层级判断矩阵。在评价指标U-A层级中，层级A中有4个指标，分别为 $A_1,A_2,A_3,A_4$，相对于U的判断矩阵为

$U=\left(\begin{array}{ccccc}& A_1& A_2& A_3& A_4\\ A_1& 1& 2& \frac{1}{2}& \frac{1}{2}\\ A_2& \frac{1}{2}& 1& \frac{1}{2}& \frac{1}{2}\\ A_3& 2& 2& 1& \frac{1}{2}\\ A_4& 2& 2& 2& 1\end{array}\right).$

步骤2 计算判断矩阵U的权重向量和最大特征值。根据判断矩阵U并利用Matlab软件可得到判断矩阵的权重向量

$w={\left(w_1,w_2,w_3,w_4\right)}^{\text{T}}={\left(0.1981,0.1397,0.2748,0.3873\right)}^{\text{T}}$

和最大特征值

${\lambda }_{\max }=4.1213$.

步骤3 对判断矩阵U进行一致性检验。首先，计算一致性指标

$CI=\frac{{\lambda }_{\max }-n}{n-1}=\frac{4.1213-4}{4-1}=\mathrm{0.0404.}$

通过查阅RI取值表(见表3)，可得到一致性指标的平均值 $RI=0.9$。进而，可计算得到一致性比例CR为

$CR=\frac{CI}{RI}=0.0454<\mathrm{0.1.}$

由计算结果 $CR<0.1$ 可知，U-A层级的评价判断矩阵U符合实际情况，得到的指标权重通过了一致性检验。

Table 3. Value of random consistency index RI

表3. 随机一致性指标RI的数值

同理，在评价指标A-B层级中，采用U-A层级判断矩阵的分析步骤，可确定各层级指标的权重向量：

$B_{11},B_{12},B_{13}$ 相对于 $A_1$ 的判断矩阵为

$A_1=\left(\begin{array}{cccc}& B_{11}& B_{12}& B_{13}\\ B_{11}& 1& \frac{1}{2}& 2\\ B_{12}& 2& 1& 3\\ B_{13}& \frac{1}{2}& \frac{1}{3}& 1\end{array}\right),$

$B_{21},B_{22},B_{23}$ 相对于 $A_2$ 的判断矩阵为

$A_2=\left(\begin{array}{cccc}& B_{21}& B_{22}& B_{23}\\ B_{21}& 1& 3& 2\\ B_{22}& \frac{1}{3}& 1& 1\\ B_{23}& \frac{1}{2}& 1& 1\end{array}\right),$

$B_{31},B_{32},B_{33},B_{34}$ 相对于 $A_3$ 的判断矩阵为

$A_3=\left(\begin{array}{ccccc}& B_{31}& B_{32}& B_{33}& B_{34}\\ B_{31}& 1& 3& \frac{1}{2}& 2\\ B_{32}& \frac{1}{3}& 1& \frac{1}{3}& 1\\ B_{33}& 2& 3& 1& 2\\ B_{34}& \frac{1}{2}& 1& \frac{1}{2}& 1\end{array}\right),$

$B_{41},B_{42},B_{43}$ 相对于 $A_4$ 的判断矩阵为

$A_4=\left(\begin{array}{cccc}& B_{41}& B_{42}& B_{43}\\ B_{41}& 1& 2& \frac{1}{2}\\ B_{42}& \frac{1}{2}& 1& \frac{1}{2}\\ B_{43}& 2& 2& 1\end{array}\right).$

根据A-B层级的4个不同判断矩阵 $A_1、A_2、A_3$ 和 $A_4$，计算可得相应权重和一致性检验结果，具体详见表4。

Table 4. Criterion level index weight and consistency test

表4. 准则层指标权重及其一致性检验

对表4中的权重进行总排序，并对总排序进行一致性检验，一致性比例为

$\begin{array}{c}CR=\frac{{\displaystyle \underset{i=1}{\overset{5}{\sum }}{a}_{i}C{I}_i}}{{\displaystyle \underset{i=1}{\overset{5}{\sum }}{a}_{i}R{I}_i}}\\ =\frac{0.1981\times 0.0046+0.1397\times 0.0091+0.2748\times 0.0271+0.3873\times 0.0268}{0.1981\times 0.052+0.1397\times 0.052+0.2748\times 0.9+0.3873\times 0.052}\\ =0.0702<\mathrm{0.1.}\end{array}$

由该计算结果 $CR=0.0702<0.1$ 可知，总排序通过了一致性检验，进而对线上教学质量评价指标赋以相应的权重，具体结果如表5所示。

Table 5. Online teaching quality evaluation index weight table

表5. 线上教学质量评价指标权重表

4. 线上教学质量模糊综合评价

教学质量评价等级一般采用“优秀、良好、一般、合格、较差”等自然语言进行描述，具有亦此亦彼的模糊不确定性，因此，结合模糊数学理论，用模糊集表示评价等级“优秀、良好、一般、合格、较差”，对线上教学质量进行模糊综合评价。采用专家打分法对线上教学质量进行评价打分 [14]，得到线上教学质量评价指标专家评分表，如表6所示。

根据表6，以准则层中的教学过程指标 $A_3$ 为例，使用模糊综合评价法对其进行量化评估，并设评定集为 $V=\left\{优秀，良好，一般，合格，较差\right\}$，对评定集进行赋值 $V=\left(90,80,70,60,50\right).$ 量化评估的具体步骤为：

步骤1 确定隶属度矩阵。邀请10位专家对线上教学质量进行打分，采用百分比统计法统计专家意见，用模糊集 ${\tilde{A}}_1,{\tilde{A}}_2,{\tilde{A}}_3,{\tilde{A}}_4,{\tilde{A}}_5$ 表示“优秀、良好、一般、合格、较差”5个等级，10位专家对指标 $B_{11}$ 依次对等级 ${\tilde{A}}_i$， $i=1,2,3,4,5$ 进行打分评判。若10位专家中4位评为优秀、3位评为良好、2位评为一般、1位评为合格，0位评为较差，则该指标隶属于等级 ${\tilde{A}}_i$， $i=1,2,3,4,5$ 的程度(即隶属度)分别为0.4、0.3、0.2、0.1和0，进而得到其模糊隶属度向量 $\left[0.5,0.2,0.2,0.1,0\right]$。根据 $A_3$ 指标在线上教学质量评价的专家评分结果，可得其隶属度矩阵为

$R^3=\left(\begin{array}{ccccc}0.8& 0.1& 0.1& 0& 0\\ 0.9& 0& 0.1& 0& 0\\ 0.9& 0.1& 0& 0& 0\\ 0.7& 0.2& 0& 0.1& 0\end{array}\right).$

Table 6. Online teaching quality evaluation index expert rating table

表6. 线上教学质量评价指标专家评分表

步骤2 确定与其对应指标层评价各指标的权重向量

$w_3=\left(0.2959,0.1304,0.4147,0.1591\right)$

和评定集向量

$V=\left(90,80,70,60,50\right)$

步骤3 计算该指标的综合隶属度向量

$\begin{array}{c}a{R}_3=w_3\cdot R_3=\left(w_1^i,\cdots ,w_{{}_{i_m}}^i\right)\cdot \left(\begin{array}{cccc}{r}_{11}& r_{12}& \cdots & r_{1N}\\ r_{21}& r_{22}& \cdots & r_{2N}\\ \cdots & \cdots & \cdots & \cdots \\ r_{i_{m}1}& r_{i_{m}2}& \cdots & r_{i_{m}N}\end{array}\right)\\ =\left(0.8387,0.1029,0.0426,0.0159,0\right)\end{array}$

以及综合评定值

$E_3=V\cdot a{R}_3^T=87.6503$

由此可以看出，该高校线上“教学过程”指标评价值在区间 $\left[80,90\right)$ 内，表示该高校的“教学过程”处于“良好”等级。同理，可以得到其它指标的评价结果，如表7所示。

Table 7. The final evaluation results of criteria level indicators

表7. 准则层指标的最终评价结果

最后，对目标层的线上教学质量U进行评价

1) 计算指标U的隶属度矩阵

$R^U=\left(\begin{array}{ccccc}0.7625& 0.1539& 0.0297& 0.0539& 0\\ 0.6759& 0.2211& 0.0789& 0.0241& 0\\ 0.8387& 0.1029& 0.0426& 0.0159& 0\\ 0.7510& 0.1198& 0.1293& 0& 0\end{array}\right).$

2) 确定与其对应指标层评价因素的权重向量

$w_U=\left(0.1981,0.1397,0.2748,0.3873\right)$

和评定集向量

$V=\left(90,80,70,60,50\right).$

3) 计算该指标的综合隶属度向量

$uR=w_U\cdot R^U=\left(0.7668,0.1361,0.0787,0.0184,0\right)$

和U的综合评定值

$E_U=V\cdot u{R}^T=\mathrm{86.5102.}$

由此可得，该高校的线上教学质量的评价值为86.5102，在区间 $\left[80,90\right)$ 内，表示该高校的线上教学质量处于“良好”等级。

5. 结论与建议

本文针对疫情防控背景下各高校进行线上教学质量的评估问题，基于层次分析法和模糊数学理论，以某高校为例给出了一种线上教学质量的模糊综合评价方法，为该校教学管理部门的决策制定提供了依据。同时，基于评价结果，给出了以下建议：

1) 科学合理使用线上教学资源

在线教学评估中“平台资源”指标的权重值表明，学生对线上教学资源的使用越来越关注，同时也发现线上教学资源的使用存在一些问题。例如，由于学生有多门课程，教师在安排线上资源学习任务时要比线下学习任务要多，这会增加学生的负担，同时占据了学生的大部分时间，进而导致部分学生仅仅为了完成任务而出现简单完成作业、“只刷课不听课”等不规范现象。同时，年长的老教师由于对线上教学平台不熟悉，仍然按照线下教学方式进行线上教学，而线上教学资源无法充分使用，导致线上教学比较枯燥，降低了学生的学习兴趣和效率。因此，线上教学要有自己的整体规划，按照学生的接受能力和教师的教学需要，科学合理安排线上教学资源。

2) 基于教学平台的“教”“学”行为监控

线上教学质量评估中“教学过程”指标的较高综合评定值表明，面对教学环境的改变，教师对自己的教法和学生对自己的学法做出了相应的调整和改变，效果显著。但“教学管理”指标的综合评定值最低，教学管理仍然需要改进，可利用教学平台实时监控教学行为，以加强教学的管理。

基金项目

河北省高等教育教学改革研究与实践项目(2019GJJG256)、教育部产学合作协同育人项目(202101327029)、河北工程大学教育教学改革研究与实践项目(JG2021023)。

参考文献

NOTES

^*通讯作者。