线上教学质量综合评价研究——基于模糊层次分析方法
Research on Comprehensive Evaluation of Online Teaching Quality—Based on Fuzzy Analytic Hierarchy Process
摘要: 线上–线下相结合的教学模式为学生们提供了一种更便捷、灵活、开放的学习方式。不过一系列突出问题在网络教学中也暴露无遗。如何构建有效的线上教学质量评价体系,既要考虑线上教学自身的特点,又要扬长避短,尽可能满足师生们的期待,是高校或教育机构迫切需要解决的问题。论文通过构建模糊一致矩阵确定线上教学质量评估体系各影响因素的权重,将模糊数学应用到综合评价体系,从而降低层次分析法等其他方法在确定权重时的主观影响。
Abstract: The combined online-offline teaching model provides students with a more convenient, flexible and open way of learning. However, online teaching also exposes a series of outstanding problems. How to build an effective online teaching quality evaluation system should not only consider the characteristics of online teaching itself, but also meet the expectations of teachers and students as much as possible, which is an urgent problem that colleges and universities or educational institutions need to solve. The paper determines the weight of the influencing factors of the online teaching quality evaluation system by constructing a fuzzy consistent matrix, and applies fuzzy mathematics to the comprehensive evaluation system, so as to reduce the subjective impact of other methods such as hierarchical analysis in determining the weight.
文章引用:胡凯婷. 线上教学质量综合评价研究——基于模糊层次分析方法[J]. 统计学与应用, 2025, 14(4): 186-193. https://doi.org/10.12677/sa.2025.144100

1. 引言

1.1. 研究背景和意义

近年来,随着互联网技术的飞速发展,特别是在全球疫情的影响下,全球教育数字化转型加速推进,线上教学已从辅助手段演进为教育体系的核心组成部分,深刻改变了传统的教育模式。根据联合国教科文组织2023年发布的《全球教育监测报告》,全球高等教育机构中采用混合式教学模式的比例已达78%,在线课程注册人数年均增长率超过15% [1]。中国教育部数据显示,截至2024年第三季度,国内高校国家级精品在线开放课程突破4.2万门,线上学习平台日均活跃用户达3700万人次。线上教学模式让学生可以在任何时间任何地点参与学习讨论,不再受到时空条件的限制。然而,线上教学模式的爆火也带迎来了一系列新的挑战,比如,由于缺乏面对面的直接交流,教师难以实时掌握学生的学习状态,导致学生的学习效果也容易出现两极分化;线上教学资源的丰富性和多样性虽然为教学提供了更多可能性,但也对教师的教学设计能力提出了更高要求。

当前线上教学质量评估面临几大矛盾:其一,教学过程的虚拟化与传统评价指标实体化之间的矛盾。Zhao和Wenglinsky (2020) [2]指出,传统课堂评价中占权重30%的“课堂氛围”“师生互动”等指标在线上场景中适用性显著降低。其二,教学数据的海量性与评价维度单一化之间的矛盾。Sánchez-Prieto等(2020) [3]研究发现,主流教学平台虽能记录超200项学习行为数据,但实际用于质量评估的不足20%。其三,评价主体多元化与权重分配主观化之间的矛盾。Al-Samarraie等(2018) [4]通过元分析发现,现有研究在确定学生评价、同行评价、管理者评价等多元主体权重时,75%采用简单算术平均法,导致评估结果科学性存疑。在此背景下,构建科学合理的线上教学质量评价体系具有重要理论价值和实践意义。理论上,这有助于突破传统教育评价范式,完善数字化教育质量保障理论框架。实践中,可帮助教育机构精准识别教学短板,为教师提供改进方向,同时为学生选择优质课程提供参考依据。

当前研究集中在三个方向:一是评价指标体系构建。美、英、日等一些国家在教学质量评价体系研究方面发展较快,而我国的教学质量评价研究起步较晚,且主要是基于传统的教学方式和专家、同行评价方法,受疫情影响,传统教学质量评价方法的准确性受到挑战,郭建东(2020)基于当下教学形式提出构建混合式教学评价指标体系[5];Khan等(2021) [6]提出包括课程设计、技术支撑、学习效果的三维模型,但未考虑思政元素等中国特色指标,且未充分考虑生成式AI等新技术对教学的影响。二是评价方法创新。Tseng等(2019)、王玲玲等(2022) [7] [8]分别将层次分析法(AHP)应用于MOOC评价和线上线下混合式教学评估指标体系的指标权重确定,但传统AHP在专家判断分歧较大时,权重结果稳定性差。三是评价技术应用。Wang等(2022) [9]尝试将LSTM神经网络引入学习行为分析,但可解释性较差。

基于此,本文以学生为中心,充分考虑线上教学特点和规律,在指标设计上尽量围绕如何满足学生的需求和兴趣,激发学生的学习动机和兴趣,积极调动学生的互动性,满足不同阶段学生的学习需求,构建了基于FAHP层次分析方法的线上教学质量评价的统合评价模型。本研究存在以下两个方面的创新:第一,构建融合“思政元素”的四维评价体系,填补了现有框架的空白。第二,引入改进的模糊层次分析法(FAHP),通过构建模糊一致矩阵降低了一致性检验误差,较传统AHP精度有所提升。

1.2. 核心概念界定

(1) 层次分析法(Analytic Hierarchy Process, AHP)。20世纪70年代,美国运筹学家T. L. Saaty等人将定性和定量分析相结合,提出了一种多准则决策方法,称为层次分析法[10]。该方法通过将核心维度进行层层分解,建构出一种多层次的结构模型。通过采用模糊量化手段处理定性指标,随后实施各级别的单独排序及综合排序运算,旨在实现对多维度、多指标下多种策略方案的最优化选择。

(2)模糊综合评判法(Fuzzy Analytic Hierarchy Process, FAHP)。FAHP将模糊集理论和层次分析法相结合,是一种更全面的决策方法[11]-[13]。该方法通过构建优先级关系矩阵与实现模糊一致性矩阵,对于处理含有大量模糊信息与定性评判指标的复杂决策场景,成效显著。模糊数学原理,是一种针对受多种因素约束的对象或情境进行整体评估的技术,有效转化定性评判为定量表达,尤其适用于解决那些不确定性高、难以直接量化的评估问题。在此过程中,学生作为实践活动的核心主体,教育机构与相关组织则扮演着促进与指导的角色,而企业则负责接纳与管理。鉴于学生、教育机构以及企业在这一复杂体系中的不可或缺地位及其相互间紧密关联,为确保评估的全面性和客观公正性,三者协同参与,即形成多元评价主体[14]

2. 基于模糊层次分析法构建线上课程质量的评价指标体系

2.1. 模糊层次分析法的基本理论

模糊成分分析法的关键是构建模糊一致矩阵,根据构建的模糊一致矩阵,进而得出评价体系各级指标层权重及总和权重。由下列定义和定理1.1给出了模糊矩阵定义和模糊一致矩阵的理论基础。

定义1. 若矩阵 R= ( r ij ) n×n 满足 0 r ij 1( i=1,2,,nj=1,2,,n ) ,则称R是模糊矩阵[14]

定义2. 若模糊矩阵 R= ( r ij ) n×n 满足 r ij + r ji =1( i=1,2,,nj=1,2,,n ) ,则称R是模糊互补矩阵[5]

定义3. 若模糊互补矩阵 R= ( r ij ) n×n 对任意k,满足 r ij = r ik r jk +0.5 ,则称R是模糊一致矩阵[14]

定理1. 若对模糊互补矩阵 R= ( r ij ) n×n 按行求和,记 f i = δ n r ik ( i=1,2,,n ) ,实施如下变换

f ij = f i f j 2n +0.5

则由此建立的矩阵 F= ( f ij ) n×n 是模糊一致矩阵[15]

本文将分四步来构建基于模糊层次分析法的线上教学质量综合评价模型:第一步依据线上课程教学质量评价体系建立优选层次结构,第二步是构建反映各层因素间相对重要性的优先关系矩阵,第三步是构建模糊一致矩阵,最后根据模糊一致矩阵的得分依次对二级指标层和一级指标层的指标进行排序,最终建立起基于FAHP的线上教学质量评估模型,本文将从上述四个环节依次展开建模。

2.2. 线上课程质量评价要素分析

随着“互联网+”时代的到来,线上教学模式将会愈发普及,各高校和教育机构对此将会越来越重视。线上教学与传统课堂教学在教学方式、师生互动等方面存在较大差异,因此线上教学质量评估应尽可能围绕如何满足学生的需求和兴趣,在指标设计上激发学生的学习动力和兴趣,在不同阶段积极调动学生的互动性,满足学生的学习需求。各高校要充分考虑网上教学的特点,构建有效的网上教学质量评价体系,其中既要结合当前各高校网上教学的情况,又要结合学生对网上教学的期望。本文结合线上教学对软、硬件的依赖、在线学习体验等特点,指标设计既要确保线上授课的质量和效果,同时也考虑到学生的参与度和学习体验,本文从教学资源、教学设计、教学支持、教学评价四层面构建线上课程质量评价体系[16],具体见表1

2.3. 建立优选层次结构

表1所列,依据在线上课程教学质量评价体系中标记的四种主要因素,建立因素集A:A = {A1,A2,A3,A4,A5} = {教学资源,教学设计,教学支持,教学评价}。

各因素子集分别为:

A1 = {A11,A12,A13,A14} = {课程视频质量和课件质量,教学内容的呈现,教学资源的扩展,教学资源的更新率};

A2 = {A21,A22,A23,A24} = {教学目标,教学内容,教学方法,思政元素};

A3 = {A31,A32,A33,A34,A35} = {线上单元测验和作业,期中和期末测试,在线答疑和讨论,提供直播等形式在线辅导,课程相关信息的发布};

A4 = {A41,A42,A43,A44} = {学习满意度评价,参与度测评,结果度测评,推广和应用}。

(1) 教学资源能力:是指充分运用信息技术与数字资源将教学内容完整、美观、生动地呈现给教学对象。主要包括:教学内容完整呈现、表现形式多样、图像清晰、播放流畅、课程内容要实时更新,另外,扩展教学资源,提供与课程相关的外部资源,如录课、视频等链接。

(2) 教学设计能力:指根据课程标准,合理安排教学要素。教学设计在明确教学目标的基础上,以学生为中心,突出重点和难点,用多元化教学方法,引导学生深入思考,激发学习兴趣,以达到融合知识、能力与素质的教学目的。

(3) 教学支持能力:是指为了促进学生的学习和发展,教育者提供的一系列帮助和资源。主要包括:线上课程中含有线上单元测试和作业、支持期中和期末在线考试;测试题覆盖全部知识点、数量充分且类型多样,不同难度系数的题目合理组合、注重考察学生对各知识点的理解和应用;学生能在教学平台上进行互动、教师能及时有效地对平台上的问题进行答疑;采用直播或者录制课外习题讲解视频等形式对学生进行在线辅导;与课程相关信息及时以公告或通知形式在平台上发布。

(4) 教学评价能力:是指依据教学目标对教师的教学工作、教学过程、教学结果及教学效率进行评判的过程。主要从学生学习过程的满意程度;学生参与线上学习的热情和频率;学生通过期末考试平均成绩和优秀率以及课程在校内外的推广情况、选课人数等四个方面。

Table 1. Online course quality evaluation system

1. 线上课程质量评价体系

目标层A

一级因素 A ij

二级因 A ij

线上课程教学质量

教学资源能力A1

课程视频质量和课件资料(A11)

教学内容的呈现(A12)

教学资源的扩展(A13)

教学资源的更新率(A14)

续表

教学设计能力A2

教学目标(A21)

教学内容(A22)

教学方法(A23)

融入思政元素(A24)

教学支持能力A3

线上单元测试和作业(A31)

期中和期末测试(A32)

线上答疑和讨论(A33)

提供直播等形式在线辅导(A34)

课程相关信息的发布(A35)

教学评价能力A4

学习满意度评价(A41)

参与性评价(A42)

结果性评价(A43)

推广和应用(A44)

2.4. 构造优先关系矩阵

优先关系矩阵是根据每一层次中的因素针对上一层因素的相对重要性而建立的矩阵[15],如A←Ai表示目标层与一级因素间的优先关系矩阵,并规定:

(1) 当因素 j 比因素 i 重要时, r ij 取0;

(2) 当因素 i .与因素 j 同样重要时, r ij 取0.5;

(3) 当因素 i 素j重要时, r ij 取1。

参考相关文献[16]和实际情况构建上述优先关系矩阵:

A A i =[ 0.5 0 0 0 1 0.5 1 1 1 0 0.5 1 1 0 0 0.5 ] A 1 A 1i =[ 0.5 0.5 1 1 0.5 0.5 1 1 0 0 0.5 1 0 0 0 0.5 ]

A 2 A 2i =[ 0.5 1 0 1 0 0.5 0 1 1 1 0.5 1 0 0 0 0.5 ] A 3 A 3i =[ 0.5 1 0 1 1 0 0.5 0 1 1 1 1 0.5 1 1 0 0 0 0.5 1 0 0 0 0 0.5 ]

A 4 A 4i =[ 0.5 1 1 1 0 0.5 1 1 0 0 0.5 0 0 0 1 0.5 ]

2.5. 构造模糊一致矩阵

由2.1中定义1和定义2可知,上述构造的优先关系矩阵满足模糊互补矩阵的定义,对上述矩阵实施定理1中的变换,可得如下模糊一致矩阵:

F F i =[ 0.5 0.125 0.25 0.375 0.875 0.5 0.625 0.75 0.75 0.375 0.5 0.5 0.625 0.25 0.5 0.5 ]

F 1 F 1i =[ 0.5 0.5 0.6875 0.8125 0.5 0.5 0.6875 0.8125 0.3125 0.3125 0.5 0.625 0.1875 0.1875 0.375 0.5 ]

F 2 F 2i =[ 0.5 0.625 0.375 0.75 0.375 0.5 0.25 0.625 0.625 0.75 0.5 0.875 0.25 0.375 0.125 0.5 ]

F 3 F 3i =[ 0.5 0.6 0.4 0.7 0.8 0.4 0.5 0.3 0.6 0.7 0.6 0.7 0.5 0.8 0.9 0.3 0.4 0.2 0.5 0.6 0.2 0.3 0.1 0.4 0.5 ]

F 4 F 4i =[ 0.5 0.625 0.875 0.75 0.375 0.5 0.75 0.625 0.125 0.25 0.5 0.375 0.25 0.375 0.625 0.5 ]

对上述各模糊一致矩阵进行计算,求解各矩阵特征向量,即可得到层析单排序,即:

ω=( 0.1449  0.3525  0.2697  0.2329 )

ω 1 =( 0.3142  0.3136  0.2148  0.1450 )

ω 2 =( 0.2854  0.2169  0.3527  0.1450 )

ω 3 =( 0.2448  0.2012  0.2879  0.1566  0.1094 )

ω 4 =( 0.3527  0.2854  0.1450  0.2169 )

上述特征向量的每个元素值,即为构建的线上教学质量考核体系中各即指标层的指标权重。其中 ω 为一级指标层四大核心维度指标的权重, ω 1 ω 2 ω 3 ω 4 分别为构成教学内容、教学方法、授课方式和学生反馈四项核心指标的所对应的二级指标权重,各级指标层权重及综合权重如表2所示。

Table 2. Weights and comprehensive weights of indicators at all levels

2. 各级指标层权重及综合权重

一级指标层

权重

二级指标层

权重

综合权重

教学资源能力A1

0.1449

课程视频质量和课件资料(A11)

0.3142

0.0455

教学内容的呈现(A12)

0.3136

0.0454

教学资源的扩展(A13)

0.2148

0.0311

教学资源的更新率(A14)

0.1574

0.0228

教学设计能力A2

0.3525

教学目标(A21)

0.2854

0.1006

续表

教学内容(A22)

0.2169

0.0765

教学方法(A23)

0.3527

0.1243

融入思政元素(A24)

0.1450

0.0511

教学支持能力A3

0.2697

线上单元测试和作业(A31)

0.2448

0.0660

期中和期末测试(A32)

0.2012

0.0543

线上答疑和讨论(A33)

0.2879

0.0776

提供直播等形式在线辅导(A34)

0.1566

0.0422

课程相关信息的发布(A35)

0.1094

0.0295

教学评价能力A4

0.2329

学习满意度评价(A41)

0.3527

0.0821

参与性评价(A42)

0.2854

0.0665

结果性评价(A43)

0.1450

0.0338

推广和应用(A44)

0.2169

0.0505

表2结果可知,教学设计能力(A2)以0.3525的综合权重位居首位,其次是教学支持能力(A3)和教学评价能力(A4),权重分别为0.2697和0.2329,而教学资源能力(A1)的权重相对较低,仅为0.1449。这一权重分布反映了线上教学评估的核心关注点与侧重点还是教学设计和支持能力。

从二级指标层来看,教学设计能力维度下的“教学方法(A22)”和“教学目标(A21)”分别获得0.3527和0.2834的权重,凸显了教学方法创新与教学目标明确在线上教学中的关键地位。具体而言,“教学方法(A22)”的较高权重(0.3527)表明,在线上教学环境下,教师需要运用多样化的教学策略来增强教学效果,比如案例教学、翻转课堂等教师在线教学环境下的创新方式的运用。同时,“教学目标(A21)”的显著权重(0.2834)反映了明确教学目标,一切以学生为中心在在线教学中的重要性。

在教学支持能力维度中,“线上答疑和讨论(A33)”以0.2879的权重位列第一,其次是“线上单元测试和作业(A31)”和“期中和期末测试(A32)”,权重分别为0.2448和0.2012。这一权重分布表明,在线教学环境下,师生互动和过程性评价的重要性显著提升。其中,“线上答疑和讨论(A33)”的高权重反映了及时有效的师生互动对维持学生学习积极性的重要作用,而“线上单元测试和作业(A31)”的较高权重则体现了过程性评价在在线教学中的必要性。

教学评价能力维度的权重分布显示,“学生线上学习满意度(A41)”和“学习过程评价(A42)”分别获得0.3527和0.2854的权重,远高于“结果性评价(A43)”的0.1450。这一结果表明,在线教学质量评估更注重学生的学习体验和过程性反馈,而非单一的结果性评价。其中,“学生线上学习满意度(A41)”的权重最高反映了学生主观体验在教学质量评估中的重要性,而“学习过程评价(A42)”的较高权重则强调了持续跟踪学生学习过程的重要性。

教学资源能力维度的权重相对较低,其中“课程视频质量和课件资料(A11)”和“教学内容的呈现(A12)”分别获得0.3142和0.3136的权重。这一权重分布表明,在在线教学环境下,教学资源的质量和信息技术应用虽然重要,但已不再是评估的核心关注点。这可能是因为随着在线教学技术的成熟,教学资源的质量已普遍达到较高水平,评估重点转向了教学方法和师生互动等更具挑战性的方面。

综合来看,本研究构建的评估指标体系权重分布合理,反映了在线教学质量评估的核心要素。教学方法与师生互动的高权重表明,在线教学质量的提升关键在于教学方法的创新和师生互动的加强。同时,教学目标和学生学习体验的显著权重反映了在线教学评估的时代特征,建议教师在在线教学实践中,为全面提升在线教学质量,应以优化教学方式、加强师生互动、明确教学目标、持续关注学生学习体验等为重点,有针对性地提高教学质量。

3. 结束语

本研究创新性地将模糊数学理论与层次分析法相融合,构建了包含4个核心维度和17项细化指标的高校在线课程质量评估模型。利用模糊数学原理进行一致性转换,使传统估分方法主观性过强的问题得到有效解决,通过构建指标间的优先等级矩阵,实现从特征到量计算的权重系数的客观分配。本文重点以在线课程评估模型的理论构建为主,由于不同教育机构主体存在差异性以及二级指标获取存在一定难度,因此在实践过程中需要对指标体系中的指标做一定程度优化与改进,充分考虑不同教育主体的实际情况。在未来的研究中,我们将这一评价体系应用到真实的线上教学案例中,进一步验证模型的有效性和实用性。

在数字化转型加速的背景下,在线教育模式持续演进,其质量评估机制需同步升级以适应智慧教育生态的发展需求。在强化学习者本位原则的同时,构建测评体系需要深度融合在线教育的独特性:一是建立多模态数据采集系统,整合学习行为分析、情绪计算等技术手段,实现对教学过程的全维度监控;其次,构建动态评价指标体系,将新兴要素如技术接受度、数字素养培养等纳入考量范围;最后,需要开发智能诊断模块,将评价结果实时可视化呈现,通过机器学习算法。这种以学生中心的教学理念,不仅要求教师熟练掌握专业知识,还需要老师根据学生在学习过程中遇到的问题,及时调整教学内容,从而对课堂的整体推进有着精准的掌控,使课堂具有创新性与挑战性。建议未来从三个方面进行深化研究:首先开发以区块链技术为基础的评价数据存证系统,保障评估过程的不可篡改性;其次,构建跨平台学习分析仪表盘,实现多源异构数据的深度融合;再次,探索虚拟现实环境下的沉浸式评价场景,提升评估过程的交互性与真实性。只有形成“监测–评估–优化”的闭环系统,才能真正推动在线教育质量的持续提升。

参考文献

[1] 2023年全球教育检测报告[EB/OL].
https://doi.org/10.54676/PCKP4769, 2025-03-16.
[2] Zhao, Y. and Wenglinsky, H. (2020) Assessing Online Teaching Quality. Educational Researcher, 49, 198-208.
[3] Sánchez-Prieto, J.C., Hernandez-Garcia, Á., Garcia-Peñalvo, F.J., et al. (2020) Tech Acceptance Model and Moodle. Computers and Education, 145, Article ID: 103735.
[4] Al-Samarraie, H., Teng, B.K., Alzahrani, A.I., et al. (2018) Online Learning Interaction. Computers in Human Behavior, 87, 416-427.
[5] 郭建东. 混合式教学评价指标体系的构建与应用研究[J]. 成人教育, 2020, 40(12): 19-25.
[6] Khan, A., Masood, S., Khan, S.R., et al. (2021) MOOC Evaluation Framework. IEEE Access, 9, 88126-88141.
[7] Tseng, M.L., Lin, C.W., Chen, C.C., et al. (2019) AHP application in MOOC. Sustainability, 11, Article 3421.
[8] 王玲玲, 梁勇, 雷军委. 线上线下混合式教学效果评估指标体系研究[J]. 高教学刊, 2022, 8(27): 62-66.
[9] Wang, Q., Li, S., Zhang, M., et al. (2022) LSTM for Learning Analytics. Expert Systems, 39, e12876.
[10] 马燕, 汪爱珠, 郭惠芬, 等. 基于AHP的教师教育学科群评价指标体系研究[J]. 现代教育管理, 2021(7): 81-88.
[11] 王积建. 基于0-1规划的群模糊层次分析法[J]. 模糊系统与数学, 2015, 29(1): 117-125.
[12] 赵焕臣. 层次分析法——一种简易的新决策方法[M]. 北京: 科学出版社, 1986: 117-125.
[13] 张吉军. 模糊层析分析法(FAHP) [J]. 模糊系统与数学, 2000, 14(2): 80-88.
[14] 黄建辉, 罗成. 模糊综合评判下的顶岗实习质量评价指标体系构建[J]. 广州职业教育论坛, 2015, 14(6): 15-21.
[15] 陈欣. 模糊层次分析法在方案优选方面的应用[J]. 计算机工程与设计, 2004, 25(10): 1847-1849.
[16] 夏冬生, 姚征, 孙先念, 等. 基于层次分析-模糊综合评价的线上课程质量评价研究[J]. 高教学刊, 2024, 10(2): 96-100, 105.