1. 引言
MOOCs (Massive Open Online Courses，大规模开放在线课程)是面向社会公众的开放式网络课程，MOOCs给全球高等教育带来了机遇和挑战，将深刻改变高等教育全球化的竞争模式，关系到国家教育发展的战略资源。2015年4月，教育部下发了《教育部关于加强高等学校在线开放课程建设应用与管理的意见》，提出加快推进我国MOOCs建设。中国如何参与国际竞争，可持续发展MOOCs，应对全球化教育竞争，引发了全社会高度重视和思考。
但MOOCs质量评价问题日益突出，首先，MOOCs质量评价仍延用传统在线网络课程的评价体系与方法，忽略了MOOCs的自主性、多样性、开放性和互动性；第二，MOOCs质量与课程建设和MOOCs平台运行中的各个环节密切相关，因此，有必要集成教学者与学习者双方视角；第三，MOOCs质量评价多采用专家打分或问卷调查，难以实现对教学过程与学习过程的客观评估。
因此，本文集成MOOCs教学者和学习者视角，结合MOOCs特征，将MOOCs质量评价作为MOOCs系统收益，构建MOOCs系统成功模型；鉴于MOOCs平台已积累了大量课程和用户数据，可以为MOOCs质量评价提供客观数据，本文应用Web挖掘MOOCs平台数据进行实证，探索MOOCs质量评价影响因素；理论上，为MOOCs质量评价，提供可操作的理论方法和分析工具，实践上，为MOOCs的规范建设和长效发展提供策略指导。
2. 文献综述
2.1. MOOCs质量评价的研究现状
国内在线课程质量评价研究起步较晚，针对MOOCs评价的相关研究较少，主要从用户行为分析、系统影响因素分析和模糊评价方法三方面分别展开。文献 [1] 提出应该按照评价目的选择局部或整体性评价标准，但未强化用户行为评价环节的质量控制。文献 [2] 构建了MOOCs教学过程质量监控评价体系，但限于在线网络课程的评价要素。文献 [3] 基于K-Means聚类法将学习者分类，探讨影响MOOCs学习质量的关键因素进行了探讨。文献 [4] [5] [6] 通过对用户行为数据进行整合分析，评测教学质量，定性分析了MOOCs学习质量影响要素。采用文献调研法和专家访谈法，文献 [7] [8] [9] [10] 构建了MOOCs 教学质量评价指标体系，应用模糊综合评价法对MOOCs教学质量进行评价，但评价指标及权重的主观性较强。
国外在线课程质量评价研究起步较早，针对MOOCs质量的相关研究较多，主要从应用QM (Quality Matter)质量评价框架、教学设计质量评估和质量评估标准三个方面分别展开。QM (Quality Matter)质量评价框架 [11] 广泛应于评价在线课程设计的质量，研究表明，学生和教师对于学习目标的重要性有不同的认识，学生关注清晰表达的目标，而教师关注可测量的目标 [12] 。文献 [13] 应用QM探究MOOCs质量，研究结果对于设计在线课程具有指导意义，但未充分考虑MOOCs特征。文献 [14] [15] [16] 提出，需要收集学习者数据，用以评价MOOC教学设计。由于大多研究基于已完成的学习者体验经历，缺乏MOOCs质量整体研究 [17] ，文献 [18] 提出可采用一些传统教学标准评价MOOCs质量。但在MOOCs中，很多参与者甚至无结课的意图 [19] [20] 。为进一步明确MOOCs服务对象和服务目标 [21] [22] ，文献 [23] [24] 提出需要开发更好的评价指标来理解学习者如何与MOOCs交互，但未形成通用标准衡量MOOCs质量。
2.2. 在线学习系统成功的研究现状
在线课程质量的评价不应该仅局限于课程本身，还应包括平台和组织等方面的考虑，由此，课程质量评价应从社会维度和技术维度 [25] ，分析教育模式与教育策略。整合平台、组织和行为的信息系统成功模型可用于MOOCs质量研究。但目前仅有研究关注E-Learning系统成功，并且未能与课程质量评价相结合，而MOOCs是不同于E-Learning的教学设计和运营模式创新，MOOCs更强调自主性、多样性、开放性和互动性。
现有E-Learning系统成功研究通常采用问卷调查方法，实证研究E-Learning系统的使用愿意和使用行为的影响因素。文献 [26] 提出包括文化建构的e-learning系统成功模型，通过问卷调查，实证研究结果表明，文化对个人和组织的影响有决定性作用。文献 [27] 从企业员工角度，构建了评价e-learning系统的成功模型，结合观察和问卷进行实证研究，探讨关键成功因素及其相互关系。文献 [28] 整合技术接受模型和信息系统成功模型，探讨质量特征、感知易用性、感知有用性对用户意图和满意度的影响，以及易用性对e-learning使用的中介作用。文献 [29] 评估IT基础设施服务在E-learning系统成功方面的作用。
2.3. 国内外相关研究总结
1) MOOCs是资源、用户和信息技术，三元关系构成的生态体系，信息系统成功模型可有效整合三者的协同关系，但目前尚未应用于MOOCs研究。
2) 目前MOOCs 质量评价割裂教学者与学习者，但MOOCs评价与运行中的各个环节密切相关，因此，需集成教学者与学习者双方视角，以MOOCs系统成功为导向，探索MOOCs质量评价体系。
3) 目前MOOCs质量评价方法大多采用传统的专家打分或问卷调查方式，评价指标及其权重主观性较强，但MOOCs平台已积累大量客观数据，可以通过Web挖掘用于MOOCs质量的客观评价。
3. 集成教学者和学习者的MOOCs系统成功模型
本研究集成MOOCs教学者和学习者视角，结合MOOCs平台特征，将MOOCs质量评价作为MOOCs系统收益，构建MOOCs系统成功模型，如图1所示。由于信息技术的成熟与发展，系统质量保证已成为MOOCs平台生存的必要条件，因此，模型关注MOOCs平台的信息质量和服务质量，分别从教学者和学习者角度出发，综合考虑教学与学习的全周期行为，建立MOOCs平台特征影响MOOCs信息质量和服务质量，MOOCs信息质量和服务质量影响MOOCs使用行为和MOOCs质量评价，以及MOOCs使用行为影响MOOCs质量评价的基本假设。其中，MOOCs服务质量是对MOOCs系统提供服务的评估；MOOCs信息质量是对MOOCs系统提供信息的评估；作为MOOCs系统收益的质量评价指标，包括：MOOCs评分、MOOCs评论和MOOCs关注转化率衡量。
Figure 1. MOOCs system success model
图1. MOOCs系统成功模型
3.1. MOOCs平台特征相关假设
开放性、社会认可和信誉度作为MOOCs平台的重要特征，是用户参与MOOCs的首要影响因素。
MOOCs开放性是指用户可以通过多渠道访问，免费获取和传播教育资源 [25] ，MOOCs平台为教学提供信息和服务，易于知识共享与传播；MOOCs平台为学习者提供的信息和服务，易于知识获取与交流。因此，MOOCs开放性为教学者和学习者有效共享知识、传播知识和获取知识提供了更多便利。
MOOCs社会认可是指社会人士、机构，尤其是企业及事业部门对MOOCs的认可，例如：MOOCs学分和MOOCs证书的认可 [30] 。MOOCs信誉度是对MOOCs平台影响力及可信度的评价。社会认可度高，值得信赖的MOOCs平台通常会为用户提供有质量保证的专业平台，由此，社会认可以及信誉度是评估MOOCs平台信息质量和服务质量的关键因素 [31] 。因此，本文提出以下的研究假设。
H1a MOOCs平台特征正向影响学习服务质量
H1b MOOCs平台特征正向影响教学服务质量
H2a MOOCs平台特征正向影响学习信息质量
H2b MOOCs平台特征正向影响教学信息质量
3.2. 服务质量和信息质量相关假设
服务质量评估用户从信息系统得到支持的质量，例如，MOOCs平台可以为教学者提供课程助教服务、教学辅助服务和课程运作服务，有助于教学者开展MOOCs教学；为学习者提供字幕服务和课程语言翻译，有助于学习者进行MOOCs学习；由此，服务质量会影响作为系统收益的MOOCs质量评价。服务质量对于信息系统使用行为以及系统收益有显著影响 [32] ，因此，本文提出以下研究假设。
H3a MOOCs学习服务质量正向影响MOOCs学习行为
H3b MOOCs教学服务质量正向影响MOOCs教学行为
H4a MOOCs学习服务质量正向影响MOOCs质量评价
H4b MOOCs教学服务质量正向影响MOOCs质量评价
信息质量代表了信息系统的理想输出，信息质量评估包括系统生成的信息质量及其对用户的有用性评价 [33] 。例如，MOOCs平台可以为学习者提供相关课程信息、相关专题信息和课程开课信息，有利于学习者扩展学习；为教学者提供课程总学时信息、周学时信息和课程难度信息展示，有利于教学者充分展示课程特点；由此，信息质量会影响作为系统收益的MOOCs质量评价。信息质量通常被视为系统使用行为以及系统收益的关键影响因素 [34] ，因此，本文提出以下研究假设。
H5a MOOCs学习信息质量正向影响MOOCs学习行为
H5b MOOCs教学信息质量正向影响MOOCs教学行为
H6a MOOCs学习信息质量正向影响MOOCs质量评价
H6b MOOCs教学信息质量正向影响MOOCs质量评价
3.3. 使用行为相关假设
使用行为是指用户对信息系统的使用及其程度，用户在MOOCs平台不仅可以获取和传播课程资源，而且可以通过论坛进行交互讨论 [30] 。有效实施MOOCs的关键因素之一是分析用户行为，包括：学习行为(例如，MOOCs学习注册、学习笔记和发帖讨论)和教学行为(例如，趣味性、教学设计和教学互动)，由此，MOOCs教学行为会直接影响MOOCs学习的积极性。因此，本文提出以下假设。
H7 MOOCs教学行为正向影响MOOCs学习行为
使用行为对信息系统的产出有直接的关联 [32] ，在MOOCs环境中，课程评分、课程评论和关注转化率，是对MOOCs课程学习与教学的综合评价。从教学者角度，教学者的教学投入是影响课程质量的重要因素；从学习者角度，学习者的持续学习让学习者对课程内容有更多的认知，是评价课程质量的依据。因此，本文提出以下假设。
H8a MOOCs学习行为正向影响MOOCs质量评价
H8b MOOCs教学行为正向影响MOOCs质量评价
4. MOOCs质量评价模型实证研究
4.1. 实证对象选取
本文选取MOOC学院作为MOOCs质量评价模型的实证对象，原因在于：1) 果壳网旗下的“MOOC学院”是最大的中文MOOC学习社区，收录了全球范围内所有主流MOOC平台的课程；2) MOOC学院为用户提供友好互动的交流平台，已积累了大量课程和用户信息，可以通过Web挖掘相关研究数据。
4.2. 测量指标选取
根据本文的研究假设以及研究变量，结合MOOC学院平台特点，提出以下测量指标，如表1所示。
4.3. 数据收集与预处理
首先，本文采用火车头数据采集器，在2018年10月到12月间，随机挑选课程的开课时长和用户参与都形成一定规模的MOOCs课程；接着，剔除指标信息不全的课程信息；最后，得到有效的896门课程数据，课程主要来源于16个MOOCs平台。MOOCs平台特征中的信誉度和开放性指标，这二个文本型数据的计量规则，如表2所示。其中，MOOCs平台分类是根据其发展年限和知名度，分为四类：第一类(Coursera, EdX, Udacity)、第二类(中国大学MOOC，学堂在线，好大学在线)、第三类(ewant, Futurelearn, Open2Study)和其他平台。
Table 1. Measurement indicators of model variables
表1. 模型变量的测量指标
Table 2. Measurement of text indicators
表2. 文本指标计量方式
5. 数据分析
5.1. 数据的信度与效度分析
由于采用客观数据，指标量级相差较大，因此需要先将数据标准化，利用标准化后的数据进行数据分析。本研究的信度测量方法采用Cronbach系数，效度测量采用探索性因子分析。为了避免Cronbach系数产生的一些问题，例如：信度膨胀、测量变量具有同等的重要性等问题，这里通过组合信度(CR > 0.6)和平均方差抽取量(AVE > 0.5)进行效度分析 [30] 。
通过SPSS分析各指标变量Cronbach系数，根据因子分析各变量因子负荷表，并计算组合信度(CR)和平均方差抽取量(AVE)，如表3所示。8个变量的Cronbach系数均大于临界值0.70，CR系数均大于临界值0.6，AVE系数均大于临界值0.5，各变量的因子负荷值均大于0.5，因而可以进行路径分析 [35] 。
Table 3. Indicator variables and variable factor load
表3. 指标变量及各变量因子负荷
5.2. 假设检验
本文利用结构方程模型(SEM)中的最大似然法，对提出的15个假设进行验证，模型的路径分析如图2所示。
图2路径上的系数估值反映了潜变量之间影响的方向和影响的程度，变量下方括号中的值表示潜变量能被解释的程度，也反映了模型的预测能力 [36] 。其中，MOOCs平台特征对学习服务质量、学习信息质量和教学服务质量的解释力度分别为16.3%，71.9%和15.7%，由此，MOOCs平台特征对学习信息质量有更强的解释能力；学习信息质量和教学行为的组合效用对学习行为的解释力度为54.8%；教学信息质量对教学行为的解释力度为71.4%；学习质量、学习行为和教学服务质量的组合效用对质量评价有很强的解释力度达到98.9%，说明指标的有效性。
假设检验结果的综述，包括：每个假设、路径系数以及路径显著性，如表4所示，15个研究假设中有9个成立。
Table 4. Model hypothesis test results
表4. 模型假设检验结果
5.2.1. 学习者角度
验证与学习者相关的研究假设H1a，H2a，H3a，H4a，H5a，H6a和H8a，除假设H3a和H6a不成立，即学习服务质量正向影响学习行为以及学习信息质量正向影响MOOCs质量评价不成立，其余研究假设都成立。
1) MOOCs平台特征对学习服务质量和学习信息质量的影响
与研究假设一致，MOOCs平台特征显著正向影响学习服务质量和学习信息服务质量，并且MOOCs平台特征对学习信息质量的影响(路径系数为0.848)要大于对学习服务质量的影响(路径系数为0.123)。这说明信誉度、开放性和社会认可较高的MOOCs平台，例如Coursera，通常会提供较高水平的学习服务，尤其更高水平的学习信息，以保障学习者的学习 [37] 。
2) 学习服务质量和学习信息质量的影响
与研究假设一致，学习信息质量显著正向影响MOOCs学习行为(路径系数为0.883)；但与研究假设相反，学习服务质量对MOOCs学习行为无显著影响。这说明提高MOOCs学习积极性的有效方式是提升学习信息价值 [38] ，这也解释了相对于学习服务质量，MOOCs平台更侧重于学习信息质量的原因。
与研究假设一致，学习服务质量显著正向影响MOOCs质量评价(路径系数为0.710)，学习行为显著正向影响MOOCs质量评价(路径系数为0.920)；但与研究假设相反，学习信息质量对MOOCs质量评价无显著影响。这说明从学习者角度，改善MOOCs质量评价的直接途径是完善学习服务，间接途径是通过提高学习信息价值提高MOOCs学习积极性。
由于MOOCs学习者参与MOOCs学习，更看重的是MOOCs课程学习价值，因此，MOOCs学习者会应用与课程直接相关的学习信息(例如：相关课程、相关专题和重复开课信息)，开展MOOCs学习(例如：学习笔记和学习讨论)，实现MOOCs学习目标，由此评价MOOCs质量 [39] ；而与课程不直接相关的MOOCs学习服务(例如：字幕服务和翻译服务)，作为MOOCs学习基本配置，虽然会直接影响MOOCs学习者对MOOCs质量评价，但对于学习者开展MOOCs学习没有直接影响。
5.2.2. 教学者角度
验证与教学者相关的研究假设H1b，H2b，H3b，H4b，H5b，H6b，H7和H8a，除假设H2b，H3b，H6b和H8b不成立，即MOOCs特征正向影响教学信息质量、教学信息质量正向影响MOOCs质量评价、教学服务质量正向影响教学行为以及教学行为正向影响MOOCs质量评价不成立，其余研究假设都成立。
1) MOOCs平台特征对教学服务质量和教学信息质量的影响
与研究假设相一致，MOOCs平台特征会正向影响教学服务质量(路径系数为0.123)，这说明具有信誉度、开放性和社会认可的MOOCs平台，通常会为教学者提供较高水平的教学服务，便于教学者完成教学任务。
与研究假设相反，MOOCs平台特征对教学信息质量无显著影响，这是由于目前各大MOOCs平台为教学者提供的教学信息形式单一，例如：课程教学信息展示，因此教学信息质量有待提高。
2) 教学服务质量和教学信息质量的影响
与研究假设一致，教学信息质量显著正向影响MOOCs教学行为(路径系数为0.187)；但与研究假设相反，教学服务质量对MOOCs教学行为无显著影响。这说明提高MOOCs教学积极性的有效方式是提升教学信息价值。
与研究假设一致，教学服务质量显著正向影响MOOCs质量评价(路径系数为0.525)，教学行为显著正向影响MOOCs学习行为；但与研究假设相反，教学行为对MOOCs质量评价无显著影响，教学信息质量对MOOCs质量评价无显著影响。这说明从教学者角度，改善MOOCs质量评价结果的直接途径是完善MOOCs教学服务，间接途径是通过提高MOOCs教学信息质量提高MOOCs教学积极性，由此影响学习者的MOOCs学习积极性。
由于MOOCs教学者参与MOOCs教学，重点在于MOOCs课程教学价值，因此，MOOCs教学者会应用与课程直接相关的教学信息(例如：总学时、周学时和难度信息)，开展MOOCs教学(例如：课程创新、课程设计和教学互动)，实现MOOCs教学目标，吸引学习者积极参与MOOCs学习(例如：学习笔记和学习讨论)，由此而影响MOOCs质量评价；而与课程不直接相关MOOCs教学服务(例如：助教服务和辅助服务)，作为MOOCs教学基本配置，虽然会直接影响MOOCs质量评价，但对于MOOCs教学行为没有直接影响。
6. 总结
6.1. 理论意义
首先，与之前研究结果一致 [33] ，本文研究表明信息质量显著正向影响用户行为，学习行为显著影响MOOCs质量评价；与之前的研究不同 [33] ，信息质量对MOOCs质量评价无显著影响，MOOCs教学行为对MOOCs质量评价无显著影响。从学习者角度，MOOCs为学习者提供的学习信息质量越高，越能促进MOOCs学习者积极参与学习，实现MOOCs学习者的学习目标，由此影响MOOCs学习者对MOOCs的质量评价。从教学者角度，MOOCs为教学者提供的教学信息水平越高，越能促进MOOCs教学者积极投身教学，特别地，教学信息质量能够通过MOOCs教学行为对MOOCs学习行为产生间接影响，即MOOCs教学行为是教学信息质量与MOOCs学习行为之间的中间桥梁，因此，MOOCs教学行为会通过MOOCs学习者的学习体验而影响MOOCs质量评价。
第二，与之前研究结果不同 [32] ，本文研究表明服务质量对用户行为无显著影响。这是由于MOOCs学习行为和MOOCs教学行为，都取决于与课程直接相关的学习信息质量和教学信息质量；而与课程不直接相关的学习服务质量与教学服务质量，作为MOOCs平台的学习与教学基本配置，虽然会直接影响MOOCs质量评价，但不能影响学习行为和教学行为。
6.2. 实践意义
目前以信息系统成功模型为基础，探索MOOCs质量评价影响因素的研究很少。首先，本研究将MOOCs平台特征(包括：信誉度、开放性和社会认可)，作为影响信息质量和服务质量的独立变量。研究结果表明MOOCs平台特征分别通过学习服务质量和教学服务质量而间接影响MOOCs质量评价；MOOCs平台特征通过学习信息质量影响学习行为，进而影响MOOCs质量评价，因此，MOOCs平台建设者应注重规划与提升MOOCs信息质量和服务质量，以提高MOOCs质量评价；相对于MOOCs教学者，MOOCs平台更侧重为MOOCs学习者提供学习服务和学习信息，因此，建议MOOCs平台为MOOCs教学者提供深入的教学诊断信息，有助于为MOOCs教学者提供个性化教学信息，从而有助于提高MOOCs平台的差异化竞争能力。
其次，本文提出信息质量和服务质量分别影响用户行为，以及信息质量和服务质量分别影响MOOCs质量评价的研究假设，研究结果表明，MOOCs服务作为MOOCs平台基本配置直接影响MOOCs质量评价，但不影响MOOCs用户行为；MOOCs信息质量需要通过MOOCs用户体验行为对MOOCs质量评价产生影响。因此，建议在加强MOOCs服务建设的基础上，提升MOOCs信息质量，强化MOOCs学习与教学体验，提高MOOCs学习者学习积极性和MOOCs教学者教学积极性。
最后，本文强调通过MOOCs用户行为影响MOOCs质量评价的重要性，研究结果表明MOOCs学习投入对MOOCs质量评价产生直接影响，而MOOCs教学投入需通过MOOCs学习者体验对MOOCs质量评价产生间接影响。因此，通过加强MOOCs教学投入，增进MOOCs学习者与MOOCs教学者之间的互动，可有效推动MOOCs学习者学习参与积极性。
7. 研究局限和未来研究方向
首先，本文构建模型测量指标，并且采取数据挖掘方式获取变量测量数据，应用结构方程模型进行MOOCs质量影响因素的假设检验，虽然测量数据及其权重具有客观性，但测量指标的合理性及有效性，有待进一步完善。
其次，本文采取时间横截面研究，但MOOCs平台特征及其用户行为具有动态性，纵向研究可以更深入地了解MOOCs用户行为的发展。因此，要深化对模型中变量之间的相互关系或因果关系的了解，纵向研究设计是未来研究方向。
基金项目
国家社科基金“十三五”规划教育学一般课题，项目编号：BFA180064；本研究受同济大学研究生教育研究与改革项目资助(项目编号ZD1903018)。