工程硕士学习成果评价指标体系构建研究

Research on the Construction of Evaluation Index System for Master of Engineering Learning Achievement

摘要: 工程硕士教育是培养高层次、应用型工程技术人才的重要途径，其培养质量的好坏将直接影响我国的工程人力供给。对工程硕士学习成果的评价侧面反映了对工程硕士教育质量的评价，完善工程硕士学习成果评价指标体系对于优化工程人才培养模式具有重要意义。本文采用德尔菲法和AHP层次分析法筛选出核心指标并确定指标权重，初步建设了由“通用学习成果”“专业学习成果”2个一级指标、6个二级指标和34个三级指标构成的工程硕士学习成果评价指标体系，发现我国现阶段对于工程硕士的要求更加强调“通用能力”，专业能力较为欠缺，为未来工程硕士培养模式变革与评价维度改变提供了借鉴。

Abstract: Master of Engineering education is an important way to cultivate high-level, application-oriented engineering talents, and the quality of its cultivation will directly affect the supply of engineering manpower in China. The evaluation of engineering master’s learning outcomes laterally reflects the evaluation of the quality of engineering master’s education, and it is of great significance to improve the evaluation index system of engineering master’s learning outcomes in order to optimize the engineering manpower training mode. This paper adopts the Delphi method and AHP hierarchical analysis method to screen out the core indicators and determine the weights of the indicators, and initially constructs the evaluation index system of engineering master’s degree learning outcomes composed of two first-level indicators of “general learning outcomes” and “professional learning outcomes”, six second-level indicators and 34 third-level indicators. Learning outcomes evaluation index system, found that China’s current stage of the requirements for the master of engineering more emphasis on “general competence”, the lack of professional competence, for the future of the master of engineering cultivation mode change and evaluation dimensions of the change provides a reference.

1. 引言

工程在解决与人类生活相关的复杂问题中起着重要作用，工程科技人才成为支撑国家战略和区域经济社会发展的重要支柱。新一轮科技革命和产业变革与我国加快转变经济发展方式形成历史性交汇 [1] ，经济增长的新旧动能转换，行业企业迅速发展，国家对于高层次工程科技人才需求量增长；与此同时，在全球化知识经济的时代，知识生产模式II、III与知识生产模式I共存，强调知识生产“跨学科性”和“应用性”，人才培养以解决问题为基本导向，国家对于工程科技人才的实践能力和解决复杂问题的能力提出了新的要求。而研究生教育作为高等教育中培养高层次人才的主要途径，在人才培养体系和创新体系中具有至关重要的地位，工程硕士的出现正是为了满足社会对于新型的应用型高层次工程科技人才的需要。

2. 问题提出

近年来，国家不断出台政策推进专业学位研究生培养。2017年，教育部正式启动工程硕士教育认证和质量监测工作，推动工程硕士教育质量提升，保障工程硕士研究生的权益。2018年为更好统筹工程硕士和工程博士专业人才培养，服务国家工程科技与产业发展需要，国务院学位委员会将37个工程硕士、4个工程博士领域统一调整为电子信息等8个类别。2020年，教育部公布《专业学位研究生教育发展方案(2020~2025)》，《方案》提出专业学位研究生教育发展目标为：“到2025年，以国家重大战略、关键领域和社会重大需求为重点，增设一批硕士、博士专业学位类别，将硕士专业学位研究生招生规模扩大到硕士研究生招生总规模的三分之二左右 [2] 。”专业学位研究生开始大幅度扩招，2020年专业学位研究生602,495人，所占比重为60.83%；工程硕士占专业学位研究生人群比重为34.18%。2023年，教育部强调要深入推进学术学位与专业学位研究生教育分类发展、融通创新，尤其特别强调了新时期要大力推进重点领域的改革，点出要以卓越工程师培养为牵引深化专业学位研究生教育改革，瞄准国家战略布局和急需领域，完善高校、科研机构工程专业学位硕士、博士学位授权点布局 [3] 。然而，随着大规模扩招，工程硕士质量的“滑坡”现象也日益凸显。因此，在新时代工程硕士大规模扩招的情况下如何推进其高质量发展成为大家亟需关注的问题。

纵观以往对于硕士研究生的质量评价研究主要集中于输入端或过程端，例如针对课程设置、导师队伍、资源投入等维度来建立评价指标，忽视了输出端(结果层)评价，评价指标往往采用绩点与科研成果等单一指标，具有一定局限性。但是究其本质，工程专业学位研究生教育发展质量到底如何，最终应由学生的学习成果来展现。鉴于此，本研究力图突破以往以宏观层面分析研究生培养质量的视角，聚焦于微观的学生学习成果，借鉴国内外有关学习成果指标以及工程硕士专业培养方案的基础上，科学构建工程硕士学习成果评价指标体系，试图在一定程度上实现工程硕士培养的自我诊断与自我完善，为有效提升工程教育人才培养质量提供参考。

3. 工程硕士学习成果评价指标体系构建的理论依据

3.1. 概念界定

关于学习成果的概念，国内外从不同的视角进行了定义与描述。国际上，联合国教科文组织将学生学习成果定义为“学习者历经一段学习与完成某一单元时数、课程或单元后，所被期待应该知道、了解与能展现何种成果的说明 [4] ”。而尤厄尔认为学生学习成果是学生学习后的产出，包括认知、技能和情感，应反映学生的增值情况 [5] 。在国内，学习成果也被称为“学习结果”、“学习效果”以及“学习产出”，吕林海认为学习成果主要指由学习而导致的个人转变和收益 [6] ；黄海涛学者认为学生学习成果有广义和狭义之分，广义的是指学生就读期间所积累的各种经验，狭义的学生学习成果是指“学生在参与特定的一系列大学学习后获得的某一水平的知识、技能及能力” [7] 。

综上可得，本研究遵循“学生在接受一段学习经历后获得的知识与理解力、态度与价值观、技能与行为等成果”的定义。继续细化到工程硕士群体，结合工程硕士本身的“工程性”与“实践性”，本研究认为工程硕士学习成果与普通大学生学习成果虽相似，但程度和比重不同，即工程硕士学习成果是指工程硕士参与研究生理论和实践的学习之后所被期待获得的成果，主要包括通用学习成果和专业学习成果两个方面。

3.2. 理论依据

解决“培养什么样的人”的问题，也就是“培养目标”的确定，是教育者历来关注的核心问题，也是高等教育进行人才培养方案制定和实施教学过程的顶层设计。工程硕士教育目标的实现在很大程度上依赖于工程硕士学习成果的获得，换言之，工程硕士学习成果的好坏直接体现在教育目标的实现与否，二者存在高度相关性。因此，要想科学合理评价工程硕士的学习成果，就要明晰工程硕士的培养目标和教学目标。美国当代著名学者布鲁姆将分类学的相关理论与教育学进行结合，根据人的认知过程从简单到复杂，从具体到抽象这一规律将教育目标分为三大领域——认知领域(Cognitive Domain)、情感领域(Affective Domain)和动作技能领域(Psychomotor Domain)，这为工程硕士学习成果的划分提供了依据。因此本研究依据布鲁姆的教育目标分类理论，将其三大教育目标作为工程硕士学习成果评价的二级指标分类，并以此为逻辑起点，从通用学习成果和专业成果两个维度进行要素整理与划分，增加工程硕士学习成果评价指标体系的科学性与合理性。

4. 评价指标选取及框架构成

4.1. 评价指标初拟

工程硕士学习成果的优劣直接影响着工程教育质量和工程科技人才培养质量。通过上文对全日制工程硕士学习成果的定义，了解到其主要包括认知、态度和技能三大领域。为了开展后面的全日制工程硕士学习成果的实证研究，需要在这三大领域的基础上对全日制工程硕士学习成果评价要素进行分解和剖析。本文立足于学生学习成果评价，选取国内外有关学生学习成果的指标、全日制工程硕士培养标准、工程专业认证标准、卓越工程师教育培养计划硕士层次通用标准以及工程硕士专业培养方案等文献，从专业学位研究生的特性出发，确定通用学习成果的指标内容；从我国工程硕士的培养目标出发，确定专业学习成果的指标内容。最后利用Nvivo12.0软件根据扎根理论进行质性文本分析，从通用学习成果和专业学习成果两个维度，对文本资料进行编码和类属划分，最终形成2个一级指标，6个二级指标和32个三级指标构成的评价指标体系(见表1)，作为初始问卷指标的基础。

Table 1. Indicator system for evaluating learning outcomes of master of engineering (draft)

表1. 工程硕士学习成果评价指标体系(草案)

4.2. 评价指标筛选

初步建立的工程硕士学习成果评价指标体系是经过国内外文献文本分析而成，若指标内容不符合我国工程硕士培养的实际情况，在评价过程中可能产生不适用的情况。因此，本研究在进行评价指标筛选时主要运用德尔菲法，协助筛选和修改指标项目。德尔菲法又称专家咨询法，是调查者制定函询表征求专家意见，专家根据调查者反馈材料背对背匿名交流，经过数轮反馈后，专家意见渐趋一致，最终获得具有统计意义的专家集体判断结果 [8] 。本研究运用德尔菲法进行了两轮专家调查，在整合专家评议结果的基础上，研制出工程硕士学习成果评价指标体系。

1) 第一轮专家咨询结果

根据《工程硕士学习成果评价指标体系草案》制作问卷并发放，进行第一轮专家咨询，专家均给出了自己的意见和建议，根据异议指标(表2)进行工程硕士学习成果评价指标体系增删与修改。

Table 2. Comparison of the results of the first round of expert consultation with changes in the content of the indicators

表2. 第一轮专家咨询结果与指标内容修改对照表

2) 第二轮专家咨询结果

根据评价指标体系第一轮修改版制定第二轮专家意见调查表，在第二轮专家意见调查中，按照第一轮程序进行问卷调查，并将新添加和已修改的指标用红色标出进行区分。第二轮德尔菲法调查后，专家们参考第一轮其他专家的相关意见给出新的判断(表3)。

Table 3. Comparison of the results of the second round of expert consultation with changes in the content of the indicators

表3.第二轮专家咨询结果与指标内容修改对照表

综合上表内容，增删与修改指标项目后，确定了最终版本的指标体系，共2项一级指标，6项二级指标和34项三级指标。

Table 4. Evaluation indicator system for learning outcomes of master of engineering (final draft)

表4. 工程硕士学习成果评价指标体系(终稿)

5. 工程硕士学习成果评价指标赋权与确立

考虑到工程硕士学习成果具有分层交错的特点且难以实现完全的定量描述，因此本研究选用层次分析法进行评价指标体系的指标赋权。层次分析法是美国匹兹堡大学教授萨蒂于20世纪70年代提出的多目标决策分析法，适用于解析多因素构成的复杂系统。层次分析法通常包含建立层次结构模型、构造判断矩阵、层次单排序及其一致性检验、层次总排序及其一致性检验四个步骤。

5.1. 建立层次结构模型

以“工程硕士学习成果”为决策目标(目标层)，将表4中二级指标的6个要素确定为准则层，三级指标的34个要素确定为因子层，以此构建三层次结构模型(图1)。

Figure 1. Hierarchical structure of the evaluation index system of engineering master’s learning outcomes

图1. 工程硕士学习成果评价指标体系层次结构图

5.2. 构造判断矩阵

采用1~9比率标度法，邀请10名德尔菲专家对于准则层和因子层各要素的重要性进行两两比较。然后根据专家调查结构，通过几何平均值汇总计算指标得分，最终形成7个综合判断矩阵(见表5~表11)。

5.3. 层次单排序及一致性检验

采用和积法计算判断矩的最大特征根λ_max及其对应特征向量，该特征向量即为同层指标对上层指标相对重要性的排序权值，具体数值见表8的权重和同级权重。同时，对判断矩阵进行一致性检验，计算

Table 5. Comprehensive judgment matrix and consistency test for secondary indicators

表5. 二级指标综合判断矩阵与一致性检验

Table 6. Comprehensive judgment matrix and consistency test for the three levels of indicators under “generic attitude”

表6. “通用态度”下属三级指标综合判断矩阵与一致性检验

Table 7. Comprehensive judgment matrix and consistency test for the three levels of indicators under “general knowledge”

表7. “通用知识”下属三级指标综合判断矩阵与一致性检验

Table 8. Comprehensive judgment matrix and consistency test for the three levels of indicators under “generic skills”

表8.“通用技能”下属三级指标综合判断矩阵与一致性检验

Table 9. Comprehensive judgment matrix and consistency test for the three-level indicators under “professional attitude”

表9. “专业态度”下属三级指标综合判断矩阵与一致性检验

Table 10. Comprehensive judgment matrix and consistency test for the three levels of indicators under “professional knowledge”

表10. “专业知识”下属三级指标综合判断矩阵与一致性检验

Table 11. Comprehensive judgment matrix and consistency test for three-level indicators under “professional skills”

表11. “专业技能”下属三级指标综合判断矩阵与一致性检验

公式为CR=CI/RI，其中 $\text{CI}=\left({\lambda }_{\max }-n\right)/\left(n-1\right)$ ，n为判断矩阵的阶数。CR < 0.1时，则认为层次单排序的结果具有较好一致性 [9] 。经计算，二级指标和三级指标的判断矩阵均通过一致性检验，结果见表5~11。

5.4. 层次总排序及一致性检验

计算层次单排序权值后，用准则层的权值进行加权综合，可得到因子层总排序权值，即因子层所有指标对于目标层的相对重要性权重，结果见表12的全局权重。层次总排序的一致性检验公式为：

$\text{CR}={\displaystyle {\sum }_{i=1}^n{a}_i{\text{CI}}_i}/{\displaystyle {\sum }_{i=1}^n{a}_i{\text{RI}}_i}$

其中， $a_i$ 为准则层的权重， ${\text{CI}}_i$ 为与 $a_i$ 相对应的因子层判断矩阵的一致性指标， ${\text{RI}}_i$ 为与 $a_i$ 对应的因子层判断矩阵的随机一致性指标。可得CR = 0.0541 < 0.1，达到一致性检验要求。

5.5. 指标权重解读

一级指标中，“通用学习成果”权重最高。近年来，随着科学技术的飞速发展，学术领域日益细化，工程硕士的专业能力已成为学术竞争的必备条件。然而，仅凭借工程硕士的专业能力往往无法满足学术

Table 12. Weighting table of the evaluation index system of engineering master's learning outcomes

表12. 工程硕士学习成果评价指标体系权重表

研究与工程实践活动中的多样化需求。在这种情况下，通用能力的重要性逐渐凸显。第一，在快速变化的工程领域，新技术和新方法不断涌现，就业环境也在不断变化。通过通用学习成果的培养，工程硕士能够更好地适应产业行业变化，提高自身的竞争力，实现个人的良好职业发展。第二，通用学习成果是培养终身学习意识的重要手段。在知识经济时代，终身学习已经成为每个人的必备素养。通用学习成果不仅使得工程硕士具备社会科学知识和技能，还更加强调学习方法、思维方式和终身学习的理念，有助于工程硕士保持持续的学习动力和竞争力。

二级指标中，第一，就“通用知识”而言，“社会科学素养”权重占比最高。具备良好的社会科学素养有助于工程硕士更好地理解工程项目的社会背景和影响因素。在工程项目中，除了技术问题外，还涉及到诸多社会因素，如文化、经济、法律等。工程硕士具备社会科学素养，能够更全面地分析问题，制定更为合理的解决方案。第二就“专业技能”而言，“明确并清晰解释团队目标”权重占比最高，强调目标明确是工程项目高效、有序进行的立足点。第三，就“专业知识”而言，权重较大的是“专业理论与知识”，说明数学和自然科学知识、工程基础知识、工程专业知识是本质上洞察与解析复杂工程问题的关键。从全局权重看，权重位列前10的指标，还包括“心理调适能力”“社会责任感”“发现问题的能力”“行业问题认知”“乐于钻研技术”等指标，一方面进一步强调了“工程伦理”“学生抗压能力”的重要性(综合考虑工程与政治、道德、生态等诸多方面的关系，是工程硕士进入到工程领域中对人类、社会承担相应的责任和义务)，另一方面突出说明了工程科技人才的开拓精神、批判意识、集成创新能力、市场调研能力、学科洞察力等日渐获得学界关注。

6. 研究结论

本研究采用德尔菲法与层次分析法，初步构建了由“通用学习成果”“专业学习成果”2个一级指标、6个二级指标、34个三级指标构成的工程硕士学生学习成果评价体系。研究结果显示，工程硕士的学习成果目前格外重视“通用学习成果”指标，表明现阶段工程硕士的学习成果在“专业学习成果”的获得上较少发力。其次，高校较为重视学生的“发现问题的能力”，鼓励学生了解行业前沿知识，强调创新能力。总之，该评价指标体系清晰阐释了我国现阶段工程硕士学习成果评价的维度，突破了现有大学生评价体系模糊化、单一化倾向，为未来工程硕士培养模式变革与评价维度改变提供了借鉴。