地方高校学科评估指标体系构建及应用

Construction and Application of Subject Evaluation Index System in Local Universities

摘要: 学科评估可以评价高校办学实力和质量，既能够帮助学生进行院校和专业的选择，也可以促进高校之间进行良性竞争以及学科发展的进步。本文在学科评估指标体系构建原则的基础上，利用层次分析法计算各级指标的权重，建立学科评估指标体系，选取部分高校的理学专业的相关数据，根据参评学校的具体情况进行打分，利用建立的指标体系进行计算，分析结果并得出结论，使参评学校对于自身学科发展的优劣势有一个基本的了解，明确其发展方向，增强学科实力。

Abstract: Subject evaluation can evaluate the strength and quality of colleges and universities, which can not only help students to choose colleges and majors, but also promote the healthy competition among colleges and universities and the progress of discipline development. On the basis of the construction principle of the subject evaluation index system, this paper determines several indicators of the evaluation system by reading literature and relevant descriptions of the fourth round of subject evaluation, calculates the weights of indicators at all levels by using analytic hierarchy process, and establishes the subject evaluation index system. Finally, the application of subject evaluation index system, the selection of some universities mathematics subject construction related data. According to the specific situation of the participating schools, the index system is used to calculate and analyze the results and draw a conclusion. The participating schools can have a basic understanding of the advantages and disadvantages of their own discipline development, clarify their development direction, and enhance their discipline strength.

1. 引言

随着高等教育的快速发展，高校对于学生未来的就业以及经济社会发展的贡献率正逐步提升。随着高等教育的规模持续增长，如何保证并提高高校教育教学的质量，引起社会各界的高度关注。在这种形势下，进行学科评估对于高校和社会的发展都极其重要。

对于国家而言，学科评估可以更好地贯彻和落实国家高等教育发展的方针政策，确保教育政策与国家发展目标保持一致，彰显出高校的教学优势和特色，提升我国高等教育的竞争力，还可以引导国家把更多的资金和精力投入到高等教育的教学中，培养更多高素质人才，为我国的高质量发展取得新成效助力。对于省级政府而言，学科评估可以提升省域的高等教育的质量，增强省域内高等教育的吸引力和竞争力，掌握高校的学科建设现状和存在的问题，帮助省级政府制定后续教育发展的规划，进而促进省域内的高等教育的发展，还可以根据学科评估的结果进一步优化教育资源的配置，提高资源利用率，避免出现资源浪费的问题。对于高校而言，学科评估可以进一步明确自身学科建设的优劣势，对于学校内的学科体系和专业结构等也有一个更加深入的认识，进而确定后续高校学科发展的方向和目标，制定一个更加科学的学科建设规划，也便于后续进行结构的优化和调整，同时高校可以在学科评估的过程中充分认识自身在教育教学过程中存在的问题和不足之处，进而有针对性地制定相关的改进措施，提升各所高校的教育教学质量，进而提升自身高校的校园声誉。

我国学科评估的研究始于1985年，2002年开始第一轮学科评估，目前已经进行了五轮学科评估。对于学科评估体系的构建方法，李霞在《复杂数据条件下一级学科评估方法探究》中将SPCA方法运用于一级学科评估模型中，得出的结果其准确度较高[1]；张喜爱在《高校省级重点学科综合模糊评价方法的建立和应用》中用模糊评价的方法建立了模型，并说明了该评估方法的有效性[2]；刘梅在《高校学科水平的综合评价研究》中运用了TOPSIS方法，建立了组合评价模型[3]；谷保平在《基于Hopfield神经网络的高校评估模型构建》中将神经网络运用到高校评估模型的构建中，并说明了该方法的可行性[4]；万鑫在《基于多种组合评价方法的高校学科评估模型》中建立了灰色多层次综合评价模型，从不同角度对高校学科进行评估，最终建立正确的学科评估体系[5]。

2. 地方高校学科评估体系的构建

2.1. 学科评估指标体系的建立

在学科评估指标体系的构建过程中，各个指标也并不是盲目的选择的，指标的确定需要遵循一定的原则并且要结合实际情况。

构建体系的原则

1) 客观公正性原则。评估体系应该保证公平、公正，要能够客观地对评价对象进行测量。所以，体系的测定和判断都应该有较为客观的标准，评价的指标都应该尽可能地采用能够量化的标准。与此同时，评价过程的参与者也应该公正、公开，对难以量化的指标进行判断的时候，应该有公众参与，最小化人为因素的影响。另外，学科评估还应该保证评估过程的公正性和透明度。

2) 科学系统性原则。学科评估要以科学的理论和方法为基础，遵循学科发展的规律，反映出学科的特点和差异。评价的指标应该基于数据和事实，而不应该是主观的或者未经过证实的。为了确保指标的科学性和权威性，应该使用经过验证的数据和统计方法来开发和验证指标。另外，指标的定义和计算也应该是明确和透明的，以便他人可以重复验证计算结果。而且，学科评估也应该建立完整的评估指标体系。

3) 简单可操作性原则。指标的简单可操作性有两层含义：一是要使评价的测试者易于操作，二是指标的样本观测值可以通过实地调查较为容易的获取，并且具有实际意义。这就意味着指标应该是易于理解和使用的，而不应该是复杂的或者难以计算的。为了确保指标的可操作性，应该使用易于获得的数据和常见的统计方法来计算指标。此外，指标的计算结果应该是易于解释和使用的，以便决策者和管理者可以将其用于决策和改进工作。所以，在设计指标时，要学会取舍，选取满足条件的指标，舍弃难以评估或者影响较小的指标。

4) 导向性原则。学科评估具有一定的导向性。评估体系应该要体现社会主义办学方向和学科建设改革、发展和提高的方向。具体来说，指标体系应引导各学科提升质量、水平和形成特色，同时克服那些带有普遍性的不良倾向。所以，在建立学科评估指标体系时，要充分认识到评估指标的导向性原则，确定具有导向性并且合理的指标。

5) 定性与定量结合的原则。评估一个学科的指标有很多，有些是可以通过数据分析出来的指标，这些指标比较容易量化，还有一些是根据主观思想确定的指标，比如学术声誉，这类指标难以量化，对于这种指标，定性指标的重要性就显而易见了。所以在建立学科评估指标体系时要遵循定性与定量结合的原则。

6) 可比性原则。评估体系应该保证不同学科、不同学校之间的评价结果具有可比性，以便进行横向和纵向的对比分析。

2.2. 构建学科评估体系的指标

本文构建了一个三级学科评估指标体系。根据学科评估指标体系的构建原则，参照第四轮学科评估指标体系及有关说明，确定了4个一级指标和11个二级指标，并将二级指标细化出16个三级指标。学科评估指标体系中的一级指标包括师资队伍与资源、人才培养质量、科学研究水平、社会服务与学科声誉四个指标。

1) 师资队伍与资源

师资队伍关系到学科的整体水平、发展潜力和社会影响力，对于学科建设是极其重要的。一个优秀的师资队伍可以引领学科方向与发展、推动教学质量提升、促进科研水平提高、加强学术交流与合作等。优秀的师资队伍通常具有深厚的学术背景和丰富的研究经验，他们可以把握学科发展趋势，为学科发展指明方向。并且优秀的师资队伍能够运用先进的教学理念和教学方法，激发学生的学习兴趣和创新精神，培养出具有创新精神和实践能力的高素质人才。

师资队伍与资源下设师资质量、师资数量、支撑平台3个二级指标。

2) 人才培养质量

人才培养质量是学科建设的核心环节和根本任务。首先，高质量的人才培养是学科建设基石。一个学科的学术水平和社会影响力，很大程度上取决于其培养出来的人才的质量和数量。其次，人才培养质量直接关系到学科建设的可持续发展，一个优秀的毕业生不仅可以推动学科的创新和发展，还能够为学科的长期发展提供人才保障。

人才培养质量下设培养过程质量、在校生质量、毕业生质量3个二级指标。培养过程质量下设课程教学质量、学生国际交流2个三级指标；在校生质量下设优秀在校生、授予学位数2个三级指标；毕业生质量下设学生毕业率和用人单位评价2个三级指标。

3) 科学研究水平

科学研究水平是学科建设的重要组成部分和推动力。高水平的科研成果可以提升学科在学术界和社会上的地位和影响力。科学研究水平对于提升学科的教学质量具有重要意义，而且科学研究水平还可以推动学科的交叉融合和创新发展。

科学研究水平下设科研成果、科研获奖、科研项目3个二级指标。科研成果下设学术论文质量、专利专著、出版教材3个三级指标。

4) 社会服务与学科声誉

社会服务不仅是学科知识的实践应用，也是学科价值的重要体现，能够增强学科的实用性，还能够提升学科的社会影响力。学科声誉是学科建设的重要目标，一个具有良好声誉的学科，能够吸引更多的高水平研究成果和优秀人才，从而推动学科的快速发展。

社会服务与学科声誉下设社会服务贡献和学科声誉2个二级指标。

2.3. 学科评估指标体系的组成

根据第四轮学科评估指标体系及有关说明，初步建立了学科评估的指标体系，见表1。

Table 1. Evaluation index system for university disciplines

表1. 高校学科评估指标体系

一级指标	二级指标	三级指标
S1.师资队伍与资源	S11.师资质量(师资队伍质量)
	S12.师资数量
	S13.支撑平台(重点实验室、基地、中心)
S2.人才培养质量	S21.培养过程质量	S211.课程教学质量
		S212.学生国际交流
	S22.在校生质量	S221.优秀在校生
		S222.授予学位数
	S23.毕业生质量	S231.学生毕业率
		S232.用人单位评价
S3.科学研究水平	S31.科研成果	S311.学术论文质量
		S312.专利专著
		S313.出版教材
	S32.科研获奖
	S33.科研项目
S4.社会服务与学科声誉	S41.社会服务贡献
	S42.学科声誉

2.4. 指标权重的确定

在目前已有的研究结果中，学科评估指标体系的指标确定方法有很多，例如模糊评价法、权值相乘法、TOPSIS法、灰色多层次综合评价法、主成分分析法[6]等，本文选择使用层次分析法来确定各指标的权重。层次分析法是一种系统化、层次化、定性和定量相结合的解决问题的思路。它可以将一个复杂的目标分解成多个目标或准则，进而分解成多个目标的若干层次，然后用求解判断矩阵特征向量的办法，求得每一层次的各元素对上一层次某元素的优先权重，最后再加权和的方法递阶归并各备用来选择的方案对总目标的最终权重，此最终权重最大者即为最优方案。层次分析法比较适合具有分层交错评价指标的目标系统，因此对于学科评估问题，层次分析法是非常适用的。

层次分析法的具体步骤为：第一，建立由目标层、准则层、方案层等构成的层次结构。许多决策问题都可以自上而下地分为目标、准则、方案三个层次，并且直观地用一个层次结构图表示，最上层是目标层，中间是准则层，最下层是方案层[7]。

第二，构造下层各元素对上层每一元素的成对比较阵，即判断矩阵。在对比因素时，不单单是把所有因素放在一起比较，而是两两相互比较，此时采用相对尺度，可以尽可能减少性质不同的诸因素相互比较的困难，以提高准确度。对于某一准则，对其下的各个方案进行两两对比，并按其重要程度进行打分评定等级。$a_{ij}$ 为要素i与要素j重要性比较结果，其中，

$a_{ij}=\frac{1}{a_{ij}}$

第三，计算各个成对比较阵的特征根和特征向量，作一致性检验，通过后将特征向量取做权向量。设判断矩阵为A，则方程$\left|\lambda E-A\right|=0$ 的根${\lambda }_0$ 即为一个特征值。对于判断矩阵最大特征根${\lambda }_{\max }$ 的特征向量，经归一化(使向量中各元素之和等于1)后记为W。利用：

$\text{CR}=\frac{\text{CI}}{\text{RI}}$

进行一致性检验，如果CR < 0.1，则该判断矩阵通过一致性检验，其中，

$\text{CI}=\frac{\lambda -n}{n-1}$

RI的值可以通过查询得到，见表2。

Table 2. RI values

表2. 常见RI的值

阶数	1	2	3	4	5	6	7	8	9	10	11	12	13
RI值	0	0	0.52	0.89	1.12	1.26	1.36	1.41	1.46	0.49	0.52	1.54	1.56

第四，用分层加权和法计算最下层各元素对最上层元素的权重。这一过程是从最高层次到最低层次依次进行的。

层次分析法通过专家打分来确定各个指标之间的相对重要程度，此过程包括两个部分：判断指标重要程度的标度确定和根据专家打分构造判断矩阵。通过一致性检验的打分的结果就可以得到各指标的权重结果。本次邀请专家打分后确定的权重结果见表3。

Table 3. Specific indicators and weights of subject evaluation index system

表3. 学科评估指标体系的具体指标及权重

一级指标	权重	二级指标	权重	三级指标	权重
S1.师资队伍与资源	0.259	S11.师资质量	0.094
		S12.师资数量	0.086
		S13.支撑平台	0.079
S2.人才培养质量	0.270	S21.培养过程质量	0.090	S211.课程教学质量	0.048
				S212.学生国际交流	0.042
		S22.在校生质量	0.090	S221.优秀在校生	0.045
				S222.授予学位数	0.045
		S23.毕业生质量	0.090	S231.学生毕业率	0.045
				S232.用人单位评价	0.045
S3.科学研究水平	0.249	S31.科研成果	0.083	S311.学术论文质量	0.030
				S312.专利专著	0.027
				S313.出版教材	0.026
		S32.科研获奖	0.083
		S33.科研项目	0.083
S4.社会服务与学科声誉	0.222	S41.社会服务贡献	0.111
		S42.学科声誉	0.111

2.5. 评价标准的确定

2.5.1. 定性指标评价标准的确定

根据教育部学位与研究生教育发展中心负责人关于第四轮学科评估的相关情况的答疑，此次研究结果不像传统的依靠得分排名来评估学科，而是采用“分档”方式来记录和评估结果，即：将最终结果分档记录：[90, 100]分为SS，[80, 90)分为S⁺，[70, 80)分为S，70分以下为S⁻。

2.5.2. 定量指标评价标准的确定

对于能够用数据反映情况的指标，例如师资数量、支撑平台、专利专著等，将这些指标得到的数据用公式转化为分数，公式为：

$60+40\times \frac{x-\overline{x}}{\sigma }$

其中，x是各项指标的数据，$\overline{x}$ 是各项数据的均值，σ是各项数据的标准差。通过这个公式可以将各项数据转化为100左右的数，对于转化后的数，如果有不符合的数据则根据实际情况予以调整。

对于难以将数据量化、主观性较强且难以通过数据呈现的指标，比如师资质量、学科声誉等，将结果设置成梯度评价，即“优秀”、“良好”、“一般”、“较弱”，其中“优秀”对应于90~100分，“良好”对应于80~89分，“一般”对应于70~79分，“较弱”对应于60~69分，之后在对应区间再进行具体的打分。收集打分情况，剔除无效样本，无效样本是指指标梯度评价的等级与实际打分不匹配的样本，比如师资质量优秀，但打的分数是85。然后根据整理后的数据，对各个指标的样本求其样本平均值，将所求得的样本平均值作为对应指标的最终分数。

对于某一目标的各个指标进行打分，随后根据每一个指标的权重对打的分数进行加权加和，然后再根据前面提到的“分档”的方式来记录结果。

3. 应用

本章节选取五所地方高校的理学中的数学专业进行评估。将五所学校分别记作A、B、C、D、E。根据前文计算学科指标分数的方法，将得到的各项数据进行加权和，计算得出最终结果，并按照分档的方式进行记录，得到的结果见表4。

Table 4. Calculation results of various indicators for subject evaluation

表4. 学科评估各项指标计算结果

等级	学校
SS	B
S^+	A
	C
S	E
	D

3.1. 总体评价结果

由上表可知，B学校处于第一等级，A、C学校处于第二等级，E、D学校处于第三等级，从最终的结果看，可以得出结论：在同一等级的高校理学中的数学学科差距不是特别大，但不同等级的高校数学学科发展差距较大。

3.2. 分层次评价结果

本文通过模型得出五所大学在理学专业中数学学科各个指标的得分情况，用SSS (90~100分)、SS (80~90分)、S⁺ (70~80分)、S (60~70分)、S⁻ (60分以下)。学科二级指标得分见表5，学科三级指标得分见表6。

3.2.1. 师资队伍与资源

由前文可知师资队伍与资源在一级指标中所占权重为0.259，在学科建设中的作用较大。这五所学校的师资队伍与资源这一指标的得分及排名见表7。

3.2.2. 人才培养质量

人才培养质量这一指标在四个一级指标中占有0.269的权重，五所学校的人才培养质量这一指标的得分及排名情况见表8。

3.2.3. 科学研究水平

科学研究水平这一指标在四个一级指标中的权重为0.249，五所高校在这一指标上的得分具体情况和排名见表9。

Table 5. Specific scores and rankings of secondary indicators

表5. 二级指标具体得分情况及排名

Table 6. Specific scores and rankings of Level 3 indicators

表6. 三级指标具体得分情况及排名

Table 7. Teaching staff and resources

表7. 师资队伍与资源

等级	学校
SSS	A
SS	B
	C
S^+	D
	E

Table 8. Quality indicators for talent cultivation

表8. 人才培养质量指标

等级	学校
SSS	B
	A
SS	D
	C
S^+	E

Table 9. Scientific research level indicators

表9. 科学研究水平指标

等级	学校
SSS	B
SS	E
S^+	C
	A
S	D

3.2.4. 社会服务与学科声誉

该指标在一级指标中所占权重仅为0.223，其具体得分情况和排名见表10。

Table 10. Social services and discipline characteristics indicators

表10. 社会服务与学科特色指标

等级	学校
SSS	B
SS	C
	A
	D
S^+	E

4. 总结

本文构建学科评估指标体系主要是通过层次分析法，其原理满足学科评估的原则，在建立学科评估指标体系时能够将部分主观因素较强的指标进行量化处理，从而使建立的学科评估指标体系更加可行。

基金项目

湖北省教育科学规划2022年度重点课题(2022GA031)，长江大学2022年教学研究项目。