高校教学知识图谱建设效果评价指标体系构建研究

An Evaluation Indicator System for Assessing the Effectiveness of Knowledge Graphs in Higher Education Teaching

摘要: 文章基于层次分析法(AHP)的量化分析，构建了一套高校教学知识图谱建设效果评价指标体系，用于衡量知识图谱在课程体系优化、教学效果提升和个性化学习支持方面的成效。研究结果表明，在该指标体系中信息质量维度权重最高，说明知识图谱提供的数据准确性和知识覆盖度对教学效果具有关键作用；同时，服务质量和系统质量维度下的资源丰富性、资源适配性、界面易用性等指标对提升个性化学习体验和教学效率有显著影响。据此，提出应优先加强知识图谱的数据质量与更新机制，丰富教育资源并提高其适配度，优化系统界面和稳定性，以全面提升高校教学领域知识图谱应用的效益。研究为高校知识图谱建设效果的科学评估与持续优化提供了有力支撑。

Abstract: This study integrates the Analytic Hierarchy Process (AHP) to construct a comprehensive evaluation indicator system for assessing the effectiveness of knowledge graph construction in higher education teaching. The proposed system measures the performance of knowledge graphs in optimizing curriculum structures, enhancing teaching effectiveness, and supporting personalized learning. The results reveal that the information quality dimension carries the highest weight, indicating that the accuracy and coverage of data provided by the knowledge graph play a crucial role in improving teaching outcomes. Meanwhile, indicators under the service quality and system quality dimensions, such as resource richness, resource adaptability, and interface usability, exert significant influence on the enhancement of personalized learning experiences and instructional efficiency. Accordingly, this study recommends prioritizing improvements in data quality and update mechanisms of knowledge graphs, enriching educational resources and enhancing their adaptability, as well as optimizing system interfaces and stability. These measures collectively contribute to maximizing the educational benefits of knowledge graph applications in higher education. The findings provide a robust foundation for the scientific evaluation and continuous optimization of knowledge graph construction in the academic context.

1. 引言

近年来，人工智能赋能教育引发了全局性和深层次的变革。在联合国教科文组织2030年教育高级别会议上，中国关于以数字化转型撬动全球教育变革的倡议得到广泛认同；《中国教育现代化2035》也明确提出加快信息化时代教育变革，将其作为提升教育质量的重要手段。在此背景下，新一代生成式人工智能技术(如DeepSeek，ChatGPT，豆包，Kimi等)的强大自然语言处理和内容生成能力为教育数字化转型带来了新的机遇，正引发教学方式和教研范式的重塑，为课堂教学评价与优化提供了有力的技术支撑[1]。与此同时，知识图谱作为一种语义网络技术，受到教育领域的广泛关注。知识图谱能够将分散的知识进行系统化整合，通过可视化方式呈现知识节点及其逻辑关系，使教学过程中的知识传递更加系统、精准[2]。在高校教学中，知识图谱的应用有助于优化课程设计、提升教学效率、加强知识关联，并为教师和学生提供个性化的学习资源推荐与路径规划，进而有效促进学生自主学习能力的发展。

当前，高校课程知识图谱的建设仍处于起步阶段，不同高校在技术路径、实施模式和应用效果上存在显著差异，且缺乏统一的评价指标体系来评估知识图谱的建设效果。为科学评估知识图谱在高校教学中的实际应用成效，有必要构建一套系统、全面的评价指标体系，以衡量其在课程体系优化、教学效果提升以及个性化学习支持等方面的贡献。为此，本文旨在构建高校教学领域知识图谱建设效果的系统评价指标体系，并基于层次分析法(AHP)的量化分析方法，探讨影响知识图谱建设效果的关键因素，以期为高校教学领域的知识图谱建设提供科学的评估依据和决策参考。

2. 文献综述

2.1. 知识图谱的概念与应用场景

知识图谱概念由Google公司于2012年提出，现已在农业、医学、社交等领域得到广泛应用，成为人工智能从感知阶段迈向认知阶段的重要桥梁[3]。知识图谱利用自然语言处理与知识融合等技术手段，可将特定领域的知识信息转化为可推理的形式，在智慧教育中拥有广泛的应用场景[4]。值得注意的是，目前学术界对“教育知识图谱”的内涵尚未形成统一认识，不同学者从多种视角提出了相关概念，衍生出“学科知识图谱”“课程知识图谱”“学习认知图谱”“学科教学图谱”“课堂事理图谱”等术语[5]-[9]。已有文献对教育知识图谱的内涵、分类及构建框架进行了系统梳理[10]。结合相关研究，可将教育知识图谱界定为以教育知识为节点、以教育知识之间的逻辑关系为边，能够可视化表征教育领域知识结构的语义化知识库[11]。从研究内容来看，当前教育知识图谱的研究主要围绕其构建技术和应用方法展开，包括本体构建、知识抽取、知识表示、知识融合和知识推理五大技术要素，其中深度学习等智能算法逐渐成为研究热点，同时也出现了融合多模态教育资源的知识图谱构建探索[10]。总体而言，已有研究更多关注知识图谱的技术实现和模型设计[11]，对于如何在实际教学中充分发挥其作用的探讨仍然不足。

针对这一不足，一些实践探索正在展开。例如，有研究构建了面向智能会计课程的知识图谱并将其嵌入教学平台，用于生成学生画像、辅助学情诊断以及个性化课程资源推荐等环节，从而提升教学的智能化和精准化水平[12]。案例研究表明，教育知识图谱的应用能够促进学习者的个性化和碎片化学习，提高学生的学习绩效，并有助于增强教师的教学反思与专业发展[11]。不过，总体来看，目前关于知识图谱应用效果的评价研究仍较为零散，有待进一步系统化。

2.2. 教学评价指标体系设计

教学评价指标体系的构建历来是教学理论与实践的关注焦点。然而，已有的高校教学评价体系普遍存在诸多不足。例如，指标缺乏科学性、内容缺乏完整性、方法缺乏多元性、结果缺乏权威性等问题在多项研究中都有所指出[13]。在具体指标设计方面，一些研究尝试从适配性、系统性、可执行性、适应性等多个维度来评价知识图谱在教学过程中的应用效果，强调评价体系应覆盖技术表现和教学效果等方面。也有研究提出，教学评价指标体系的设计应兼顾学生的学习效果、教师的教学效率以及课程资源的利用率等多个层面，以全面反映教学实践的成效[14]。

尽管围绕教学评价指标的设计方法多样，但在评价维度的选取和权重的分配上，不同研究之间仍存在较大分歧。一方面，部分研究偏重于技术性能指标的精度和效率，忽视了教育应用场景中的实际需求；另一方面，一些评价体系虽然考虑了教学效果因素，但在操作性和通用性上存在不足，难以在不同类型的课程和学科中推广应用。

2.3. 教育知识图谱应用效果评价

教育领域知识图谱应用效果的评价体系建设尚处于起步阶段。现有研究大多侧重于知识图谱的精确性、完备性、可扩展性等技术层面的指标，而对于如何评估其在教学过程中实际产生的效果缺乏系统性探讨。一些研究尝试通过用户反馈分析、学习过程监测和学生学习轨迹可视化等方式间接评估知识图谱的教育效果，例如通过数据分析学生对知识图谱推荐资源或学习路径的接受度，以及学习效果提升的程度。然而，当前已有的评价框架往往过于关注单一维度，如技术性能或学生的学习结果，未能全面考虑知识图谱在教育场景中的综合表现。这导致目前知识图谱应用效果的评估缺乏多维度的衡量标准。特别是在高等教育领域，如何确保评价指标体系的科学性与可操作性仍是亟待解决的难点问题。

2.4. 研究述评

综合以上文献，可见教育知识图谱的相关研究虽已取得较大进展，但在应用效果评价体系的构建方面仍存在明显不足。首先，当前研究多集中于知识图谱的技术实现和模型设计，对如何在实际教学场景中全面评估知识图谱应用效果关注不足。其次，现有教学评价指标体系的科学性和全面性有待提升，需要进一步明确评价的多维结构和权重分配。未来的研究应在以下几个方面深化：一是加强评价指标的多维度综合设计，既关注知识图谱的技术性能，也重视其在教学中的实际效果；二是探索更为科学的评价方法，如结合层次分析法与熵权法建立兼具科学性与可操作性的综合评价体系[15]；三是注重评价体系的实用性与普适性，使其能够适用于不同类型的课程和学科，从而推动知识图谱在高等教育中的广泛应用。

鉴于上述研究空白与不足，本文尝试从技术与教育效果并重的视角构建高校教学知识图谱建设效果评价指标体系。研究创新之处在于融合主观判断与客观数据相结合的方法，引入层次分析法确定指标权重，从而建立起科学严谨且具有可操作性的评价模型。此外，本研究选择以经典的信息系统成功模型(DeLone & McLean Model)作为核心理论基础构建评价框架。该模型起源于商业信息系统领域，所涵盖的“系统–信息–服务”质量维度，为评估一个技术系统的综合成效提供了成熟的分析范式[16]。本文的研究将弥补高校教育知识图谱应用效果评价领域的不足，为知识图谱赋能教育教学提供新的理论视角和实践工具。

3. 评价指标体系设计

(1) 评价指标选择与构建

在模型选择上，本文评价指标体系采用了在系统效果评价领域应用最为广泛的信息系统成功模型作为建立指标体系的基础，由于该模型起源于商业信息系统领域，本文在继承该模型多维度框架优势的同时，致力于对其进行批判性发展与教育化改造，在指标设计中特别强化了对知识体系的逻辑结构性、与教学的适配性等教育内在属性的考量。该模型的主要内涵是：系统质量、信息质量和服务质量等因素影响系统使用中的用户满意度。

本文当中层次分析法分为两个层次，分为一级指标层、二级指标层，具体层次框架如表1。

Table 1. Hierarchical framework of evaluation indicators

表1. 指标体系层次框架表

一级指标	二级指标
信息质量 A1	实体识别准确度B11
	关系抽取准确度B12
	实体识别覆盖度B13
	知识网络化程度B14
	跨学科知识整合度B15
	信息可获取性B16
	信息更新频率B17
服务质量 A2	目标设置合理性B21
	学习建议准确性B22
	学习系统自适应性B23
	学习路径个性化B24
	学情诊断准确度B25
	碎片学习支持度B26
	资源丰富度B27
	资源适配性B28
	资源多模态B29
	智能咨询有效性B210
系统质量 A3	界面易用性B31
	交互合理性B32
	稳定性B33
	可扩展性B34

(2) 建立判断对比矩阵

判断矩阵是层次分析法的基本构成要素，判断矩阵中需要将同一层次的元素进行两两比较，并赋予一定的值，一般利用1~9的9个标度来作为判断矩阵中元素的判断尺度，具体见表2所示。

Table 2. Scale table of judgment matrix elements

表2. 判断矩阵要素比较尺度表

序号	标度含义	比值
1	前者元素i和后者元素j相比较，i与j同样重要	aij = 1
2	前者元素i和后者元素j相比较，i与j略微重要	aij = 3
3	前者元素i和后者元素j相比较，i与j明显重要	aij = 5
4	前者元素i和后者元素j相比较，i与j强烈重要	aij = 7
5	前者元素i和后者元素j相比较，i与j绝对重要	aij = 9
6	表示元素i与元素j的重要性介于上述判断之间	aij = 2, 4, 6, 8
7	若元素i与元素j的相对重要程度标度为aij，则元素j与i的相对重要程度标度是aji = 1/aij	倒数

将矩阵中的每两个要素按照上表*的标度进行一一判断，可得到n阶的比较判断矩阵A。

$A_{n\times n}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]$ (1)

(3) 合并专家矩阵

使用几何平均法将m个专家(m = 1, 2, …, k)形成的打分矩阵按位相乘，然后再开m次方，得到唯一集成矩阵$\overline{A}$ ，公式如下：

$\overline{A}={\left({\displaystyle {\prod }_{k=1}^m{a}_{ij}^k}\right)}^{\frac{1}{m}}$ (2)

(4) 计算判断矩阵相对权重

将集成唯一矩阵采取几何平均法(方根法)计算权重，公式如下：

$W_i=\frac{{\left({\displaystyle {\prod }_{j=1}^n{a}_{ij}}\right)}^{\frac{1}{n}}}{{\displaystyle {\sum }_{i=1}^n{\left({\displaystyle {\prod }_{j=1}^n{a}_{ij}}\right)}^{\frac{1}{n}}}},i=1,2,3,\cdots ,n$ (3)

计算时，先将$\overline{A}$ 的元素按行相乘得一新向量，再将新向量的每个分量开n次方，最后将所得向量归一化即为权重向量。

(5) 判断矩阵的一致性

实际专家在对指标进行两两比较时可能会出现不一致的结论，所以有必要对已存的判断矩阵进行一致性检验以保证指标权重的合理性。同时学术界一般将CR (一致性指标CI和平均随机一致性指标RI的比值)作为判断矩阵一致性的标准，若CR < 0.1则表明矩阵符合要求无需修改；否则应请专家再次修正。

$\text{CR}=\frac{\text{CI}}{\text{RI}}=\frac{{\lambda }_{\max }-n}{\left(n-1\right)\text{RI}}<0.1$ (4)

CI计算公式如式(5)所示：

$\text{CI}=\frac{{\lambda }_{\max }-n}{n-1}$ (5)

${\lambda }_{\max }$ 为判断矩阵的最大特征值，计算公式如式(6)，其中$\overline{A}$ 为判断集成矩阵，W为权重向量，${\left[\overline{A}W\right]}_i$ 为矩阵$\left[\overline{A}W\right]$ 的第i个分量。RI值与矩阵阶数有关具体数值如下表3所示。

${\lambda }_{\max }={\displaystyle {\sum }_{i=1}^n\frac{{\left[\overline{A}W\right]}_i}{n{W}_i}}$ (6)

Table 3. Mean random consistency index (RI) of the judgment matrix

表3. 判断矩阵平均随机一致性指标RI值

矩阵阶数	1	2	3	4	5	6	7	8	9	10	11	12
RI	0	0	0.52	0.89	1.12	1.26	1.36	1.41	1.46	1.49	1.52	1.54

4. 评价指标数据计算

4.1. 一级指标权重计算

首先，寻找到浙江省内高校具有正高、副高职称专家进行打分。专家所在专业领域涵盖金融、管理、农业、经济、计算机、建筑工程等，覆盖较为全面。调查情况如下表4。

Table 4. Table of review experts’ distribution

表4. 评审专家分布表

评审专家所在单位	调查数量(人)
浙江大学	2
杭州师范大学	5
杭州电子科技大学	2
浙大城市学院	4

对一级指标层A₁~A₃指标进行权重计算，在确保13位专家判断矩阵均满足一致性要求(CR < 0.1)后，根据公式(2)，将所有判断矩阵进行矩阵集结，集结后的矩阵如下表5。

Table 5. A₁~A₃ integrated judgment matrix

表5. A₁~A₃判断集成矩阵

	A1	A2	A3
A1	1.000	2.137	2.215
A2	0.468	1.000	1.399
A3	0.451	0.715	1.000

根据公式(3)~(6)，对A₁~A₃集成矩阵进行权重和一致性计算，得出CR = 0.022 < 0.1，一致性检验通过，所有权重指标合理，因此确定一级指标权重如下表6。

Table 6. Weights of Primary-Level Indicators

表6. 一级指标指标权重

评价指标	权重
A1	0.519
A2	0.268
A3	0.212

可以看到，信息质量被赋予了最高权重，反映了在个性化学习路径规划中，实体识别准确度、关系抽取准确度以及知识网络化程度是影响学习效果的关键因素。

4.2. 二级指标权重计算

根据一级指标相同计算步骤，对二级指标进行判断集成矩阵与权重计算，确保各位专家判断矩阵满足一致性要求(CR < 0.1)后，结果如下：

对二级指标层B11~B17指标进行权重计算，在确保13位专家判断矩阵满足一致性要求(CR < 0.1)后，根据公式(2)，将13份判断矩阵进行矩阵集结，并针对集成矩阵进行权重和一致性计算，得到B11-B17权重和一致性计算结果如下表7。

Table 7. Weights of B11~B17 indicators

表7. B11~B17指标权重

评价指标	权重	λmax	CI	CR
B11	0.224	7.127	0.0212	0.016 < 0.1 一致性校验通过
B12	0.194
B13	0.148
B14	0.172
B15	0.111
B16	0.083
B17	0.0658

以此类推，陆续计算判断集成矩阵并计算指标权重如下表8，表9，判断矩阵均满足一致性要求(CR < 0.1)。

Table 8. Weights of B21~B29 indicators

表8. B21~B29指标权重

评价指标	权重	λmax	CI	CR
B21	0.093	9.2656	0.033200798	0.022740273 < 0.1 一致性校验通过
B22	0.115
B23	0.084
B24	0.069
B25	0.057
B26	0.040
B27	0.250
B28	0.225
B29	0.062

Table 9. Weights of B31~B34 Indicators

表9. B31~B34指标权重

评价指标	权重	λmax	CI	CR
B31	0.388	4.045	0.0152	0.017 < 0.1 一致性校验通过
B32	0.245
B33	0.218
B34	0.147

从以上结果，我们可以看到：

就信息质量(A₁)而言，实体识别准确度(B11)和关系抽取准确度(B12)占据最高权重，分别为0.2249和0.1944，表明在知识图谱建设过程中，对知识内容的准确提取是最为重要的评价因素。此外，知识网络化程度(B14)和实体识别覆盖度(B13)等指标权重也相对较高，这反映了知识点之间的连贯关联对提升学习效果的重要性。

就服务质量(A₂)而言，资源丰富度(B27)和资源适配性(B28)的权重最高，分别为0.2501和0.225，说明在个性化学习情境下，提供丰富且契合学习者需求的教学资源对于优化学习效果至关重要。相较之下，学习系统的自适应性(B23)和学情诊断准确度(B25)等指标权重较低，这表明当前评价中更强调学习建议的准确性和资源个性化供给，而对系统自动适应能力的重视相对不足。

就系统质量(A₃)而言，界面易用性(B31)权重最高，为0.3883，反映出用户在使用教学知识图谱系统时最看重系统操作的直观性与便利性。其次是交互合理性(B32)和系统稳定性(B33)，权重分别为0.2455和0.2189，其较高权重表明良好的交互性能和平台的稳定运行也是评价知识图谱应用效果时不可或缺的因素。

4.3. 综合权重汇总分析

基于各个指标判断集成矩阵与权重的计算结果，将各层级指标之间的权重汇总如下表10。

Table 10. Evaluation index system and corresponding weights

表10. 评价指标体系与其对应权重

一级指标	一级指标排序	二级指标	二级指标排序	二级指标内部排序	排序(1最高最重要)
信息质量 A1	0.5193	实体识别准确度B11	0.224	1	1
		关系抽取准确度B12	0.194	2	2
		实体识别覆盖度B13	0.148	3	3
		知识网络化程度B14	0.17	4	4
		跨学科知识整合度B15	0.111	5	6
		信息可获取性B16	0.083	6	13
		信息更新频率B17	0.065	7	21
服务质量 A2	0.2685	目标设置合理性B21	0.093	4	9
		学习建议准确性B22	0.115	3	8
		学习系统自适应性B23	0.084	5	10
		学习路径个性化B24	0.069	6	11
		学情诊断准确度B25	0.057	7	12
		碎片学习支持度B26	0.040	9	15
		资源丰富度B27	0.250	1	5
		资源适配性B28	0.225	2	7
		资源多模态B29	0.062	8	14
系统质量 A3	0.2122	界面易用性B31	0.388	1	17
		交互合理性B32	0.245	2	18
		稳定性B33	0.218	3	19
		可扩展性B34	0.147	4	20

实验结果验证了基于层次分析法构建的指标体系的合理性。综合各层次指标的计算结果可以发现，信息质量、服务质量、系统质量三大一级指标的权重排序清晰，明确了各方面在知识图谱支持下开展个性化教学中的重要程度。其中信息质量维度占据核心地位，提示在未来的知识图谱优化中应优先关注数据的准确性和覆盖范围；同时，系统的易用性以及资源的丰富性和适配性在实际教学应用中对学习效果具有显著影响，因此需要进一步完善相关功能模块，以提升系统的用户体验和教育实效。研究结果验证了本文所构建评价指标体系的合理性，可为高校教学知识图谱建设效果的改进提供依据。

5. 讨论与建议

本研究面向高校教学体系，构建了一套涵盖信息质量、服务质量和系统质量三个核心维度的知识图谱建设效果评价指标体系，旨在全面评估知识图谱在教育教学中的应用效果。该体系力求从知识内容、服务支撑和系统平台等不同层面提供针对性的评价工具，为高校知识图谱建设效果的诊断提供依据。对指标体系权重的分析揭示了深层的教育教学逻辑。例如，“信息质量”维度下的“关系抽取准确度”被赋予较高权重，这深刻反映了高等教育对知识体系逻辑性和科学性的根本要求，与“学科知识图谱旨在促进学生认知结构发展”的研究结论相互印证[5]。同时，“服务质量”维度中“资源适配性”的重要性凸显，这不仅体现了“以学生为中心”的个性化教学理念已成为共识，也与近期研究强调“利用知识图谱与AI技术实现适应性学习”的智慧教育发展方向高度一致[7] [12]。这些权重分布的背后，是教育技术从“工具赋能”走向“模式重塑”的价值转向。

在实际应用中，高校教学知识图谱的建设是一项系统工程，需要结合教育教学实际，综合运用现代信息技术手段，并注重多方参与持续优化，以实现高效的知识管理和教学创新。通过知识图谱有效整合和管理课程知识，不仅可以提升教学质量和学习效率，还能为学生的自主学习提供有力支持，从而助力教育的可持续发展。

基于本研究的分析结果，未来可从以下几个方向优化高校教学知识图谱的建设与应用：首先，应加强知识图谱底层数据的质量控制与动态更新。可利用人工智能和大数据技术对知识库进行持续完善，例如引入机器学习算法自动校正和补充知识条目，融合多源异构数据以提高知识的完整性和准确性，确保知识图谱始终维持高质量的内容基础。高质量、广覆盖的知识数据将巩固知识图谱在教学中的支撑作用。

其次，丰富教学资源并提高资源供给的智能化程度。充分利用生成式人工智能等新技术开发多样化的教学资源，将文本、视频、交互式课件等多模态内容与知识图谱相结合，根据学生的学习需求和知识图谱的结构自动推荐个性化的学习资源。资源的丰富性与适配性增强，将有助于满足不同学生的学习偏好，进一步提升个性化学习体验。

再次，提升知识图谱支持系统的易用性和交互性。坚持以用户为中心的设计理念，通过师生反馈不断优化系统界面和功能，确保教师和学生都能方便地使用知识图谱平台。要注重系统的稳定性和扩展性建设，建立健全技术支持与运维机制，保证系统在大规模使用情况下依然运行流畅可靠。同时，可探索将智能问答助手等技术融入知识图谱系统，为师生提供更加友好的交互体验。

此外，将知识图谱更深入地融入教学实践与师生发展之中。高校应加强对教师的培训与支持，提升教师运用知识图谱进行课程设计和教学创新的能力。可以开展相关的工作坊和示范项目，鼓励教师在教学中灵活使用知识图谱，并结合自身学科特点不断完善图谱内容。还可以引导学生主动参与知识图谱的构建与应用过程，例如鼓励学生根据知识图谱梳理课程重点难点、绘制思维导图，将知识图谱的外在表现转化为学生内在的认知结构，从而培养学生的高阶思维能力。师生共同的积极参与将保证知识图谱工具真正融入教学生态，发挥最大效益。

最后，构建持续评价与改进机制，利用大数据分析推动知识图谱应用的良性循环。通过学习分析技术实时收集学生使用知识图谱的行为数据与学习成效指标，定期评估知识图谱对教学效果的影响，找出亟需改进的环节，不断迭代优化评价指标体系本身，使其更加贴合新技术背景下的教学需求。同时，建立配套的保障措施，例如构建校级的数字化资源共享与知识图谱服务平台，形成统一的技术规范和数据标准，并提供专门的技术团队支持。

基金项目

浙江省本科高校“十四五”教学改革项目(No: JGBA2024435)；浙江省教育科学规划课题(No. GH2025428)；浙江省高等教育学会课题立项资助、杭州师范大学科研创新团队项目(No. TD202502)；杭州师范大学教学改革项目(思政教育融入《税法》课程的研究与实施)。

NOTES

^*通讯作者。