摘要: 试卷质量分析与评估是高校教学管理工作中非常重要的一环，能为提高教学质量、改善教学方式以及调整学习方法等提供依据。长期以来，受囿于分析数据源的不足以及处理工具匮乏等原因，试卷质量分析评估大多依然采用传统的分析评估模式，与试卷质量分析评估相关的教学数据没有得到充分有效的挖掘和应用，使得试卷质量分析评估滞后于信息技术的发展。本文以服务于学生的个性发展为目标，立足于高等教育中试卷质量“智慧分析评估”的需求，基于教育大数据构建了顾及数据挖掘特点的试卷质量多维分析评估模型，开展对试卷的多维分析和评估，这不仅有利于建立教务管理部门、教师和学生之间的合作伙伴关系，营造更加包容、自主的教学学习环境，而且也可以促进和推动教育信息化的可持续发展。
Abstract:
Analysis and evaluation of test paper quality is a very important step in the teaching management of colleges, which can give more help for improving teaching quality, improving teaching methods and adjusting learning methods. For a long time, due to the lack of data sources and processing tools, the information data related to the analysis and evaluation of test paper has not been fully and effectively mined and applied, which makes the analysis and evaluation of test paper quality lag behind the new development of information technology and still use the traditional analysis and evaluation model. With the goal of serving the comprehensive development of students, a multidi-mensional analysis and evaluation of the quality of test papers is built, which takes into account the characteristics of data mining based on education big data, the analysis and evaluation of the test paper through this model is not only conducive to establishing a cooperative partnership between the educational administration department, teachers and students, creating a more inclusive and autonomous teaching environment, and it can also promote the sustainable development of educational informatization.
1. 引言
自《国家中长期教育改革和发展规划纲要》将“教育信息化”作为教育发展的主要内容以来，高等院校的各类信息化应用不断涌现，在线数据、网络资源越来越丰富，为教学、管理和学习提供了有力的数据支撑，基于教育大数据，从海量教学数据中挖掘出有用的信息以服务于试卷质量分析和评估 [1] [2] 成为教务教学管理的重要关注领域 [3] [4] 。
因此，本文拟紧密结合教学信息化时代的特点，充分利用与教学相关的各种数据，构建数据挖掘视角下的试卷质量多维分析和评估框架，深度挖掘试卷背后的信息，对试卷质量开展多层次、多领域、个性化的分析和评估，以适应教育大数据条件下试卷质量分析和评估需求，以促进学生的全面发展。
2. 传统的试卷质量分析评估所存在的问题
由于受囿于分析数据源的不足以及处理工具匮乏等原因，高校的试卷质量分析评估大多强调的是“分数统计”，忽视了对管理政策、教师教学、学生特点等方面的分析，对教学目标的精准把握不够。存在的问题主要有：
2.1. 评价主体单一
现有试卷质量分析评估多是按照教务部门设计的指标体系进行的，教师是执行主体，试卷是分析对象，属于自上而下的相对单一的评价主体结构。教师、学生等主体虽然也有参与分析评估的需求，但是参与度不高、分析主动性不强以及合作协调性不足。这种“单一评价主体”模式极易形成试卷质量分析评估的“政府强主导、群众弱表达”的现象，难以有效激发各主体参与提升教学服务质量的积极性，影响试卷质量分析评估的初衷和效果。
2.2. 评价对象单一
现有试卷分析多仅从试卷本身获取数据入手。但是试卷本身的信息有限，能够呈现的知识和结构不全面，分析结果虽然可以在一定程度上反映学生对知识的掌握程度，但是对造成这种现象的深层次原因挖掘不够，分析结果难以为管理部门优化管理政策、教师改善教学方法和学生剖析个人原因提供充分有效的辅助。教育大数据的发展丰富了试卷分析评估的数据源，也激发了各主体参与提升教育教学服务质量的需求。除了试卷之外，教学管理部门的教学政策、教师的教学科研水平、学科之间的关联度、学生的知识背景以及个性特点都是试卷质量分析评估的重要信息源，都可以成为试卷质量分析和评估的有效数据支撑。
2.3. 评价指标体系不完善
传统的试卷分析指标多聚焦成绩展开，这些指标理论成熟、计算简单，分析结果能对试卷有一个整体的把握。但这种方法多以分数为导向，指标的数量、质量以及细化程度不高，知识掌握类指标较多，原因分析较少，基础课程、专业课程的关联性分析与挖掘研究比较少，学生个人发展的发展性指标偏少，分析结果的表述不够充分，很难挖掘学生成绩现状背后深层次的原因；对教学监管部门的分析基本不涉及，难以体现教务管理部门政策对学生学习的影响，难以满足“以学生为中心、个性化发展”的教育要求或者教育服务宗旨。
2.4. 评价控制薄弱且结果应用不充分
现有的分析多为事后评估，且评估结果的应用环节薄弱。教务部门如何调整教务管理政策？如何优化学生评奖评优政策？如何进一步明晰课程之间的关系调整教学大纲的内容？教师如何改善教学方法？教学过程怎样合理照顾学生个性特点，真正实现“因材施教”？学生如何根据个人的个性和发展需求调整学习规划？对于这些问题，传统的分析模式都没有进行有效的回答。
3. “多维一体”试卷质量分析和评估模式构建
3.1. 框架架构
本文参考布卢姆“多目标”教育理论 [5] (图1(a))，立足于“受教育者发展为中心”的客观要求 [6] ，顾及到教务监管、教师教学以及学生发展等不同主体的分析需求，在坚持客观性、综合性、可量化以及数据可得性原则基础上，构建了融合管理者维度、教师维度、学生维度以及协调维度于一体的试卷质量多维分析评估框架(图1(b))，设计了试卷质量多维分析评估指标体系(图2)。数据源除了试卷之外，依托各种教务、教学信息平台，将教师考核、评奖评优政策、教学大纲、学生个性行为特征等信息也纳入分析评估的数据来源，并设计了顾及数据挖掘特点的分析评估指标提取以及评估的思路(图3)。
3.2. 评价维度以及评价指标体系
1) 教学管理维。教学管理维由教务管理部门负责分析和评价，评价指标包括：① 成绩贡献度。主要对学生课程成绩进行分析，评价学生该门课程成绩对专业目标的贡献度。② 教学科研支撑度。评估教师的教学科研成果与学生成绩的关系，计算教师的教学科研成果对课程教学的支撑度。③ 课程关联度。根据教学大纲的教学计划以及先行课程的成绩，剖析先行课程与评价课程成绩之间的关联性，一方面可以找出学生知识结构的薄弱环节，另一方面可以探讨教学大纲的质量，或者需要调整的内容。
2) 教师教学维。教师教学维由任课教师负责分析和评估，评价指标包括：① 课程知识掌握情况。主要包括知识结构完整性、知识难度系数以及知识关联度等指标 [7] 。② 教务政策引导评价。主要分析
Figure 1. “Three-dimensional integration” conceptual framework for quality analysis and evaluation of test paper
图1. “三维一体”试卷质量分析与评估(概念)框架
教务管理政策对教师教学的引导情况，包括成绩评价方式引导度、教师考核方式引导度。成绩评价方式引导度主要针对教务部门对课程成绩的管理方式展开分析，例如课程成绩必须正态分布的考核制度；教师考核方式引导度用来分析对教师考核制度与学生成绩之间的关系，如果对教师教学评价以生评教为主，很难改变教师“讨好学生”的现象。③ 学生个人画像。教师根据学生的专业背景特点、教学平台学习行为的相关指标来展开分析。背景知识结构指标分析学生文、理、工科知识背景对课程成绩的影响；学生个人画像可通过学生在在线学习平台上的行为来分析，如登录次数、在线互动次数、查看课件次数、参与论坛讨论次数、课堂提问次数等平台行为来对学生进行画像分析，得到了具有不同行为特征的学生群体，进而分析不同学生群体与特定类型题目知识点间的相关性。
Figure 2. A quality analysis and evaluation index system for test paper based on multidimensional Integration
图2. “多维一体”试卷质量分析和评估指标体系
3) 学生个性维。学生个性维由学生进行分析，指标包括：① 教学政策导向性。主要分析教务部门的保研、评奖评优等政策对学生学习的影响，如学生保研、评奖等只看分数，很难改变学生不顾兴趣只为高分选课的现象。② 教学方式支撑度。开展教师教学方式与成绩关系的分析，不同的学生喜欢的教学方式不同，进而影响课程的成绩。③ 知识区分度。从学生的角度对试卷按照概念类、逻辑推理类和综合应用类划分不同的知识类型，进而分析不同类型的知识与课程成绩的关系。
4) 互动协调维。“以学生发展为中心”的教育模式客观上要求多元主体参与，各分析主体在试卷质量分析评估中的优势、职能和侧重点有所不同，教务监管部门强调监督、约束和指导，教师分析和评价则突出执行、引导和协调，学生则重点在适应、调整和反馈等方面，因此多维分析和评估要强调主体间的交流沟通、信息反馈，充分激发与释放各主体的积极主动性，实现优势互补、良性互动和深度协同，通过多元主体间协同互动，提高试卷质量分析评估的精准性和满意度，助力“智慧分析和评估”。互动协调维描述不同主体之间的沟通、交流状况，评价指标包括教务部门–教师互动度、教务–学生互动度、教师–学生的互动度来进行分析主体的之间的沟通交流情况。
Figure 3. Quality analysis and evaluation index extraction and analysis of test paper based on data mining
图3. 基于数据挖掘的试卷质量分析和评估指标提取与分析思路
4. 结束语
信息技术的迅猛发展正在改变着现有的教育教学模式，基于教育大数据对教育教学开展深层次分析和挖掘已经成为教育工作者的关注点。长期以来，受囿于分析数据源的不足以及处理工具匮乏等原因，与试卷质量分析评估相关的信息数据没有得到充分有效的挖掘和应用，使得试卷质量分析和评估滞后于信息技术的新发展。
本文立足于高等教育中试卷质量分析和评估的现状，以服务于学生发展为目标，针对传统的试卷质量分析评估过程中普遍存在的“单主体”、“单对象”、“评估结果控制薄弱”等现状，基于教育大数据挖掘思想，以各种教务、教学信息平台为数据来源，进行了数据挖掘视角下的试卷质量多维分析与评估模式的探索性研究，拟通过多元主体协同参与，科学分析和评估试卷质量水平，为教务管理部门加强育人的政策设计，教师优化教学大纲、课程设置，完善教学方法，学生调整努力方向等提供依据和指导，经过监管–引导–反馈–优化，助力学生的个性化发展与成长，有着非常重要的实际意义。
基金项目
中国矿业大学教学研究项目“基于数据挖掘的试卷分析评估研究”(2021YB31)。