1. 引言
随着互联网技术的快速发展,越来越多的行业开始借助数字化技术进行转型升级[1]。在教育领域,通过整合人工智能、学习分析和教育大数据等技术,教学评价方式正从传统的数字化测评向智能化的数据评估转变。构建智能题库是实现自动化组卷和智能测评的重要基础[2]。作为教学评估的信息采集工具,高质量的试卷需要具备良好的效度和信度,这是确保测评结果准确可靠的关键。由此可见,开发专业课程题库并构建智能组卷系统具有重要的现实意义。
1.1. 传统组卷存在的问题
(1) 组卷数量多,工作量大。某医科大学基础医学院学院承担着全校近80%的课程,在各类考试,例如期中考试、期末考试、基础医学综合考核过程中均承担着命题工作,同时还承担命题的组卷任务。各类考试试卷均要求设置A卷和B卷,且试卷题目由课题组内承担不同课程章节的老师分别出具,最终由教研室主任或秘书完成组卷。随着学校近几年的扩招,学生数量和班级总数也随之增加,对学生的要求也不断提高,考试频率及种类随之增加,这增大了教研室组卷的工作量。
(2) 人工组卷质量难以得到保证。人工组卷不但耗费教师人力物力,而且组成的试卷难易程度以及知识点覆盖率难以保证,试卷A卷和B卷的一致性无法确保。不但无法对考前的试卷结构进行分析,且无法与考试后学生答题情况进行结合,因此无法根据考试结果动态调整卷面的难易程度和结构,也无法根据答题情况确定学生对知识点的掌握情况。
1.2. 现有题库存在的问题
(1) 缺乏自建题库:现阶段考试试题的出具,仍然是由教研室承担课程某章节的教师自行出题,题目来源不定,且题目的难易程度及知识点覆盖面缺乏科学性,这就使得最终组成的试卷质量难以把控。
(2) 虽然目前已经存在“在线学习平台”、“雨课堂”、等随堂测试系统,但是其中的题库缺乏科学性,且生成的试卷无法满足现阶段各类考试试卷的模板,只能完成随堂测试,不能满足期中和期末考试等大型高频的考试需要。虽然目前已存在“自动阅卷系统”,但是阅卷后只能对卷面大体情况进行分析,不能将其与知识点相结合。如表1所示。
2. 医学组卷系统的设计原则
(1) 科学性:组卷系统的题库建设严格遵循医学教育的规范性要求,参照国家医学考试中心颁布的最新版《临床执业医师资格考试大纲》和《高等医学院校教学基本要求》。题库内容覆盖基础医学各学科知识领域,知识点权重分布与课程标准保持高度一致。
(2) 个性化:完善丰富的题库是自动化组卷的前提,电子题库是智能化组卷系统的重要部分。根据不同考试对的试卷的要求,题库内题型分为不同课程、不同章节、不同分值、不同题型、不同难易度的题目,实现所组合的试卷包含不同题型比例、培养目标等多个方面的指标。
Table 1. The difference between traditional test paper generation and intelligent test paper generation
表1. 传统组卷与智能化组卷的区别
对比维度 |
传统组卷 |
智能化组卷 |
效率 |
人工筛选,耗时 |
自动匹配,分钟级生成 |
试题质量 |
依赖经验,波动大 |
基于算法和历史数据优化 |
个性化考核 |
统一试卷 |
按学生能力动态调整难度 |
知识点覆盖 |
可能重复或遗漏 |
全面覆盖 |
(3) 高效性:组卷系统一方面可以避免教师自主命题下试卷科学性的问题[3]。另一方面可以更加合理、全面的考察学生的知识水平,使得考试评价更具公平性,考试测评数据更具真实性。
3. 系统架构
本系统架构设计合理,将前端与后端功能清晰划分,旨在为医学教育领域提供高效、精准且智能化的服务。通过前端不同角色的界面操作,结合后端强大的功能模块,实现了统计分析、组卷配置、题库维护、智能组卷以及学情分析等一系列重要功能。
(1) 前端:主要为不同用户角色提供相应的操作界面,满足不同的业务需求,具体分为管理端和教师端。
a) 管理端–统计分析
管理端的统计分析界面是系统数据可视化的重要窗口,主要面向系统管理员。管理员可以在此查看系统内各项关键数据的统计信息,例如学生的考试成绩分布、各题型的答题正确率、不同知识点的掌握情况等。系统会对这些数据进行深度挖掘和分析,以直观的图表和报表形式呈现给管理员。这些可视化的数据有助于管理员全面了解教学效果和学生的学习状况,为教学策略的调整和优化提供有力依据。同时,管理员还可以根据需要进行数据筛选和排序,以便更精准地分析特定时间段或特定群体的数据。
b) 学系端–题库维护
学系端的题库维护界面是保证试题库质量和完整性的关键功能。系主任可以在此对试题库进行全面的管理,包括试题的添加、删除、修改和审核等操作。在添加试题时,系主任需要录入试题的基本信息,如题目内容、选项、答案、题型、所属知识点等。同时,系主任还可以上传与试题相关的图片、视频等多媒体资料,丰富试题的呈现形式。对于已有的试题,系主任可以根据教学内容的更新和变化进行修改和调整,确保试题的准确性和时效性。此外,系主任还需要对新添加的试题进行审核,保证试题的质量和规范性。
c) 教师端–组卷配置
教师端的组卷配置界面是为教师设计的专业功能模块。教师可以根据教学目标和考试要求,灵活配置试卷的各项参数。在题型方面,教师可以选择包含A1型题、案例分析题等医学特有题型,确保试卷能够全面考查学生的医学知识和临床应用能力。教师还可以设置试卷的难度系数、各题型的分值分布、知识点覆盖范围等。系统会根据教师设置的这些参数,结合后端的试题库和智能组卷算法,快速生成符合要求的试卷。此外,教师还可以对生成的试卷进行预览和调整,确保试卷的质量和合理性。
(2) 后端:此部分是系统的核心,主要负责数据的存储、处理和业务逻辑的实现,由试题库模块、智能组卷算法模块组成。
a) 试题库模块
试题库模块是系统的重要数据存储和管理中心,包含了丰富的医学试题资源,特别是A1型题、案例分析题等医学特有题型。这些试题按照知识点、题型、难度等多个维度进行分类和存储,方便系统快速检索和调用。各课程组可根据医学领域的最新研究成果和教学大纲的变化,及时添加新的试题,同时删除过时或不准确的试题,以实现对试题的动态更新和维护。此外,试题库还支持对试题的标签和索引管理,提高试题的检索效率。
(3) 智能组卷算法
智能组卷算法是系统的核心技术之一,基于遗传算法或回溯算法的多目标优化实现。该算法会综合考虑多个因素,如试卷的难度系数、知识点覆盖范围、题型分布等,以生成最优的试卷组合。在组卷过程中,算法会根据教师设置的参数,从试题库中筛选出符合要求的试题,并进行多次迭代和优化,确保生成的试卷既能够全面考查学生的知识掌握情况,又具有合理的难度和区分度。遗传算法通过模拟生物进化过程,不断搜索最优解;回溯算法则通过深度优先搜索的方式,对所有可能的试卷组合进行遍历和筛选。这两种算法的结合使用,提高了组卷的效率和准确性。
4. 核心算法
线性同余生成器(LCG)算法:
算法公式:Xn+1 = (a*Xn + c) mod m
Xn:当前状态值(种子);
Xn+1:下一个状态值;
a:乘数(multiplier);
c:增量(increment);
m:模数(modulus)。
乘数(a):决定序列的“扩展性”
(1) 典型选择原则:与模数m互质;a − 1能被所有m的质因数整除;若m是4的倍数,则a − 1也应是4的倍数。
(2) Java中:a = 25214903917 (0 × 5DEECE66DL)。
增量(c)
(1) 通常选择与m互质的数。
(2) 当c ≠ 0时称为“混合型”LCG。
(3) c = 0时称为“乘同余法”(周期会缩短)。
(4) Java中:c = 11 (0 × BL)。
模数(m)
(1) 决定周期长度(最大周期为m)。
(2) 通常选择2的幂次(计算效率高)。
(3) Java中:m = 248 (0 × 1000,000,000,000 L)。
5. 系统应用
在某医学院的《病理学》教学与考核工作中,教师常常需要根据教学进度和考核目标来生成合适的试卷。当面对肿瘤等特定知识板块以及特定难度要求时,传统的人工组卷方式不仅耗时费力,还难以保证试卷的质量和公平性。而本系统的智能组卷功能则能高效解决这些问题。
当教师登录系统进入教师端的组卷配置界面后,在“组卷要求”输入框中明确填写相关信息,例如指定肿瘤相关的知识点的题目在试卷中出现30道(以试卷总题目100道为例,折合比例为30%),同时设定每道试题的难度系数(低、中、高)。教师还可以进一步指定题型,如包含一定数量的A1型题、案例分析题等医学特有题型,以全面考查学生对肿瘤相关知识的掌握和应用能力。
教师提交组卷要求后,系统会立即响应。后端的智能组卷算法开始工作,会迅速从试题库模块中筛选出符合要求的试题。试题库中存储着大量关于《病理学》各个知识点的题目,并且按照题型、难度、所属知识点等进行了详细分类,方便算法快速检索。
在筛选过程中,算法会根据肿瘤知识点占比30%的要求,从试题库中挑选出相关的肿瘤知识点的试题,并确保其数量和分值在试卷中占比达到30%。同时,算法会根据不同难度等级的要求,对试题进行难度评估和筛选。经过多次迭代和优化,算法会生成多套满足要求的试卷组合。
整个过程在10秒内完成,系统会将生成的2套等效试卷展示在教师端的界面上。这2套试卷虽然具体题目可能不同,但在知识点覆盖、难度系数、题型分布等方面都基本等效,能够保证考试的公平性和有效性。教师可以对生成的试卷进行预览,检查试卷的质量和合理性,如果发现有需要调整的地方,还可以进一步修改组卷要求,重新生成试卷。
6. 教学改革启示
在当今医学领域不断发展与变革的大背景下,医学教育改革已成为时代的必然要求。在此背景下,首先,我们要借时代的东风,凭借新兴科技的力量打破传统教育的局限;其次,我们要善于应用数据,为教学过程提供可靠的依据;最后,要注重塑造学生适应临床实践与行业发展的综合能力,培育符合新时代要求的卓越医学人才。但系统使用还将经历不停的调整和改善,可能会遇到以下的问题。
6.1. 题库建设与维护问题
(1) 试题质量不均:教师提交试题时,由于缺乏统一且严格的标准,导致难度标注不准确。部分教师可能仅凭个人主观判断来确定试题难度,而没有充分考虑学生的整体水平和知识掌握程度。例如,一道对于专业知识扎实的学生来说可能是中等难度的题目,在教师标注时却被归为简单难度。同时,知识点覆盖片面的问题也较为突出。有些教师在出题时,可能只侧重于自己擅长或所教的部分知识点,而忽略了医学知识体系的完整性,使得题库中某些重要知识点的试题数量不足或缺乏代表性。
(2) 更新滞后:医学领域知识更新换代速度极快,以新冠诊疗指南为例,随着对新冠病毒的认识不断深入和临床治疗经验的积累,相关指南会频繁更新。然而,现有的题库往往难以及时同步这些最新知识。这就导致学生在考试中接触到的试题可能与当前临床实际应用脱节,无法准确考查学生对最新医学知识的掌握情况,不利于培养适应现代医学发展需求的专业人才。
(3) 重复率高:教师在出题过程中,出于习惯和便利性的考虑,倾向于重复使用经典题目。这些经典题目虽然具有一定的代表性和权威性,但过度使用会使试卷缺乏创新性。学生可能通过反复练习这些旧题,掌握了固定的解题思路和方法,而不是真正理解和掌握了知识点的内涵和应用。这样一来,考试就无法真实反映学生的学习效果和知识运用能力,也不利于激发学生的学习兴趣和创新思维。
解决方案:
(1) 动态更新策略:国家医学考试中心的题库具有权威性、科学性和及时性等特点,涵盖了最新的医学知识和考试动态。通过与国家医学考试中心题库建立数据对接,实现自动抓取最新考题的功能。这样可以确保学校的题库能够及时引入高质量的新题,跟上医学知识更新的步伐。例如,当国家医学考试中心发布了关于某一疾病最新诊断标准的试题后,学校题库可以立即获取并添加到相应的知识点分类中。
(2) 设置“试题有效期”:为不同类型的试题设定合理的使用期限,如A1型题最长使用5年。在有效期内,试题可以正常参与组卷;一旦超过有效期,系统将自动对该试题进行标记或删除。这样可以促使教师不断更新题库中的试题,保证题库的时效性和质量。同时,对于即将到期的试题,可以提醒教师进行审核和修改,若试题内容仍然具有代表性和实用性,可以适当延长其有效期。
(3) 激励措施:将题库贡献纳入教师考核体系,建立科学合理的考核指标。例如,考核教师提交的新题数量、试题质量、知识点覆盖范围等方面。对于提交高质量新题的教师给予奖励,奖励形式可以多样化,如物质奖励(奖金、奖品)、精神奖励(荣誉证书、公开表扬)和职业发展支持(优先晋升、参与重要科研项目等)。通过这种激励机制,激发教师参与题库建设的积极性和主动性,鼓励他们投入更多的时间和精力进行试题研发,提高题库的整体质量。
6.2. 考试公平性与安全性
(1) 试题泄露风险:在考试信息化的背景下,系统生成试卷后存在被恶意导出传播的风险。一些不法分子可能利用系统漏洞或通过非法手段获取试卷信息,并将其泄露给学生。这不仅破坏了考试的公平性,使得部分学生能够提前知晓试题内容,获得不正当的竞争优势,还会严重影响学校的教学秩序和声誉。
(2) AB卷等效性偏差:在设置AB卷时,实际操作中两卷的难度差异可能会超过10%。造成这种偏差的原因可能是出题教师对难度的把握不够精准,或者在试卷组卷过程中缺乏科学的难度评估方法。当AB卷难度差异过大时,会导致考试结果的不公平性,使得选择不同试卷的学生面临不同的考试难度,无法准确反映他们的真实学习水平。
(3) 作弊漏洞:选择题选项规律性排列是考试中常见的作弊漏洞之一。如果正确答案均集中在某一个选项,如C选项,学生很容易发现这一规律,并通过猜测来答题,而不需要真正理解题目内容。这种情况严重影响了考试的真实性和有效性,无法准确考查学生对知识的掌握程度。
解决方案:如表2所示。
Table 2. Types and countermeasures of fairness and security risks in the intelligent test paper generation system examination
表2. 智能化组卷系统考试公平性与安全性风险类型及应对对策
风险类型 |
对策 |
试题泄露 |
使用动态水印(含教师ID/时间戳),限制试卷下载次数(≤3次/人) |
AB卷偏差 |
算法内嵌“双卷一致性校验模块”,自动平衡难度/知识点分布 |
选项规律 |
随机化选项排序,并添加“干扰项相似度检测”(如避免A项均为最长选项) |
基金项目
宁夏医科大学2024年校级教育教学改革研究项目“智能化医学组卷系统的设计与研究”(项目编号:NYJY2024062);
宁夏医科大学2023年自治区级本科教育教学改革研究与实践项目“基于虚拟仿真技术融合生理学理论与临床病例一体化教学模式的探索与思考”(项目编号:bjg2021041)。
NOTES
*共同一作。
#通讯作者。