1. 引言
教育教学质量的高低会直接影响人才培育质量的优劣，因此，为了切实提高人才的培育质量，教育教学研究自然地相伴而生。信息化时代，尤其是人工智能赋能教育的时代背景下，随着教育教学理念、环境和技术的更新、变革，对教育教学的质量与效率提出了更高的要求。
教育教学课题研究(后续统一用课题研究)是新手教师发展成为一名合格甚至优秀的成熟教师的重要途径之一，而且深入开展课题研究不仅是提升教育教学质效的有效途径，而且是广大教师实现专业可持续发展的重要途径。通过课题研究，教师除了提升其对教育教学本质及规律的认识外，还能有效提升他们的教学水平。然而，课题研究质量的好坏优劣课题研究者较难进行正确的评价，即使课题研究者在研究的过程中直接感受到研究存在的困难以及可经验地感受课题是否通过结题验收，但是依然缺乏客观的或可量化的课题研究质量评价。缺乏质量评价反馈的课题研究容易造成课题研究者的研究水平提升不够明显，对教育教学规律或者教育教学实践中的方法掌握得不是很透彻，延缓了教师的职业发展，更不利于提高学生的培养质量。
课题研究质量评价和课题研究的申请、开题、研究实施及结题共同构成了课题研究封闭的完整过程，质量评价与申请、开题、实施以及结题有机组成了课题研究的“生命体”。课题研究的质量评价不仅有利于课题研究者在后续新课题的申请和研究实施过程的完善、提高，有利于课题研究者在课题研究方面研究能力的提升，而且也有利于学校对教师及本单位的教育教学工作有一个大概的掌握。因此，课题研究的质量评价对课题研究及研究者具有指导、监督、检查和帮助作用。
通常，高质量的课题研究在实践转化过程中会带来较好的教学质效。什么是高质量的课题研究呢？教育界及学术界没有统一的认可定义，本文类比高质量的研究，将高质量的课题研究概括为：基于教育教学领域已有的理论、知识、研究范式等基础上，通过科学的系统的方法探索教育教学中的问题或现象，从而产生重要的、可普及的新知识、新结果。并且可以从其本质特征、方法论和影响力三个维度进行界定。当然，其他研究者，如朱飞[1]，在进行相关研究时，虽然没有给出高质量课题研究的定义，但是却给出了高质量研究发展的内涵和提升路径。
然而，现实中由于种种原因导致课题研究存在重申报轻评价、重结果轻过程重研究轻评价等现象。如何更好地评价课题的研究成果，如何更好地审视课题研究成果的转化情况及其他类似问题，目前还没有建立较为普遍认可的方法或标准，与教学实践、教学理论及教学模式等方面的研究相比较，课题研究质量评价的相关研究数量较少，质量有待提高。
根据文献检索的情况来看，现有关于课题研究质量评价的研究主要集中于教改课题研究的质量评价，而对于一般性的日常的教育教学课题研究，如教学模式的应用情况，教材的研究以及教育教学模式的比较等方面研究则较少关注。当然，从隶属关系来看，教改课题包含于教育教学课题，只不过它侧重于教育教学中改革的方面。对教改课题研究质量评价的研究在研究方法方面则存在注重质性研究，而轻视量化研究的倾向。除了研究所需的相关数据收集存在一定的困难，及研究偏好和环境外，主要的还在于我国研究者所接受的研究培训存在一定的偏颇，自身的学术视野不够宏阔，较难应用有效的定量方法从事相关研究。
目前，江利[2]、张洁[2]共同探讨了高校教改项目质量提升存在的困难，并提供了解决相关困难的对策。何盈莹[3]和刘宁[4]则分别独立地探究了教改课题研究中存在的问题，进而为提高教改课题研究质量提出了自己的决策或措施建议。与前面的研究不同张建国[5]则从期刊编辑的视角，根据新疆四所高校的教学改革课题相关数据，采用实证研究的方式探讨了教学改革课题研究水平提升的问题。与张建国类似，唐琳，付达杰[6]则通过调查问卷，以实证研究的方式分析探讨了江西省高职院校教改课题研究现状及研究质量提升问题。这些研究或者是从宏观层面质性地探讨了教改课题研究质量的提升问题，或者则从统计意义上实证地探究了教改课题研究质量的提升问题。张建国，唐琳及付达杰虽然采用了实证研究的方式，其结果更具客观性，但是他(她)们的研究存在数据不完整，样本数据偏少等情况。而且不同类型的高等院校在进行课题研究质量研究方面，研究者需要面对的困难具有一定的特殊性。
上述研究者的研究集中于探讨教改项目质量方面存在的问题及其原因，并提出了自己的研究建议。然而，对于一般的日常的课题研究其质量评价存在怎样的困难，以及如何构建统一的质量评价体系却不曾探讨。目前，教育界对教学实践效果评价进行了丰富的研究，形成了一定的教学质效评价理论体系，然而，针对课题研究质量评价的研究，因为种种原因却较少研究，尤其是定量的、系统性的研究，从而缺乏专门的课题研究质量评价理论，类比教育评价理论，课题研究质量评价的重要性可与教育评价的重要性一致，即“教育评价研究对于教育改革和发展，教育管理和决策具有重大意义。”[7]
本文尝试基于CIPP评估模型对当前课题研究质量评价过程及评价本身进行探讨。CIPP评估模型包括背景(Context)、输入(Input)、过程(Process)和产品(Product)评估，在此不对CIPP评估模型展开叙述，由于本文将要探讨的主要问题是课题研究质量评价过程中存在的困难，因此，主要集中探讨CIPP评估模型的过程部分在实践中存在的困境。
2. 课题研究质量评价过程中的困境
根据张洁[1]、何盈莹[2]、刘宁[3]、张建国[4]以及谭光兴[8]等人的研究，不难发现课题研究存在一些普遍性的问题，如课题申报过程中缺乏明确的课题立项要求，重立项轻研究，重理论轻实践等。根据笔者的研究及实践观察，前面提及的课题研究中存在的共性问题今天依然广泛存在各种类型的高等教育院校的课题研究中。除了已有研究提及的问题外，在人工智能应用于教育教学和科学研究的当下，应用人工智能完成课题研究报告或文章的情况已初有发现，在此不再赘述。根据研究课题研究质量评价过程中存在如下困境。
2.1. 课题研究质量评价机制的不完善
随着信息化程度的提高以及智慧校园建设的持续推进，课题申报过程中虽然仍存在缺乏明确的课题立项要求问题，但是也发布了申请指南和选题参考在一定程度上完善了课题立项要求。然而，在课题研究质量评价方面部分学校或课题管理部门却没有建立起相应的评价机制，仅仅只有通过或不通过的结论；即使大部分学校或课题管理部门对结题课题进行了评价并且对课题成果进行了优秀、良好、合格和不通过的四级分类，然而评价的标准却较为模糊粗糙，而且还存在将学术研究的评价标准套用于课题研究的质量评价，突出课题的创新性而忽视了课题研究的应用性和实践的有效性。课题研究报告的语言表述相对研究报告内容的逻辑性和深度在评价中的占比分值要高，而且评价提供的标准界限较为模糊，在可量化实现方面较为困难，这也使得课题研究评价主要采取专家评价的方式，从而给课题质量评价带来较为明显的个性偏好。
根据谭光兴[8]的研究当下的质量评价即便采用了专家评议，然而却存在课题研究者自主请专家单独签署评审意见。此外，学校组织的评审专家组成员主要来自学校周边的高校教授，因此这些教授与学校的部分教师有较为熟悉的关系，处于同一座城市构建了一个独特的熟人社会圈子，于是在课题研究质量评价方面存在一定程度的非学术因素，从而影响到评价的客观性。
2.2. 课题研究质量评价重文字材料轻实践检查的评价偏好
课题研究，尤其是教改课题和科学研究课题无论是从研究范式方面，还是从研究目的方面都存在较大的差异。课题研究最终的落脚点是对教学实践的改进、完善以及对教学活动规律的认识，具有鲜明的应用性和实践性特点。然而，目前由于种种原因，学校或课题管理部门在组织对结题课题质量进行评价的时候主要的还是依靠课题研究报告，相关论文以及教案等文字材料，评价专家凭借其经验及认知，根据课题研究组上交的文字材料进行质量评价。
高度依赖文字材料的质量评价，偏好优美的文字表达，规范的材料文本，下意识中便淡化了课题研究的最终目的。由此导致的结果就是课题研究与教学实践一定程度上的脱节现象，也造成了为课题研究而课题研究的现状。相反，课题研究涉及到的教学实践，如OBE教学模式应用的课题研究，在质量评价时没有对该教学模式的实践情况进行评价，也不曾要求上交视频等即视性材料进行评审，根据相关教案的质量评价对OBE教学模式应用的教学实践没有实质性的帮助。
2.3. 课题研究质量再研究的囚徒困境
课题研究，特别是教改课题研究其目的是为了更好地服务、帮助、改进及完善教学实践，从而提高教学的质效。为此，教育领域无论是高等教育院校，抑或是中小学都会申请不同级别的课题，而且从国家层面，到学校层面不同层级部门都在积极鼓励教师们进行课题研究。目前，不同层级的学校将主持或参与课题研究的情况纳入教师职称评聘的成绩计算范围，进而导致了前述研究者在其文中提到的为了职称而开展课题研究的情况，其课题研究的质量在一定程度上肯定会受到影响，至于影响程度如何有待进一步的研究。
课题组在结束课题研究后，其研究报告、相关论文及研究材料都备份送交学校或课题管理部门。理论上，为了学校整体教学质效的提升，所有的课题研究成果应该与学校的教师共享，至少可以被每一位教师能够查阅，从而帮助、提升教师们的教学实践水平，提高他(她)们的教学质效。然而，实际中如果课题组外的其他教师需要查阅课题研究报告及相关研究材料，除了利用私人关系直接向课题组获取相关材料外，其他研究人员如果想获取这些研究材料则会因为知识产权、以及权限等问题较难获得课题研究的报告及相关研究材料。从而很难实现对课题研究的独立的再研究。
一方面高质量的课题研究有利于整体教学质量的提升，另一方面则是因为种种原因而不能获取的课题研究材料，从而导致重复立项、重复研究的情况发生，也让年轻的研究者较难直观地感受课题研究质量的高低，不得不通过不断的尝试、长时间的积累经验才能做出高质量的课题研究成果，这对年轻教师的成长也不是非常的有利，进而在人才储备、人才发展方面不利于学校整体的发展，从而形成一种囚徒困境。
3. 课题研究质量评价的建议
针对本文第二部分提及的研究困难，经过分析笔者认为可以从以下几个方面完善相关措施从而方便课题研究的应用和质量评价，并提高课题研究结果的利用情况。
3.1. 建立具有超链接功能的课题研究文本数据库
为了方便课题研究文本的获取以及课题研究的再应用，利用现有信息技术可以建立具有超链接功能的课题研究文本数据库。根据研究课题文本析出核心关键词，再根据核心关键词进行分类，依据分类后的类型建立子数据库并且根据核心关键词的相似性建立子数据库之间的超链接，其大概的流程如下图1所示。
Figure 1. Flowchart for research project text database construction
图1. 研究课题文本数据库建设流程图
为了便于课题文本数据库的应用及其时效性除了日常维护，根据用户检索、链接频次更新数据库的排序情况，而且根据年度研究课题的变化情况而更新数据库。建立该数据库的目的是方便学校其他课题研究者对现有研究课题数据的了解和应用。
由于数据库的建设是一个系统性复杂性的工作，因此不对研究课题文本数据库的建设进行技术层面的具体叙述。然而，根据建设该数据库的需求，笔者认为应该统一文本校准，便于文本清洗和标准化分析，也为后续数据库的应用提供一定的方便。此外，对于核心关键词的析出，也可以通过大数据抓取高频词汇，依据一定的逻辑关系将它们进行分类。当然，在该数据库的建设过程中可以借鉴已经成熟的数据库建设经验。在组织层面由课题研究管理部门牵头，组织计算机技术、数据库方面的专家共同参与，并且也可将他们参与数据库建设、维护、更新的工作量纳入考核之中，或作为咨询、服务工作的一部分。
3.2. 建立查阅及再研究课题研究文本的保障制度
目前，建立研究课题文本数据库的技术较为成熟，基于研究的情况来看，建立相应的查阅及再研究的保障制度显得尤为重要。课题管理部门因为其职能收集、存储了全校历年来的课题研究材料，由于缺乏相应的查阅及再研究的保障制度，如果有教师想查阅或对课题研究材料进行再研究则较难获得所需材料。此外，课题管理部门会因为知识产权问题，拒绝直接向需要查阅或对课题研究材料进行再研究的团队提供相关材料，他(她)们声称需要获得研究课题负责人的授权，但是因为种种原因，较多数量的课题负责人不愿意授权索要人，从而使得这些课题研究文本大部分出现“存档即死亡”的局面。
为了教学实践质效的提升，充分利用现有的课题研究成果，学校在鼓励教师应用这些课题研究成果的同时，以制度的形式规范课题研究成果应用流程避免出现知识产权方面的纠葛问题。此外，课题研究成果的可查阅也可以让其他研究者对该课题的研究进行实践上的再论证，从而深化课题研究的成果。
3.3. 营造良性的学术研究氛围
课题研究，从研究归属方面讲可将其归属到应用类研究，但是这类研究与工程、技术等应用类研究有所不同，带有一定的不可重复性，因为其研究涉及的主体对象是人，但是无论怎样课题研究从宏观的角度还是可以归结为学术研究。
同样的教学模式在某班级实践具有一定的效果，但是当将该教学模式应用到另外的班级实践时可能并不具有相同的效果。这就可能会导致因为结果方面的不同而产生争议，如果课题研究的成果可以被查阅，那么理论上讲任何一个课题研究都会被其他研究者进行再研究或实践。此时，可能会因为结果的不同而产生分歧争议，学术研究上有分歧争议从某个角度讲是利好的情况，然而，不加规范引导的学术分歧可能会带来人事方面的种种矛盾。这就需要学校层面在学术研究氛围方面积极引导，营造出良好的学术讨论氛围，将学术上的分歧仅仅限定在学术层面而不引起泛化。
学校层面也可以鼓励不同学科教师之间对已有的课题研究结果进行跨学科的再研究，而且可以从不同的学科角度解读、利用相关课题研究结果，从而深化课题研究的质量。然而，我们也需要避免因为课题研究的开发获取而造成一定程度的舞弊、抄袭或利用已有成果申请其他层级的课题研究而形成即成的剽窃事实。对此，应该加大学术伦理的宣传、教育，对于后续申请教育教学课题可以利用课题研究数据库进行查重，对发现的不良学术行为加大惩处力度。此外，根据课题研究他引或借鉴的情况对课题研究人进行学术荣誉方面的奖励，以此鼓励教师之间思想、问题的交流，研究的协同合作。
3.4. 优化现有课题评价过程
在现有课题评价的基础上，学校层面可以建立课题评审专家数据库，并且及时更新专家数据，同一学科的专家在人数上及来源上应该多样化，能够形成可及时替补的专家库。在不影响这些专家正常工作的情况下，对他们就课题评价方面的工作组织培训，从而尽可能地使课题评价客观而公正。并且在进行课题评价前采取随机抽取的方式组建临时专家组。
根据CIPP评估模型对现有的评价体系作进一步的优化，而且可以根据学科对课题进行分类，尽可能地实现“一学科一体系”的要求，这样也有利于课题研究数据库的建设。此外，在专家对课题评审结束后，没有公布评审结果的情况下可以通过校内网或专门的网页(站)由同学科的本校教师对课题研究进行无记名评价。当然，同行评价会因为私人之间的关系表现出一定的倾向性，或者因为涉及到部门(学院)利益而表现出一定的倾向性，因此，同行评价可作为一定的参考。由于课题研究可能会涉及到问卷调查、访谈等活动，可根据课题研究的研究文本回溯被研究的对象或被实施的对象。
4. 小结
课题研究的质量不仅影响到学术研究水平的发展，而且因为其特殊性还会影响到教学实践的质效。因此，课题研究质量的评价尤为必要和重要，现实中因为种种原因，过多地侧重于课题研究本身而忽视了质量评价，从而也没有建立起行之有效的评价机制。无论是理论上的需要，还是实践的需要都从不同层面要求我们必须对质量评价引起重视，尽可能地完善质量评价研究的条件和环境。此外，对于课题研究的质量评价，在当下人工智能时代，我们能够借助人工智能来实现？至少可以利用人工智能辅助专家对课题研究的质量进行更为客观的评价。当然，从笔者的经历而言，我们是否可以尝试对课题研究的质量评价建立相应的模型，从而便于实现程序化或更为客观的目标？这些问题都是值得质量评价研究进行探讨的。