“互评体系”在CDIO工程项目中的应用探索

Research on the Implementation of “Peer Assessment” in CDIO Engineering Project

摘要: 本文首先以小样本群体进行模拟实践，基于实践结果和反馈信息对初步设计方案进行修正优化。在充分考虑CDIO工程项目实施方案的基础上，进一步提出适用于我国高校CDIO工程项目的互评体系实施方案。

Abstract: Firstly, a small sample group is used to simulate the practice, and the preliminary design scheme is modified and optimized based on the practice results and feedback information. On the basis of fully considering the implementation scheme of CDIO project, the implementation scheme of mutual evaluation system suitable for CDIO project in colleges and universities in China is further proposed.

1. 引言

工程项目是CDIO培养方案的一个重要组成，通过以“团队形式”实施综合性项目，经过构思、设计、制作、分析、运行等具体实践过程，学生深刻理解现代工程项目的“C-D-I-O”全过程，提高学生的知识综合应用、信息收集与利用等方面的能力。传统评价体系主要以专家组和指导教师为主体，通过对项目成果进行测试验收来进行项目考核及评价。国外高等院校已经开始广泛尝试引入学生互评体系 [1] [2] [3]，并且得到了非常积极的响应和效果。本文致力于对互评体系在CDIO工程项目中的应用方式和应用价值进行探索，首先以小样本群体进行模拟实践，基于实践结果和反馈信息对初步设计方案进行修正优化。在充分考虑CDIO工程项目实施方案的基础上，进一步提出适用于我国高校CDIO工程项目的互评体系实施方案。

2. “互评体系”实践

本文选择以9名本专业在读研究生为样本进行实践。实践过程中，将3名学生组成一个项目组，配有指导教师一名。研究题目由指导教师提供，限期2个月完成并进行验收答辩。为了将实践结果有效应用于CDIO高级项目，实践项目实施流程与CDIO高级项目实施方案保持一致，包括两次中期验收和一次结题验收。

2.1. 实践方法

如图1所示，在项目启动、中期验收、验收答辩四个时间节点设置相关互评环节，具体为互评体系介绍、第一次组内单盲互评、第二次组内单盲互评和互评成绩计算环节。

Figure 1. Practice scheme of small sample group evaluation system

图1. 小样本群体评价体系实践方案

➢ 项目启动阶段，由指导教师进行互评体系介绍，重点解释互评流程，互评指标，互评成绩组成等方面，使学生明确互评体系的重要意义。

➢ 第一次中期验收阶段，进行第一次组内互评。组内互评采用单盲原则，即被评者身份对评议者开放，而评议者身份不对评议者开放 [4]。同时为了更好的体现公平性，在互评中引入自评项，即每位成员对包括自己在内的所有成员进行评价，由此可以消除不同评议者评价标准之间的差异。另外各项标准的评价指标分为四档，0分、1分、2分、3分。

➢ 第二次中期验收阶段，进行第二次组内互评。其中互评的基本原则及方法与第一次互评一致。

➢ 项目验收答辩阶段，评审老师对各个项目的成果进行验收，并以组为单位给出100分制成绩，同时对2次互评结果进行统计，并按照预设权重纳入学生的个人成绩当中，从而作为最终评价结果。

假设学生互评具体成绩用XY_m,n表示，其中“X”为评议者，由于本课题所进行实践由9为同学组成，所以“X”可为成员A至成员I中的任意一名。“Y”为被评者，可为成员A至成员I中的任意一名。角标“m”为互评标准序号，可为成员A至成员I中的任意一项。角标“n”为互评轮次，由于本实践只进行2次互评，所以“n”可为1或2。

假设评审教师给予项目组的成绩用S_T表示，其中“S”表示项目组成绩，角标“T”表示项目组编号，由于本次实践将9名学生分为三组，所以T可为1，2，3。

由此，以项目组1中成员A为例，其最终个人成绩ScoreA可根据公式(1)计算。

$ScoreA=S_1\times 50\%+50\times \frac{{\displaystyle \underset{X\text{=}A,B,C}{\sum }{\displaystyle \underset{n=1}{\overset{2}{\sum }}{\displaystyle \underset{m=1}{\overset{11}{\sum }}X{A}_{m,n}}}}}{198}$ (1)

其中“50%”为评审教师给予项目组成绩的占比，“198”为2次互评某位成员可能获得的最高分数。依据互评成绩，并基于公式(1)计算所有学生的个人成绩如表1所示。

Table 1. Mutual evaluation scores and personal final scores

表1. 互评成绩及个人最终成绩

2.2. 实践结论

为了有效评估互评体系的有效性和积极作用，本课题对参加实践的9名学生和3名指导教师进行问卷调查和对话调查。调查问卷及调查结果如表2所示。

Table 2. Survey results

表2. 问卷调查结果

在得到以上问卷调查结果后，分别与学生和教师进行对话调查，结论汇总如下：

1) 正面评价，互评体系有助于促进个人工作积极性，有助于提高个人工作能力。互评体系没有增加过多额外工作负担，在某些方面产生了积极作用。

2) 负面评价，互评体系不能合理反映个人表现。从对话调查得知，互评成绩基本合理反映组内个人贡献，但是项目组之间横向对比情况下最终分数与实际情况偏差较大。主要原因来自于两个方面，一方面标准不明确，学生对于标准理解不一致，同时缺少等级划分界定。另一方面计分方法相对简单，互评分数直接影响最终个人成绩，导致给分“吝啬”的学生或项目组成绩相对较低，如果能够将互评成绩进行归一化处理后再纳入最终成绩将更加公平。

另一个负面评价有指导教师提出，从学生的互评成绩观察，2次互评成绩没有出现明显的递增关系，其主要原因在于缺乏反馈机制。如果能够及时地将评价结果反馈给学生，学生可以更有针对性的对自身薄弱环节进行加强提高，进而提高个人工作能力。

3. “互评体系”实施方案设计

CDIO工程项目不单纯强调产品研制能力的培养，是以产品和系统的“构思–设计–实现–运行”全过程为背景的工程教育模式，产品的构思设计、方案设计同样是培养的重点。如何建立有效的评价机制对项目组完整的开发过程进行考核是实现工程教育培养的关键一环。

3.1. 互评机制

依据小样本群体模拟实践结论以及CDIO高级项目的实际情况，对前文所述实践方案进行优化，形成CDIO高级项目评价体系，如图2所示。

➢ 项目启动阶段

由指导教师进行互评体系介绍，重点解释互评流程，互评指标，互评成绩组成等方面，使学生明确互评体系的重要意义。具体包括其不限于以下内容：

1) 互评身份将被严格保密；

2) 评估的具体细节，包括时间节点，互评方法，互评次数；

3) 详细解释互评成绩计算方法。给出具体实例，例如组内成员互相均给满分，则所有成员最终成绩完全取决于教师给予的项目组成绩；

4) 解释互评体系的重要意义，建议从标准的角度出发，解释标准与学习成果的支撑关系。

➢ 提交初步设计方案阶段

分别进行一轮组内互评和一轮组间互评。其中组内互评采用单盲原则，即被评者身份对评议者开放，而评议者身份不对评议者开放。同时为了更好的体现公平性，在互评中引入自评项，即每位成员对包括自己在内的所有成员进行评价，如表3所示。

Figure 2. Implementation scheme of CDIO advanced project evaluation system

图2. CDIO高级项目评价体系实施方案

Table 3. Template of single blind mutual evaluation form within the group

表3. 组内单盲互评表模板

其中组间互评采用双盲原则，即被评者和评议者身份均不对对方开放。组间互评以项目组为单位，针对其他项目组的初步设计方案进行评议。由于高级项目分组较多，同时对其他所有项目组进行评议不具备可执行性，因此计划采用随机抽取的方法，安排每个项目组任意评价其他两组，如表4所示。

Table 4. Template of double blind mutual evaluation form between groups

表4. 组间双盲互评表模板

➢ 提交详细设计方案阶段

分别进行第二轮组内互评和组间互评。其中互评的基本原则与第一轮互评一致，唯一区别在于组间互评的评价对象再次随机抽取，而评价内容变为详细设计方案。

➢ 项目验收答辩阶段

依据计分原则计算互评成绩，并按照预设权重纳入学生的个人成绩当中，作为最终评价结果。

3.2. 互评标准

对于互评标准的设计需要考虑诸多因素，其中以下两个方面尤为关键。

➢ 对互评标准的描述需要简明清楚。过往的研究表明，学生在进行互评过程中，经常出现无法准确理解标准的问题，从而严重影响学生进行互评的积极性和准确性。因此制定简明的互评标准，或者通过附加说明材料对标准进行解释，保证每位学生对标准理解充分并且理解一致是有效开展互评机制的重要基础。

➢ 互评标准应对期望的学习成果实现支撑。在新的评估理念当中，评估不再是学习的目的，而是提高学习成果的关键环节，所以在制定互评标准时，应充分考虑学校、学院以及专业对学生学习成果和毕业要求的定义，确保各项标准与期望的学习成果一致并且覆盖所有相关要求。

在重点考虑以上因素的基础上，设计如下组内单盲互评标准和组间双盲互评标准 [5] [6]。

3.2.1. 组内单盲互评标准

1) 出勤以及时间观念

2) 创新思维、思路活跃度

3) 分配任务完成情况

4) 文献、参考资料查阅能力

5) 具备团队合作态度

6) 团队活动组织能力

7) 解决问题能力

8) 沟通交流能力

9) 对意见或建议的处理方式

10) 团队材料撰写贡献程度

11) 对项目整体贡献程度

3.2.2. 组间双盲互评标准

1) 时间节点掌握情况

2) 格式

3) 报告内容完整性

4) 报告内容逻辑性

5) 语言组织能力

3.3. 互评成绩计算方法

个人最终成绩包含5部分。其中教师对于项目组的成绩独立占比50%，每次组内互评结合教师成绩占比20%，每次组间互评独立占比5%。假设教师给予X项目组S_T分，则项目组成员A的分数计算如下：

$ScoreA=S_T\times 50\%+S_T\times 20\%\times F{A}_1+S_T\times 20\%\times F{A}_2+\frac{X_{S1}^{\ast }\times 5\%}{2\%}+\frac{X_{S2}^{\ast }\times 5\%}{2\%}$ (2)

其中ScoreA表示成员A的最终个人成绩，FA₁表示成员A第一次个人互评因子，FA₂表示成员A第二次个人互评因子。其计算方法如公式(3)所示。

$F_A={\displaystyle \underset{M=A,B,C,D}{\sum }\frac{M{A}_S}{{\displaystyle \underset{N=A,B,C,D}{\sum }M{N}_S}}}$ (3)

$X_{S1}^{\ast }$ 表示项目组X第一次组间互评成绩， $X_{S2}^{\ast }$ 表示项目组X第二次组间互评成绩。其计算方法如公式(4)所示。

$X_S^{\ast }=\frac{Y{X}_S+Z{X}_S}{2}$ (4)

4. 结论

本课题围绕在CDIO工程项目中纳入学生互评体系的可行性以及实施方法展开研究。首先借鉴国内外学者的相关研究成果，并充分考虑我国工程项目类课程的一般培养方式，制定了互评体系的实践方案。以9名研究生作为小样本群体开展实践，通过观察和分析实践过程以及反馈信息，对部分环节进行优化调整，同时结合CDIO工程项目的现行实施方案，最终提出了一套切实可行的互评体系。将此互评体系应用于CDIO高级项目，可以使评估过程以及评估结果更加合理准确，同时提高、丰富学生的学习成果。研究结果表明，互评体系的实施可在各个方面产生积极影响和显著效果：

1) 学生方面

通过开展学生互评，并在最终成绩中纳入互评结果，可以更加公平合理地评价学生个体表现及团队表现，避免或极大削弱“不劳而获”“搭车”等现象的出现，做到个人分数真实反映个人贡献，从而能够充分调动学生工作、学习的热情和积极性。

保证互评标准对学习成果的支撑作用，并在项目初期对学生进行详细解释，使学生充分了解并重视各项互评标准(或学习成果)的实际意义，并通过对每项标准进行独立评分，引导学生在项目实施过程中进行具体实践，从而强化学生在团队合作、交流沟通、终身学习、组织协调等方面的能力。同时在高级项目实施过程中，互评结果将及时反馈到学生本人，学生可以有针对性地加强提高自身薄弱环节。

2) 教师方面

互评体系可充分调动学生的学习热情，强调学生在项目实施过程中的自主性和主动性，使教学过程真正落实“以学生为中心”的教学理念。

互评体系强调对工作学习过程的评价，并以量化成绩的形式进行反馈，教师在给予最终评价时可以酌情参考互评成绩，避免出现依据项目组整体成果进行个人评价的情况，使教师给予的评价成绩更加公平合理。

3) 专业方面

在CDIO培养框架中，互评体系可以有效而紧密地与CDIO的实施标准相结合。例如CDIO实施标准第8条致力于培养学生的主动思考及解决能力，避免将教学过程局限在被动的信息传递上，而是侧重于学生更多地从事操作、运用、分析和判断等工作，培养学生与学生之间的信息反馈与学习。同时CDIO实施标准第11条对学习的考核方法也做出了建议，除了传统的笔试、口试、日记和作业等，也建议包含学生的互评及自评环节。上述标准都与互评体系形成了紧密的交叉和联系。

同时各类专业认证均要求以学生为中心，以学习成果为导向，其中对学习成果进行有效评估是获得认证的关键因素。然而针对某些学习成果，例如终身学习能力、团队合作能力、沟通交流能力等往往难以评估，或者缺乏有效的支撑材料。因此以学习成果为依据，合理设置互评标准并广泛开展学生互评，可极大地丰富评估手段，同时可将互评结果作为佐证材料，为各项专业认证工作提供有力支撑。