1. 引言
试验设计是一门由应用推动的统计学科,以高等数学、线性代数、概率论和数理统计等为理论基础或工具,研究如何构造具备某种优良性质的设计来实施试验,如何对试验数据进行科学的分析,从而实现节约试验资源、降低生产成本、提高产品质量等目标,包括因子设计、回归设计、稳健参数设计、混料设计和计算机试验设计等众多有特色的分支。
试验设计的思想方法广泛应用于农林业、工业、生物、医学、心理学、社会经济等各个领域。统计学家G. P. Box说过,假如有10%的工程师使用试验设计方法,产品的质量和数量都会得到很大提高。质量工程创始人田口玄一博士说过,不懂试验设计的工程师只能算半个工程师。正是由于试验设计的重要性,统计学、工业工程、化工、食品、生物等专业都将开设有试验设计相关的必修课或选修课。然而,不同专业的教学内容存在较大差异。如福建农林大学的“试验设计与统计分析”MOOC课程中仅简单介绍了试验设计的“区组、随机化和重复”三原则,大部分课时用于讲授参数估计、假设检验和回归分析等统计方法;而清华大学MOOC课程“试验设计与分析”设计的课时多,统计分析的课时相对较少(清华大学的两门课程实质上是同一门课)。此外,这些课程主要以介绍试验设计和数据分析的基本概念和理论的讲授课为主,近年来R语言、SPSS等统计软件的实践课时呈增长的趋势,如华东师范大学的MOOC课程中专门设有介绍R语言的章节。
总而言之,正是由于试验设计应用的广泛性,很多专业都可以或应当开设试验设计课程,但教学内容设计上应结合专业的特点,不能一概而论。本文在分析“试验设计与分析”课程主要特点的基础之上,结合我校仿真工程本科专业课程建设实践,给出了几点经验,供从事相关专业课程建设的教师参考。
2. 课程主要特点
2.1. 应用性强
试验设计这一学科的产生和发展都由实际问题驱动,其应用性很强。试验设计起源于上世纪20~30年代统计学家R. A. Fisher在Rothamsted农业试验站的工作,他提出了试验设计的三大原则:重复、区组和随机化,并与同事Frank Yates共同提出了正交设计、拉丁方、因子设计以及方差分析等概念,建立了试验设计这一学科。第一次工业时期,统计学家G. P. Box 意识到工业试验具有及时性和序贯性的特点,于1951年与Wilson共同提出响应曲面法,该方法在接下来的30年中在化工领域和流程工业中得到广泛的应用,开启了试验设计的第一次应用浪潮。二战后,美国工程师、统计学家 W Edward Deming将统计质量控制引入日本, 开启了试验设计的统计质量革命时期。日本工程师田口玄一博士利用正交阵列独立提出了一系列部分因子设计的技术, 还提出了鲁棒参数设计和过程鲁棒性的概念,他的方法被日本视为“国宝”。随着计算机仿真技术的不断发展,Santer于1985首次提出计算机试验设计的概念,如今已经得到大大的发展,建立了包括均匀设计、空间填充设计、超拉丁方设计等一系列方法,Santer在其专著 [1] 中详细阐述了计算机试验设计与分析的主要理论方法与发展现状。在授课过程中需突出利用试验设计应用性强的特点,结合应用背景来阐述不同的试验设计方法,增强课程的趣味性和实用性。
2.2. 概念繁杂
试验的根本目的是研究因子之间的因果关系,在概述试验设计时,涉及因果性、因子、响应、处理、响应模型、试验单元等基本概念;经典的析因设计中涉及效应、交互效应、正交设计、混杂、别名、分辨度等概念;最优回归设计中设计均方误差、信息矩阵、复共线性、D-最优、E-最优、可旋转性等概念;计算机试验设计中涉及到空间相关性、空间填充、均匀性、序贯设计等概念。这些概念中有的具备一定的思辨性质,难以理解,如因果性、试验单元、混杂与分辨度等;而有的则建立在一定的数学基础之上,如空间相关性、均匀性等。对学员的思维能力和数学基础都有较高的要求。
2.3. 数理基础要求高
试验设计与分析的理论基础建立在“多次试验的测量误差为独立同分布的零均值随机变量”这一假设之上,由此导出一系列的假设检验和参数估计方法。首先要求学员掌握多元正态分布、χ2-分布、t-分布、F-分布的基本性质与概念,它们是方差分析、回归分析和Kriging模型的基础。这些概念在本科公共课程《概率论与数理统计》中有所涉及,但受课时限制都没有系统讲授过。授课过程中部分学员反应课程难度大,具备一定的挑战性。这就要求在课程设计时要理顺逻辑关系,精简教学内容,理清楚理论线条。
2.4. 专业背景差异大
试验设计应用广泛,很多专业都设置有试验设计的课程。需针对开课专业的培养目标和培养方案,适当调整课程的内容,采用有针对性的案例。根据我校2017版本科学员培养方案,共四个专业开设有《试验设计与分析》课程。其中,仿真工程本科专业和试验评估技术首次任职专业为专业必修课,大数据工程本科专业和导弹工程本科专业为选修课。
从仿真工程本科专业的视角来看,试验设计与分析是仿真开发的重要环节之一、是解决仿真模型验证问题的有效手段、为统筹实物试验、半实物试验和数字仿真试验等多种试验方式的提供科学方法。应重点介绍计算机试验设计的内容。
从大数据工程本科专业的角度来看,试验设计的思想与大数据思维互补。大数据思维包括全样思维、容错思维和相关思维。全样思维认为数据不再是来自总体的样本,而是总体本身;容错思维认为由于数据量足够大,局部的误差和错误不影响总体;相关思维认为大数据时代变量之间的相关性比因果性更重要。而试验设计强调以尽可能少的样本获得变量之间的因果关系。针对大数据工程专业,可把授课重点放在方差分析、回归分析等数据分析方法上。
从试验评估技术首次任职专业来看,本课程是重要的专业课。首次任职专业应重点关注学员解决工作中实际问题的能力,为学员构建应用试验设计与分析方法解决实际问题的流程、标准和规范。
虽然三个专业都学过高等数学、线性代数、概率论与数理统计等公共课程,但各专业的课程设置有较大的差距。例如,有的专业学过《应用统计》课程,统计基础和素养较强,而有的专业则没有开设《应用统计》这一课程。因此不同专业在理论知识的讲解上也要有所侧重。
3. 课程实践探索
尽管“试验设计与分析”是我校的一门新开课程,但试验设计本身是一门成熟的课程,国内外有很多经验可供借鉴。自2018年领受课程建设任务以来,我们广泛调研国内外相关课程的教学内容,结合我校开课专业的特点,形成了以下四点课程建设经验。
3.1. 根据专业背景,优化教学内容
根据学校开课专业的特点,优化设置课程知识体系结构如图1所示。共包含四章,第一章为概述,第二章为源自农业试验的因子试验设计,第三章为源自工业试验的回归试验设计,第四章针对新兴的计算机试验。按照这一教学内容安排,我们完成了课程讲义的编写。

Figure 1. Knowledge structure of Experimental Design and Analysis
图1. 《试验设计与分析》课程知识结构
首先,课程体系兼顾了不同专业的需求。例如,1.2节试验的基本流程源自美军的“科学试验与分析技术”(scientific test and analysis technique),国内其它高校相关课程中均没有设置。增设这一节有利于使学员从大局上掌握试验设计与分析的方法,是试验评估技术首次任职专业的重点内容。
其次,课程体系融合了试验设计的发展脉络,兼顾经典和前沿。因子设计是试验设计的经典内容,王万中教授主编的《试验的设计与分析》 [2] 对这一部分有详细的论述,可供参考,但需根据课时约束和专业背景作适当的删减,并设置具有专业特色的案例和习题。计算机试验设计与分析是试验设计领域新兴的分支,方开泰教授等编著的《试验设计与建模》 [3] 设有一章,但没有介绍Kriging建模方法,且军事应用背景不够,需针对军队院校仿真工程和试验评估技术专业做一定的调整,增加一些相关的案例。
第三,课程体系具有层层递进的逻辑关系。以数据分析方法为例,如图2所示。1.4节预备知识介绍的多元正态分布是方差分析、回归分析和Kriging模型的概率论基础,而1.4节中的简单比较试验可视作方差分析的简单应用,方差分析可视作回归分析的应用,回归分析又可以视作高斯Kriging模型的特例,每一层均设置有相应的应用巩固环节。如此层层递进,能够使学员的逻辑推理能力和统计素养得到充分的训练,上升一个层次。

Figure 2. The hierarchical and progressive relationship of data analysis method
图2. 数据分析方法的逐层递进关系
第四,数学难点与概念难点交叉进行,能够有效减轻学员的学习压力。如图3所示,上半部分的内容从概念上理解较难,而下半部分则数学要求高。二者交叉进行,使整个课程显得张弛有度。

Figure 3. Conceptual and mathematical difficulties cross each other
图3. 概念难点与数学难点交叉进行
3.2. 利用BOPPPS模型,构建教学闭环
BOPPPS模型由加拿大英属哥伦比亚大学(University of British Columbia, UBC)的Douglas Kerr于1978年提出。因其简洁明了,可操作性强,在加拿大乃至全球许多国家的各类教师技能培训中作为教学设计的一项核心技能教授给一线教师,在国内也得到广泛的应用 [4] [5]。BOPPPS模型共包含了六个阶段,依次为引入(Bridge-in)、学习目标/结果(Objective/Outcome)、前测(Pre-assessment)、参与式学习(Participatory Learning)、后测(Post-assessment)和总结(Summary)。
一是在课程整体设计层面,利用BOPPPS模型形成一个大闭环。如图4所示,第一章第一节“试验的意义”和第一章第二节“试验的基本流程”构成整个课程的引入和目标部分,第一章第四节“预备知识”构成课程的前测部分;第二章、第三章和第四章是课程的核心理论部分,采用参与式学习的方法教学;课程实践部分构成整个课程的后侧,并设置有研讨环节,总结课程学习的总体达标情况。

Figure 4. The large BOPPPS cycle of the course
图4. 课程BOPPPS大闭环
二是在课堂设计层面,利用BOPPPS模型形成诸多小闭环。以单因子方差分析这一教学内容为例,如图5所示:通过案例“手枪工艺是否影响其射击精度”引入方差分析模型;借助方差分析模型阐述单因子方差分析的目的以及教学目标;前测部分回顾学员对多元正态分布和χ2分布的掌握情况;参与式学习环节讲述单因子方差分析方法;后测部分利用单因子方差分析法回答“手枪工艺是否影响其射击精度”这一问题;最后总结课堂学习的情况。

Figure 5. The small BOPPPS cycle of analysis of variance
图5. 方差分析BOPPPS小闭环
3.3. 注重案例教学,提高动手能力
课程共挑选了50余个案例,部分案例结合R语言讲解。例如:
➢ 为阐述清楚因果关系与相关关系之间的区别,引入统计学发展历史上著名的吸烟与癌症之间是否存在因果关系的争论;
➢ 为了阐述清楚试验的基本流程,引入美国兰德公司发布的“恐怖的海峡”报告中的案例;
➢ 为了巩固学员对回归分析的理解,将方差分析作为一个特例回顾性讲解。
50余个案例大致可分为三大类:第一类是经典的、带有思辨性质的、能够引起学员学习兴趣的案例,包括Yule-Simpsom悖论、猪鞭虫疗法实验、恐怖的海峡等经典案例;第二类是为了加深学员对教学内容的理解而引入的带有解释性的案例,如第一章第三节“试验设计的基本原则”,可构造一些农业试验的案例来阐述重复和区组的概念;第三类是为了巩固数学方法而引入的一些理论性案例,例如把简单比较试验作为方差分析法的案例、把方差分析法作为回归分析的案例。
在授课过程中,除了写入讲义的50余个案例外,还可以随堂引入一些生活中小事或时事热点作为案例。例如,采用新冠肺炎疫苗临床试验来阐述随机比较试验的概念,借助机场防爆安检的案例来解释多重比较犯错概率累积的概念。
3.4. 创新教考方式,激励主动学习
军校学员由于课程安排多、体能训练多、指挥类学员不能直接考研、毕业综合评定指标体系不合理等原因,普遍存在学习积极性和主动性不高的情况。为调动学员学习的积极性和主动性,应创新教学考核方式,激励学员主动学习。在我校2017级仿真工程本科专业的授课中,形成以下几点经验可供参考。
一是在教学过程中,选择部分教学内容由学员主讲,并计入主讲学员的课程成绩。从实践效果来看,学员主讲能够大大提高主讲学员的学习主动性和对知识的掌握程度。在具体实施过程中,有以下几点需要注意:
1) 合理选择学员主讲的内容。一般不能选核心的和较难的内容,例如,图1中知识体系结构的2.3节和2.4节是2.2节的类推,因此可选择2.3节和2.4节安排学员主讲,而不能选择2.2节。
2) 学员主讲课时不能超过全部课时的1/4,否则一方面给学员压力太大,另一方面容易在学员心目中形成“放水”的不负责任的印象。
3) 要提前安排好学员主讲的日程,与主讲学员充分沟通,为其提供充分的学习资料,可通过课外试讲的形式保证学员主讲的质量。
4) 要设计适当的方式让听课学员对主讲学员进行点评和打分,教员对学员主讲的情况也要进行分析点评,分析主讲学员的优缺点、对主讲知识的掌握程度,点出讲得不到位的地方。
二是加强学习过程的监控,巩固学员对课程基本知识的掌握程度。在开课前,主讲教员应建设好课程的基础题库,并发布给学员。平时采取课后考核的方式,考察学员对基本概念、基本方法的掌握程度,并计入平时成绩。
三是应采取形成性考核的方式,避免学员平时不努力寄希望于考前突击的情况。形成性考核已成为课程考核的主流方式,清华大学的“试验设计与分析”和华东师范大学的“试验设计与分析”在线课程均采用形成性考核。形成性考核的方案应第一堂课(甚至开课前)就应给出,使学员学习过程中学习目标清晰,有的放矢地安排学习活动。我们采取了以下考核方式:
最终成绩 = 闭卷考试50% + 平时成绩20% + 大作业30%
其中大作业包括模拟试卷编制、课程网页制作和学员主讲三部分。平时成绩主要由平时作业和课后测验给出。闭卷考试中,60%考核课程的基本概念和方法(来自课程的基础题库),40%为综合题,考核学员掌握课程知识并能够综合运用的能力。综合题要有一定的综合性、拓展性和挑战性,通过引导性提问的方式使学员在考试的过程中能够得到一定的提升。
4. 总结
试验设计是理工科学员应该掌握的基本技能,“试验设计与分析”是统计学、工业工程、仿真工程、系统工程等专业的必修课程。课程建设是一项永无止境的工作,如何增强“试验设计与分析”这类数理要求高的理论课程的趣味性,提高学员主动性和积极性,是一个值得深入研究的课题。在我校仿真工程本科专业“试验设计与分析”课程建设实践的基础上,总结出课程应用性强、概念繁杂、数理基础要求高、专业背景差异大等特点,提出根据专业背景优化教学内容、利用BOPPPS模型构建教学闭环、注重案例教学提高动手能力、创新教考方式激励主动学习四点课程建设经验,并构建了新的课程知识体系,编写了课程讲义。后期,我们将结合专业背景,增加专业特色的教学案例、习题和实践环节,进一步完善讲义。
致谢
课程建设中得到学校王正明教授的耐心指导,论文撰写过程中王正明教授也提出了许多有价值的建议,在此特别感谢!
基金项目
本论文受家自然科学青年基金“武器装备试验鉴定的半参数贝叶斯方法”(61803376)资助。
参考文献