1. 引言
训练工程项目对提升部队实战化水平具有重要支撑作用,其建设成效涉及多维度、多因素,传统评价方法难以有效处理评价过程中的模糊性与随机性。为此,提出一种融合组合赋权法的评价指标体系,通过构建涵盖训练执行效果、资源管理效能、安全与可持续性三个维度的评价指标体系,提出基于方差最大化的组合赋权模型,提升指标权重的区分度与客观性。分析表明,该方法能够准确识别不同项目的综合效益等级,评价结果与实际情况吻合良好,为训练工程项目的科学管理与持续改进提供了有效工具。
2. 评估指标体系建立
2.1. 指标体系构建思路及原则
训练工程项目其建设与运行效能直接关系到实战能力提升与国家安全保障水平。对这类项目进行科学、系统、全面的后评价,不仅是对项目投资决策、建设过程、运营效果的检验,更是优化资源配置、提升训练质量、推动能力持续发展的重要依据[1]。因此,构建一套能够全面反映训练工程项目综合效益的评价指标体系,是开展后评价工作的核心与基础。
为确保所构建的评价指标体系科学、合理、有效,在指标筛选与体系构建过程中,严格遵循以下基本原则:
1、系统性原则
将训练工程项目视为一个复杂的系统工程,指标体系应能全面覆盖项目从决策、设计、建设、验收到运营、维护、更新直至报废的全过程,以及其在军事、经济、管理、技术、社会(环境)等多方面的影响,形成有机整体。
2、科学性原则
每个指标的选取均应有明确的内涵和可靠的来源,能够客观、真实地反映评价对象的特定属性。指标的定义清晰,测量方法或评价标准明确,数据来源可靠。
3、可操作性原则
指标体系应便于实际应用,指标数据应易于采集、测量或通过合理途径获取(如现场观测、记录查询、问卷调查、专家打分等)。避免设立那些理论上重要但实践中难以量化或数据获取成本过高的指标。
4、动态性与前瞻性原则
训练需求和技术在不断变化,指标体系应具有一定的灵活性和扩展性,能够适应未来一段时期内的发展趋势,并对项目的持续改进和长远发展具有引导作用。
5、定性与定量相结合原则
兼顾指标的客观量化与主观评价,对于能够精确计量的指标采用定量方式,对于难以直接量化但至关重要的方面(如训练氛围、指挥效能等)采用定性描述,并通过科学方法进行量化处理。
6、导向性原则
指标体系的构建应服务于提升训练工程项目效益的根本目的,指标的选择和权重的分配应能引导项目建设和管理朝着提高实战能力、优化资源配置、确保安全可持续的正确方向发展。
2.2. 训练工程项目评价初始指标体系
依据上述构建思路与原则,通过对项目建设目标、关键环节、成功标准及潜在风险的深入解析,初步遴选了能够反映训练工程项目综合效益的评价指标。在此基础上,运用树状分析技术对分散的影响因素进行系统梳理、归并与优化,系以“训练工程项目综合效益”为总目标,向下分解为三个核心准则层(一级指标)及其下属的十五个具体指标层(二级指标),每个指标均具有明确的来源与内涵[2]。具体如下:
(一) 一级指标“训练执行效果”
首先,“训练执行效果”维度聚焦于项目在提升实战能力方面的直接产出。其下属指标包括:
1、目标达成度,源于项目根本目的与军事训练效能评估理论,用于衡量训练内容与预设任务目标的匹配与实现程度;
2、实战对抗强度,根植于实战化训练与压力训练理论,旨在评估训练模拟敌情的复杂性、对抗激烈度及给参训人员带来的生理心理压力水平;
3、应急响应时效性,针对作战的突发性特点,用于检验部队从受领任务到完成初期部署或关键行动的响应速度;
4、团队协作流畅度,基于团队效能理论及行动多单元协同需求,衡量指挥员与队员、不同作战单元间在复杂场景下信息传递与行动配合的顺畅程度;
5、训练效果可评估性,依据训练质量管理与闭环控制理论,评估项目对训练过程数据进行采集、记录、量化分析与反馈的支持能力。
(二) 一级指标“资源管理效能”
“资源管理效能”维度关注项目在运营过程中的资源配置与使用效率。其下属指标包括:
1、装备适用性,遵循装备与任务匹配原则及训练保障理论,评估所配置装备的性能、可靠性、逼真度与训练课目要求的匹配程度;
2、资源调度精准度,基于项目管理与后勤保障理论,衡量对场地、器材、人员等训练资源进行计划、分配与调整的准确性与效率;
3、信息共享实时性,顺应信息化条件下作战训练需求,评估训练中关键信息跨系统、跨平台传输与共享的速度与时效性;
4、维护更新完备性,依据设施设备全生命周期管理理论,衡量日常维护、故障修复及升级更新等保障体系的健全性与执行效果;
5、经费使用效益,基于成本–效益理论与公共投资绩效评价要求,评估资金投入与所形成训练能力之间的性价比及成本控制的有效性。
(三) 一级指标“安全与可持续性”
“安全与可持续性”维度着眼于项目的长期稳健运行与发展潜力。其下属指标包括:
1、安全保障覆盖率,源于军事训练安全法规与风险管理理论,评估项目对各类安全风险进行识别、控制和应急预案准备的全面性与有效性;
2、项目可持续性,应用可持续发展理论,从管理、技术、财务等多维度综合评估项目保持其预定功能和服务水平的长期能力;
3、技术可扩展性,考虑技术演进与未来作战需求,衡量项目为未来接入新技术、新装备预留的软硬件空间与便利程度;
4、环境适应能力,针对全天候、全地域作战训练要求,评估项目在不同气候、时段及电磁环境下的正常运行与训练保障能力;
5、训练持续效能,依据能力生成与保持规律,评估项目在长期高频使用下性能的稳定性及其对维持与提升部队核心能力的长期贡献度。
通过对项目建设目标和关键节点的解析,初步得到训练工程项目评价指标,在此基础上进行分析、整理及聚合,从而实现对评价指标体系的初步建立,基于此流程初步建立的训练工程项目评价指标体系如表1所示。
Table 1. Post-evaluation index system of training and education projects
表1. 训练工程项目后评价指标体系
目标 |
一级指标 |
二级指标 |
训练工程项目综合效益 |
训练执行效果 |
目标达成度 |
实战对抗强度 |
应急响应时效性 |
团队协作流畅度 |
训练效果可评估性 |
资源管理效能 |
装备适用性 |
资源调度精准度 |
信息共享实时性 |
维护更新完备性 |
经费使用效益 |
安全与可持续性 |
安全保障覆盖率 |
项目可持续性 |
技术可扩展性 |
环境适应能力 |
训练持续效能 |
通过表1可以看出,将通过树状分析技术选取的项目影响因素进行整合、优化,可将数量众多、含义接近、结构不清的底层评价指标初步转化为层次清晰的指标体系,为下一步的指标筛选、指标体系精细化提供基础。
3. 基于粗糙集理论的评价指标筛选
3.1. 基于粗糙集的指标筛选步骤
粗糙集理论最早是由波兰科学家帕拉克[3] (Z. Pawlak)提出的,它可以通过知识约简将不完整、不确定的数据转化为相对清晰、简明的数据体系,从而揭示潜在的规律。粗糙集理论可以在向专家咨询的基础上对指标约简,使得在实际约简过程中不易丢失一些重要风险信息,保证评价结果的完善性[4]。因此,选取粗糙集理论进行关键指标的筛选,具体步骤如下:
(1) 构建基于粗糙集的决策系统
将训练工程项目评价数据转化为一个指标约简决策系统
,其数学表达式如公式(1)所示:
(1)
其中,
是论域,由10个专家构成,
;
是属性集合,由各指标的条件属性集
(
)和决策属性
组成,决策属性D是监督决策系统的核心目标属性,用于表示对象的分类结果、决策结论或目标类别,
且
;
是
的值域,
,代表专家对指标重要程度的打分(1 = 较小,2 = 中等,3 = 较大);
是
和
的信息函数集,
。
首先将修正后的15个二级指标记为条件属性
,即:
,决策属性记为
。论域
由十名在训练工程项目方面的专家构成,他们对选出的二级指标进行风险等级打分,即:
= {1, 2, 3, 4, 5, 6, 7, 8, 9, 10},
和
的值域为{1, 2, 3},1代表较小,2代表中等,3代表较大,现将15个二级评价指标进行定性描述,方便定量评价,如表2所示:
Table 2. Qualitative description of post-evaluation indicators for training and engineering projects
表2. 训练工程项目后评价指标定性描述
一级指标 |
二级指标 |
指标定性描述 |
训练执行效果 |
目标达成度 |
1. 较小;2. 中等;3. 较大 |
实战对抗强度 |
1. 较小;2. 中等;3. 较大 |
应急响应时效性 |
1. 较小;2. 中等;3. 较大 |
团队协作流畅度 |
1. 较小;2. 中等;3. 较大 |
训练效果可评估性 |
1. 较小;2. 中等;3. 较大 |
资源管理效能 |
装备适用性 |
1. 较小;2. 中等;3. 较大 |
资源调度精准度 |
1. 较小;2. 中等;3. 较大 |
信息共享实时性 |
1. 较小;2. 中等;3. 较大 |
维护更新完备性 |
1. 较低;2. 中等;3. 较高 |
经费使用效益 |
1. 较低;2. 中等;3. 较高 |
安全与可持续性 |
安全保障覆盖率 |
1. 较低;2. 中等;3. 较高 |
项目可持续性 |
1. 较低;2. 中等;3. 较高 |
技术可扩展性 |
1. 较低;2. 中等;3. 较高 |
环境适应能力 |
1. 较低;2. 中等;3. 较高 |
训练持续效能 |
1. 较低;2. 中等;3. 较高 |
(2) 计算属性依赖度
1、求等价类:根据属性集
,可以对论域
进行划分。两个对象
,
当且仅当他们对
中所有属性的取值都相同,则属于同一个等价类,这个划分记为
。
2、计算正域:决策属性
对
有一个划分
。
的
正域记为
,其数学表达式如公式(2)所示:
(2)
其中
是集合
关于
的下近似,即所有完全包含在
内的
等价类的并集。它代表了“根据
的信息,我们100%确定会归于决策类
的对象”。
3、计算依赖度:条件属性集
对决策属性
的依赖度定义为:
(3)
其中,分子和分母中的绝对值表示集合中元素的个数,
的取值范围是[0, 1];
表示
可以完全确定
(完全依赖);
意味着
和
完全无关。
(3) 计算属性重要度并识别冗余属性
评估单个条件属性
的重要性,如果去掉该属性,整个条件属性集的分类能力(依赖度)没有下降,那么这个属性就是不必要的。计算单个属性
的重要度在条件属性集
中的重要度
定义为:
(4)
其中,如果
,表示移除
后,依赖度没有变化,即说明
是冗余的,可以被约简掉;如果
,表示移除
后,依赖度下降了,即说明
是必要的,不能被约简掉。
3.2. 基于粗糙集指标约简的评价指标体系
此次调查通过向专家发放网络问卷以及纸质问卷两种方式进行,调查对象主要是富有经验的专家以及高校教授,问卷内容主要是对某部训练工程项目建设情况二级指标重要程度调查。此次调查共对十位专家发放了问卷,且全部收回。然后将收集到的问卷进行整理,最后将汇总数据填入评价指标决策表,如表3所示:
Table 3. Evaluation index decision table
表3. 评价指标决策表
|
专家1 |
专家2 |
专家3 |
专家4 |
专家5 |
专家6 |
专家7 |
专家8 |
专家9 |
专家10 |
C1 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
2 |
3 |
C2 |
3 |
3 |
2 |
3 |
3 |
3 |
3 |
2 |
3 |
3 |
C3 |
3 |
3 |
3 |
3 |
2 |
3 |
3 |
3 |
3 |
3 |
C4 |
3 |
3 |
3 |
2 |
3 |
3 |
3 |
3 |
3 |
2 |
C5 |
2 |
1 |
2 |
2 |
1 |
2 |
1 |
2 |
2 |
1 |
C6 |
3 |
3 |
3 |
3 |
3 |
3 |
2 |
3 |
3 |
3 |
C7 |
3 |
3 |
3 |
3 |
3 |
2 |
3 |
3 |
3 |
3 |
C8 |
3 |
2 |
3 |
3 |
3 |
3 |
3 |
3 |
2 |
3 |
C9 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
2 |
3 |
3 |
C10 |
1 |
2 |
1 |
2 |
1 |
2 |
1 |
2 |
1 |
2 |
C11 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
2 |
C12 |
3 |
3 |
3 |
3 |
3 |
3 |
2 |
3 |
3 |
3 |
C13 |
3 |
3 |
3 |
2 |
3 |
3 |
3 |
3 |
3 |
3 |
C14 |
3 |
3 |
3 |
3 |
3 |
2 |
3 |
3 |
3 |
3 |
C15 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
2 |
3 |
3 |
基于粗糙集的指标约简计算过程如下:
(1) 构建决策表。以表3作为输入,其中论域
有10个对象(专家1至10),条件属性集
包含15个指标(C1至C15),决策属性为
。
(2) 确定等价类。由粗糙集计算软件ROSETTA 4.0:采用遗传算法进行粗糙集约简,设置种群大小100,迭代500代,交叉概率0.8,变异概率0.1,根据全部15个条件属性的取值,对10位专家进行分类。
(3) 计算正域
。基于这15个指标的分类,有多少位专家是明确无误地被划分到某个决策类别中的,经过计算得到:
(5)
这表明根据全部15个指标的信息能够100%准确地所有专家按决策属性
进行分类。
(4) 计算全属性依赖度。
(6)
这个结果
是决策地基准,表明全集
对决策属性
具有完全的依赖关系。
(5) 逐一计算移除单个属性后的依赖度
,依次移除每一个指标,看分类能力是否会受损。
1、移除属性
(训练效果可评估性):
新的条件属性集为
,即使用剩余的14个指标
。算法基于这14个指标,重新对10位专家进行分类,得到正域
和重要度
如公式(7)和公式(9)所示:
(7)
(8)
(9)
这表明尽管移除了
,但剩余的14个属性组合所提供的分类信息,依然足以将10位专家毫无歧义地划分到决策类
中,所以将指标
约简。
2、移除属性
(经费使用效益):
与上述过程完全类似。使用属性集
进行分类,结果如公式(12)所示。
(10)
(11)
(12)
这表明尽管移除了
,但剩余的14个属性组合所提供的分类信息,依然足以将10位专家毫无歧义地划分到决策类
中,所以将指标
约简。
3、移除其他任一属性
(其中
):
当移除任何一个其他指标,例如
(目标达成度)时,出现了分类歧义。即存在至少两位专家,他们在剩余14个属性上的取值完全相同,但却属于不同的决策类别
。这表明正域缩小了,即:
(13)
因此,依赖度降低:
(14)
这表明移除了
,剩余的14个属性组合所提供的分类信息不足以将10位专家毫无歧义地划分到决策类
中,所以将指标
不能约简。
综上所述,通过粗糙集理论对某部训练工程项目后评价15个二级指标进行约简后得到的必要属性有13个,非必要属性有2个,从全属性集
中移除了所有重要度为0的冗余属性,得到了最优约简集:
(15)
这个集合包含了全部13个必要指标
,它是在保证与原始15个指标体系具有完全相同的决策分类能力前提下的最简集合。
经过上述评价指标优化,最终确定了13个二级指标,具体结果如表4:
Table 4. Post-evaluation index system for training project programs
表4. 训练工程项目后评价指标体系
目标 |
一级指标 |
二级指标 |
训练工程项目综合效益 |
训练执行效果 |
目标达成度 |
实战对抗强度 |
应急响应时效性 |
团队协作流畅度 |
资源管理效能 |
装备适用性 |
资源调度精准度 |
信息共享实时性 |
维护更新完备性 |
安全与可持续性 |
安全保障覆盖率 |
项目可持续性 |
技术可扩展性 |
环境适应能力 |
训练持续效能 |
4. 基于方差最大化的组合赋权指标分析
如表4所示,我们以“训练工程项目综合效益”为A1目标层;选取“训练执行效果”“安全与可持续性”3个指标为一级指标层“B1、B2、B3”,选取“目标达成度”“实战对抗强度”等13个指标为二级指标层“C1、C2……C13”。
邀请10名相关领域专家根据项目资料对各评价指标进行打分,打分基于1~5分制(1分表示很不重要,5分表示很重要),汇总结果如表5:
Table 5. Scores given by experts in relevant fields
表5. 相关领域专家打分情况
|
专家1 |
专家2 |
专家3 |
专家4 |
专家5 |
专家6 |
专家7 |
专家8 |
专家9 |
专家10 |
目标达成度 |
5 |
4 |
5 |
5 |
4 |
5 |
4 |
5 |
5 |
5 |
实战对抗强度 |
4 |
3 |
4 |
4 |
3 |
4 |
3 |
4 |
4 |
4 |
应急响应时效性 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
团队协作流畅度 |
4 |
4 |
3 |
4 |
3 |
4 |
4 |
3 |
4 |
4 |
装备适用性 |
4 |
3 |
4 |
4 |
3 |
4 |
3 |
4 |
4 |
4 |
资源调度精准度 |
3 |
3 |
4 |
3 |
3 |
4 |
3 |
3 |
4 |
3 |
信息共享实时性 |
4 |
3 |
4 |
4 |
3 |
4 |
4 |
3 |
4 |
4 |
维护更新完备性 |
5 |
4 |
5 |
5 |
4 |
5 |
4 |
5 |
5 |
5 |
安全保障覆盖率 |
5 |
5 |
4 |
5 |
4 |
5 |
5 |
4 |
5 |
4 |
项目可持续性 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
技术可扩展性 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
环境适应能力 |
4 |
3 |
4 |
4 |
3 |
4 |
4 |
3 |
4 |
4 |
训练持续效能 |
5 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
3 |
为了确定各指标权重,利用两种方法(变异系数法、相关系数法)综合的方差最大化的组合赋权进行数据分析。方差最大化的组合赋权是指如果一个指标在所有被评价对象(方案)上的取值差异越大(即方差越大),说明该指标在区分和比较这些对象时提供的信息量越多,其权重就应该越大。基于方差最大化的赋权法是一种以数据区分能力为核心的客观赋权方法,具有客观、直观、强调区分度的优点,是构建稳健、可信的综合评价模型的有效工具之一[5]。具体过程如下:
首先对训练各类数据进行数据调整及规范化处理,解决指标数据中的量纲和数量级差异问题。假设对
个专家在
项评价指标下的评分进行数据处理,第
个专家在第
项指标下的值为
,标准化后的数据为
。
对于正向的指标:
(16)
对于负向的指标:
(17)
式中正向指标数值越高,表示指标权重越高。负向指标数值越高,表示指标权重越低。在此,给出训练评价体系的归一化矩阵描述,
4.1. 变异系数法权重计算
变异系数法(Coefficient of Variation, CV)通过计算标准差与均值的比率,能够有效反映数据的相对变异性,便于决策者进行分析和判断[6]。
(1) 计算指标变异系数
(18)
式中
为第
个指标的标准差,
为第
个指标的均值,
为第
个指标的变异系数。
(2)计算变异系数法的权重
(19)
式中,
为变异系数法客观权重。
4.2. 相关系数法权重计算
相关系数法求权重的公式通常涉及计算各个指标与目标之间的相关系数,并根据这些相关系数来确定权重[7]。
(1) 计算第
、
项安全评价指标的信息熵
(20)
式中:
为样本数量;
和
为2个指标之间的观测值;输出
值越接近“1”表示两个指标间正相关性越强;
值越接近“−1”,表示两个指标间负相关性越强。
(2) 计算指标权重
(21)
式中
表示第
项指标的权重。
4.3. 基于方差最大化的组合赋权
根据公式(16),公式(21)可知,
表示变异系数法权重值,
表示相关系数法权重值。令
表示变异系数法权向量,
表示相关系数法权向量。
令组合权向量为
,
。其中,
、
为组合权重的线性表示系数,其满足约束条件:
,
,
。
设训练评价体系的总方差为
。基于方差最大化的思想,建立最优化模型,使得求出的组合权重向量能够令方差最大化。
(22)
其中,
表示决策矩阵
的规范化结果,
表示第
个指标的
个样本的算术平均值,
。
运用lagrang函数求解最优化模型,得到
,
。
(23)
将各单一权重值代入公式,利用线性规划方法,可得
、
,由此可知指标的组合权重如表6所示。
Table 6. Weights of each evaluation method
表6. 各评价法的权重
指标 |
权重
|
权重
|
权重
|
C1 |
0.1190 |
0.0908 |
0.1049 |
C2 |
0.0870 |
0.0840 |
0.0855 |
C3 |
0.0588 |
0.0588 |
0.0588 |
C4 |
0.0813 |
0.0801 |
0.0807 |
C5 |
0.0751 |
0.0944 |
0.0847 |
C6 |
0.0518 |
0.0772 |
0.0645 |
C7 |
0.0674 |
0.0933 |
0.0804 |
C8 |
0.0963 |
0.0830 |
0.0896 |
C9 |
0.1277 |
0.0552 |
0.0914 |
C10 |
0.0499 |
0.0724 |
0.0612 |
C11 |
0.0490 |
0.0695 |
0.0593 |
C12 |
0.0753 |
0.0556 |
0.0654 |
C13 |
0.0614 |
0.0857 |
0.0736 |
4.4. 权重方法的有效性检验
为验证模型的有效性,采用余弦值检验法来检查组合赋权法与2种单一赋权方法的计算结果一致性。余弦值法通过计算组合赋权法和单一赋权法结果之间的夹角,夹角越小则余弦值越大,表明方法的一致性更强[8]。接下来,计算第
种评价方法的结果与其他对照评价方法结果的余弦值总和
。
(24)
式中,
为第
中评价方法得到的评价结果;
为第
种对照方法得分的评价结果如表7所示:
Table 7. Comparative test results of each evaluation method
表7. 各评价法的对照检验结果
|
变异系数法 |
相关系数法 |
组合赋权 |
和值 |
变异系数法 |
1.0000 |
0.9405 |
0.9854 |
2.9259 |
相关系数法 |
0.9405 |
1.0000 |
0.9846 |
2.9251 |
组合赋权 |
0.9854 |
0.9846 |
1.0000 |
2.9700 |
由表7可知,在余弦值检验中,组合权重法的检验结果为2.9700,大于其他2种单一方法的检验结果2.9259、2.9251,说明该方法与其它2种方法的夹角最小,相似性最高。因此,文中构建的方差最大化的组合权重法评价模型相较于其它2种单一权重方法具有较高的一致性。
5. 结论
本文围绕训练工程项目后评价指标体系的构建展开系统研究。首先,基于训练工程项目的特殊性,明确了指标体系构建的系统性思路与科学性原则,确保所构建的指标体系能够全面、客观地反映项目全生命周期的综合效益。其次,在明确评价目标、识别关键环节与影响因素的基础上,初步建立了包含3个一级指标、15个二级指标的评价指标体系框架,为后续研究奠定了基础。针对初选指标可能存在的冗余问题,创新性地引入粗糙集理论,构建了基于属性依赖度与重要度分析的指标筛选模型。通过ROSETTA软件对10位专家的打分数据进行属性约简,科学识别并剔除了“训练效果可评估性”与“经费使用效益”两项冗余指标,最终确定了包含3个一级指标、13个二级指标的精简、高效评价体系。最后,对筛选后的指标进行了系统解释,明确了各指标在训练工程项目后评价中的具体内涵与评价指向,为后续权重确定与综合评价提供了清晰的指标依据。
综上所述,通过理论分析与数学建模相结合,构建了一套科学合理、结构清晰、可操作性强的训练工程项目后评价指标体系,为后续综合评价奠定了坚实的指标基础。