1. 引言
武器装备(简称装备)作为作战力量体系的重要组成部分，对取得作战胜利具有关键作用。加强装备规划、建设和使用，使其能用、好用、耐用，是提升装备作战效能必须解决的问题。按照习主席“能打仗、打胜仗”的要求，不仅要加强部队军事训练，也要加强军事装备建设。自2016年以来，军委装备发展部开拓创新，大力推动装备试验鉴定工作，组织实施了相关装备试验鉴定试点工作，有力促进了装备的建设发展。但是，参试单位提出了试验鉴定中存在的一个共性问题，即如何针对复杂装备体系和装备试验鉴定要求来构建合理的指标体系，并采用科学的方法获得可靠、可信、可用的评估结果，以便为装备论证、装备研制、装备使用、效能评估、体系优化等提供辅助决策建议 [1]。这表明，目前针对复杂装备体系的评估方法还不成熟，急需对相关技术深入研究，以便为后续试验鉴定工作提供有效的理论指导，切实提升试验鉴定综合效益。
2. 装备体系试验评估的国内外发展现状及不足
装备体系需要利用具体的描述方法和理论来表达，其中体系结构框架是一种规范化描述装备体系的方法，可用于描述体系中组成部件的结构、相互之间的关系以及制约其设计和时间演化的原则。美国国防部体系结构框架是目前常用的体系结构框架，着重于对作战体系重要架构要素之间的关系进行建模。DoDAF1.0采用作战视图、系统视图和技术标准视图的组织结构，分别从作战人员、系统设计人员和系统实现人员3个视角来描述体系结构。而在DoDAF2.0中 [2]，则使用全视图、能力视图、数据与信息视图、作战视图、项目视图、服务视图、标准视图、系统视图这8类视图来描述复杂体系结构，突出了“以数据为中心”的特色。但是，DoDAF2.0体系规范庞大、全面、系统，共有52个模型，没有提供具体的实施规范与操作方法，因此目前的实际应用案例很少。即使在少数应用案例中，通常也仅仅使用少数的几类视图和对应的部分模型 [3]。
体系作为系统的系统，其效能的发挥取决于各子系统的协作能力与融合效果，每一个子系统的性能过高或过低都不是最理想的选择，子系统性能过高不一定会相应地提升体系的效能，反而会造成经费的浪费，但子系统性能过低则一定会制约体系的效能发挥，成为体系的“短板”。装备体系评估对装备体系论证与研究、装备作战运用、装备发展与建设具有重要的指导作用，是军事领域的研究热点与难点。美国NASA的研究人员认为，装备体系评估在装备研制的最初阶段发挥着重要作用，一个可靠的评估不仅有助于众多研制方案的筛选，而且能够针对性地消除体系的“短板”从而最大化投资收益，为此NASA专门成立了推进系统分析办公室(PSAO)进行航天推进系统研制的评估论证工作。此外，美国国防部(DOD)也一直非常重视对体系的评估研究，2007年，美国国防部(DOD)提出了新的体系可靠性评估指标和方法——GEIA-STD-0009，用于指导国防工业部门进行体系的可靠性评估。
我国国家军用标准(GJB1364-920)将效能定义为“在规定的条件下达到规定使用目标的能力”，其中，“规定的条件”指的是环境条件、人员、时间、使用方法等因素，“规定的使用目标”指的是所要达到的目的,“能力”则是指达到目标的定量或定性程度。装备体系评估方法包括指标体系、评估模型、评估性质等多要素，每种要素又存在多种划分标准，命名方法各有侧重点，导致评估方法划分较为混乱。
常见的装备体系及指标体系评估方法如表1所示。
Table 1. Evaluation methods for common equipment system of system and indexes
表1. 常见装备体系及指标体系评估方法
闫雪飞等 [4] 指出目前装备体系评估主要存在以下不足，即没有考虑人的因素，没有研究体系的运行机理，评估过程脱离实战，主观因素太强。卞立新等 [5] 总结了常用的武器装备体系效能评估方法，认为效能指标综合、系统仿真计算、效能评估模型建立是三个亟待解决的问题。张庆军等 [6] 归纳了空间作战体系建模和体系贡献度评估方法，在分析当前空间作战体系建模现状和主要几类体系贡献度评估方法的基础上，提出了作战体系贡献度评估框架、评估指标、空间作战建模方法、体系贡献度评估方法等方面存在的问题和发展趋势。胡晓峰等 [7] 针对武器装备体系评估的需要，围绕体系仿真试验床，提出了基于复杂系统的体系理解、面向整个武器装备体系、建立全新的体系试验框架等8条新理念，重点讨论了多重循环试验、体系指标挖掘、网状指标体系、能力状态测量、动态体系模型、交点接入、基线试验评估、方案智能对接、大数据超网分析、结果多维对比、体系贡献度量、洞察辅助决策等12项关键技术。结合我们开展复杂装备体系试验评估实践经验，从以下三个方面归纳了装备体系评估急需解决的相关问题。
(1) 为复杂装备体系和指标体系的构建提供理论指导。现代高科技局部战争已经演变成装备体系的对抗。由于装备体系的复杂性、不确定性、混沌性、涌现性、整体性等诸多特征，使得针对其所采用的评估方法、评估目标、评估理念均呈现多元化。即使针对同一装备体系，其指标体系也因为评估目标的不同而不同，甚至针对同一评估目标，底层的评估指标也不尽相同。对于具体装备的试验鉴定，在性能试验、作战试验、在役考核不同阶段关注的评估指标有一定联系，但又有很大的不同。只有加强理论研究，提出复杂装备体系及其评估指标体系的构建要求、特点、规律、关系、描述方法等，才能更好地为实际工作提供理论指导。
(2) 为装备试验鉴定提供科学的评估方法。随着相关技术的发展，用于装备试验鉴定的评估方法有很多，主要分为主观评定法、统计分析法、数学解析法、仿真模拟法等，其中包括定性、定量、定性与定量相结合的方法，以及基于复杂装备体系的探索性试验评估方法等。这些方法各有特点，在处理某些指标、指标间关系、层次性指标上可行，但是在指标时间变化性、指标间相互影响性、指标性能继承性等方面难以处理。总的来说，主要存在的问题在于，指标的层次性、指标的动态性、指标的关联性、指标的量化性、体系的对抗性、体系的演变性、体系内的互补性、以及与人员、环境、保障等之间存在的复杂关联关系。通过研究，提出一种合理的复杂装备体系及其指标体系的网络模型构建方法，包括多层、嵌套、互联、抑制、增强、可变的结构特点，探索复杂网络的最优求解方法，基于目标优化装备体系的方法等，为实际工作提供科学的评估方法。
(3) 为装备试验鉴定提供通用的评估手段。装备试验鉴定的评估是一项复杂的工作。采集到的现场试验数据和历史试验数据一般包括定性、定量的数据，并且以数字、文本、表格、图形、报告等不同形式存储，数据间关系复杂，往往需要采用统计法、大数据相关法、逻辑推理法等进行分析。另一方面，一些特殊装备试验数据集较少，数据的预处理、检验、基于概率的小子样评估方法非常重要；与此同时，基于仿真系统来模拟装备性能参数的仿真方法、仿真与实验一体化的评估方法也逐渐成为主流。装备体系结构的复杂性、层次性、时变性、互联性、可重构性、对抗性等，使得采用可视化结构及模型参数的建模方式在实际应用中非常便利。对于不同指标层级、指标间关系、指标继承性等，指标的描述、量化、聚合等算法是关键。基于这种复杂网络结构的模型参数求解算法和模型结构最优化调整是另一个核心问题。此外，通过智能化信息提取算法，分析装备体系结构及装备效能的“短板”，生成格式化报告，有助于提高评估效率。通过设计开发相应的软件系统，为复杂装备体系及指标体系的试验评估提供一套通用的、智能化的评估软件系统，可大大提高试验评估工作的效率。
3. 复杂装备体系试验评估待解决的关键问题
基于近年来参与装备试验鉴定试点工作的经验，在综合分析国内外相关技术研究的基础上，提出复杂装备体系试验评估亟待解决的几个研究问题，针对解决装备体系试验评估方法的应用普适性、结构动态性、时间演变性、能力非线性、指标关联性、体系对抗性等实际需求，确保评估方法科学准确，切实推动试验鉴定工作的不断发展。
(一) 复杂装备体系及指标体系的构建问题
针对承担的作战任务不同，复杂装备体系可以是包括海、陆、空、战略支援、火箭军等部队的典型装备，也可以是仅为完成某一特定任务的几支部队的所用装备。例如，针对航天信息支援这类典型任务，依据航天装备试验鉴定中的作战想定、作战试验、在役考核试验评估要求，需要研究由运载火箭、航天器、测运控装备、态势感知装备、战场环境保障装备等构建的复杂航天装备体系及指标体系的构建方法，需要综合考虑装备体系的构成、人员、环境、对抗等因素，以及装备体系的演化性、变结构性、非线性等特点，构建指标体系应具有任务层、功能层、性能层等，指标间具有一定互联、加权、约束等关系，能适应多种评估目标需求。
(二) 嵌套网络模型的设计问题
复杂装备体系是体系的层层嵌套，传统装备体系结构的二维视图多，需要采用多个视图从不同侧面描述体系的特性，如DODAF2.0具有8类模型共52个模型，各模型独立但又相互关联，难以直观体现复杂装备体系内子体系或装备之间的复杂关系。未描述复杂装备体系的综合树状结构、网状结构、层次结构、神经网络结构等优点，需要解决网络结构设计问题，使得既符合直观需求，又可以描述体系间、体系内横向和纵向之间的多维复杂连接关系，并可分层级输出不同信息。
(三) 嵌套网络模型参数的最优求解问题
新的多维嵌套网络模型具有很多待定参数，只有确定模型参数，模型才可以正常运行。考虑到体系结构的时间可变性、连接权值的可变性、网络节点的非线性、底层指标集的不确定性等因素，以及一些固定不变的局部结构特征，需要研究最优方法来实时求解多维嵌套网络模型参数，以满足装备体系及指标体系的实时评估。
(四) 复杂装备体系试验评估系统的设计问题
目前，研究人员已提出了很多种不同的装备体系试验评估方法，不同方法可以解决不同 问题。但是，试验评估人员缺乏有效的评估手段或软件系统，大量的试验数据没有得到很好的处理，一些新的复杂的处理方法难以得到实际应用。甚至绝大多数的装备体系及其指标体系的试验评估都是给出一个评估数值或等级，难以反应出装备体系效能随任务、时间、空间、环境等条件的变化情况，不能给出体系结构中的弱项或指标体系中各级指标的相互影响关系，从而难以揭示装备体系内部实际存在的问题或“短板”，难以为装备发展、运用等提供充分的信息，使得装备体系评估的地位显得十分尴尬。采用装备体系试验评估系统可以提供全过程动态信息，并输出各种图、表和报告信息，可以有效提升试验评估的技术手段。
4. 复杂装备体系试验评估关键问题的解决方法
对照复杂装备体系试验评估待解决的关键问题，下面给出相应的解决方法。
(一) 航天装备体系与指标体系的构建方法
在新体制下近三年多的装备试验鉴定试点工作中，针对相关装备体系都开展了或正在开展相应的性能试验、作战试验和在役考核，相关试验方案和评估方案都提出了评估指标体系，为复杂装备体系和指标体系构建提供了良好的参考基础。但是，不同于已有评估主要以单个装备或单类装备为评估对象，这里主要从某个装备体系出发，针对不同的战略、战役、战术想定的作战任务，按照任务层、系统层、装备层、组件层等构建多层航天装备体系。具体实现上，可以参考美国国防部的DoDAF2.0的体系结构描述方式。但不同的是，建议采用面向对象的体系建模方式，以实体模型为节点，其他的装备能力、性能、信息、连接等以节点属性的方式表示，通过一个模型综合描述装备体系、指标体系及接口关系等。
考虑到双方作战对抗的因素，可进行相应层次的装备体系建模，但是体系间的相互作用只通过对底层组件级节点及相关指标的影响发挥信息交互作用，涉及到体系内各层之间信息的双向传递。
装备体系效能的发挥往往取决于装备人员体系和保障体系，很多研究人员已注意到这一点。目前关于人员和保障对装备体系效能的影响的研究较少，主要是人员体系与装备体系、保障体系与装备体系的关系比较复杂，很多研究都大大简化了这一关系，甚至用一个参数表示其影响，显然难以满足实际评估需求。拟参照力量编制体系和保障体系，构建一个多层的体系结构，也是通过与底层的组件层节点、装备层节点发生交互作用，影响装备体系效能的发挥，从而给出更真实的评估结论。
至于指标体系，也是按照层次方式来构建指标体系。传统方式要求各层指标间是独立的，没有相互影响的。实际中，这往往不符合客观情况，因为一个指标的变化可能影响甚至决定了另一个指标效用的发挥，不同指标间往往关系紧密，存在多种不同的相互作用或影响关系，这也是很多指标体系及其评估方法不被大多数专家认可的致命原因。因此，构建指标体系不再追求指标间的独立性，更侧重于确定指标间的相互关系，拟采用网络连接权值来描述指标间的相关性。当然，这会导致指标体系结构显得更加复杂，但是更符合实际情况。
复杂装备体系及其指标体系的描述可以采用结构化描述语言，用伪代码描述如下：
SoS SpaceEquipmentSystem
{
SoS SatLaunchSystem; //子体系
SoS SatReconnaissanceSystem;
SoS SatCommunicationSystem;
SoS SatNavigationSystem;
FloatS_Launch_Reconnaissance[ ]; //属性
FloatS_Launch_Communication [ ];
FloatS_Launch_Navigation [ ];
FloatS_Reconnaissance _ Communication [ ];
FloatS_Reconnaissance _ Navigation [ ];
FloatS_Communication _ Navigation [ ];
SoS*parentSOS; // 连接关系
SoS*childSOS;
SoS*OtherSOS;
IoSi_SatLaunchSystem[m][n]; //系统属性
IoSi_SatReconnaissanceSystem[m][n];
IoSi_SatCommunicationSystem[m][n];
IoSi_SatNavigationSystem[m][n];
Interface send(par * param); //信息接口
Interface accept(par * param);
Interface connect (par * param);
Interface break (par * param);
}
(二) 嵌套网络模型构建方法
由于复杂装备体系及其指标体系组成的复杂性，组成节点和指标体系关联关系的复杂性，简单的二维模型已难以清楚地描述复杂模型关系。近年来，基于Agent的网络建模方法具有很大的建模灵活性和复杂处理能力 [8]。但是，由于其内部结构复杂，需要处理大量相关信息，使得实际成功的应用案例并不多见。目前，神经网络是可以处理复杂非线性问题的一个较通用模型，通过节点的非线性处理以及节点间的权值连接，可以确保处理任何复杂非线性问题。由于每个节点不仅仅是与上下节点的连接关系，还具有内部的复杂结构关系，这需要采用多维嵌套网络结构进行逐级建模。因此，可以通过联合Agent、神经网络、嵌套结构的各自优势，构建面向复杂装备体系及其指标体系的多维嵌套网络模型，如图1、图2所示。
多维的装备体系结构和每个节点内嵌的多维指标体系共同组成了一个复杂的新型多维嵌套网络结构。图中虚线表示同级节点之间的连接关系，各连接权值可以是标量，也可以是多维矢量，根据实际需要而定。
Figure 1. Muti-dimensional structure view of complex equipment system of system
图1. 多维复杂装备体系结构示意图
Figure 2. Muti-dimensional structure view of each node’s indexes
图2. 每个节点的多维指标体系结构示意图
其他体系对当前体系的影响，通过体系效能直接影响另一体系的底层组成及相关的指标体系，从而即体现体系间的对抗性，也大大简化了体系间的不确定影响。
(三) 嵌套网络模型最优求解方法
为了求解这种新型的多维嵌套网络模型，参考神经网络求解方法，可以将各级指标归一化为[0,1]之间的实际值，连接权值可为任意实数值，根据指标之间的关系，可根据直接、间接等关联关系以及影响概率预先确定，也可结合实验数据通过学习算法求得。由于网络结构复杂，各连接关系难以采用统一算法求解。因此，需要结合局部指标和整体指标关系，采用局部学习算法和全局学习算法联合的方式求解整个模型的参数。
另外，在装备体系完成作战想定任务的演变过程中，由于对抗、环境、人员、失效等因素影响，装备体系组成结构是时变的，各节点、各指标之间的连接权值也是时变的。因此，网络模型结构需要不断重组，连接参数需要不断更新，这需要采用合适的模型调整算法进行模型的实时调整。调整算法实际上是基于作战想定对嵌套网络结构的连续裁剪、补充、扩充等操作，依赖于作战人员、保障力量、对抗环境等其他体系影响。
为了实现网络结构及连接关系的快速更新，采用并行处理算法同时处理各节点并发信息，提高处理速度；采用记忆跟踪算法，结合数据库技术，记录装备体系演变过程、节点连接参数变化过程等，从而对装备体系实现全流程、动态化、可视化的评估，包括对装备体系或装备节点随任务、能力、时间等变化信息的查阅。
模型参数求解算法框架如下：
(1) 初始化装备体系和指标体系模型结构，包括一些固定连接权值；
(2) 基于历史数据，遗传算法或粒子群搜索等最优方法，获取嵌套模型新参数；
(3) 采用指标聚合方法获得每个节点的指标值或矢量；
(4) 针对装备体系的每层节点，采用最优方法获取节点间的连接参数；
(5) 针对装备体系的上下层节点，采用聚合方法获取相邻层的连接参数；
(6) 基于历史数据，基于整个嵌套网络计算试验评估结果；
(7) 根据输出与期望的误差，满足要求继续下一步；不满足条件，返回(2)；
(8) 根据现场数据，基于整个嵌套网络模型计算试验评估结果。
(四) 试验评估仿真系统的设计
基于多维嵌套网络模型的复杂装备体系试验评估系统应满足以下功能需求：
(1) 通过可视化方式方便构建装备体系及其指标体系结构模型；
(2) 根据实验数据人工或自动确定节点间或指标间的连接权值；
(3) 通过节点属性表和指标属性表设置属性类型、属性默认值；
(4) 提供不同指标的量化、归一化、多个指标聚合等算法；
(5) 确定底层指标的信息接口；
(6) 提供可选的常用的评估方法；
(7) 提供体系演化进程的智能化实时调整过程信息；
(8) 记录所有体系演化过程关键信息，并以多种可视化方式提供直观显示；
(9) 根据报告模板提供智能化的分析报告；
(10) 后台数据库记录、存储、检索各类关系数据、非关系数据；
(11) 系统具有通用性，可适用于其他装备体系和指标体系的评估。
该软件的系统组成框架大致如图3所示：
Figure 3. Experimental evaluation system structure view for complex equipment system of system based on embedded nets
图3. 基于嵌套网络的复杂装备体系试验评估系统组成框图
(1) 系统运行管理子系统：主要提供模型新建、打开、关闭、保存、打印、预览等命令功能，提供操作的快捷工具栏和图标等，以及系统运行需要的一些全局参数设置。
(2) 可视化设计子系统：主要提供复杂装备体系、指标体系的总体结构信息和连接关系的描述，根据描述系统可以自动绘制相应的嵌套网络结构；提供绘制装备体系和指标体系的工具箱和图标，通过拖拽可建立网络节点、连接关系和指标体系等；可以对节点和指标的属性进行编辑等，提供完全可视化的编辑环境。
(3) 指标处理分析子系统：提供各种定性、定量指标的量化，按照不同指标类型进行归一化处理，进行多源数据质量检验、关系分析、先验信息提取、基于贝叶斯理论进行数据融合，基于纵向、横向指标关系，采用与、或、约束等关系实现指标的聚合，并利用多种方法计算评估结果。
(4) 嵌套网络模型求解算法子系统：通过格式化文件或图形化界面设置嵌套网络模型中的一些初始参数；基于遗传算法、粒子群优化算法等，基于已有历史数据、确定模型连接参数和阈值；根据体系对抗演化结果，采用算法自动调整体系组成、连接参数和阈值等；根据现场数据计算模型各种输出信息，包括结构、指标、连接权值等随演化时间的变化情况，为可视化输出子系统提供原始数据。
(5) 可视化输出子系统：针对具体作战、支援等任务，在考虑体系对抗、环境变化、人员增减等影响条件下，显示随时间演变的体系结构图和指标体系图；可以图像、表格或报告形式输出试验评估结果。
5. 小结
本文在综合分析国内外相关技术研究的基础上，提出了一种新型的基于嵌套网络模型的复杂装备体系试验评估问题的解决思路和方法，重点解决当前装备体系试验评估方法在应用普适性、结构动态性、时间演变性、能力非线性、指标关联性、体系对抗性等方面存在的实际问题，确保评估方法科学准确，希望能进一步推动试验鉴定工作的不断发展。软件系统设计具有良好的通用性、模块化和灵活性，通过增加新的功能模块和函数，可以涵盖更多的知识领域和新方法，可以在基础平台的基础上，快速设计各类任务的装备体系的试验评估工作，提高评估效率，节约试验经费。