1. 引言
虚拟现实(Virtual Reality，简称VR)技术正在推进着全球新一轮的产业革新，基于虚拟现实的3D人机交互技术，具备3I特性(沉浸感，交互性及想定性)，可实现复杂数据的可视化操作和处理，打开未来人机交互的新模式。
以虚拟现实技术为核心的下一代人机交互平台，将技术创新的起点立足于“以人为中心”，推进单机智能和网联云控的有机融合。在军事上诸如虚拟仿真环境/虚拟战场环境搭建及交互控制等需求的强大推力下，吸引着各国在国防和军队领域的研究投入。
本文从虚拟现实技术的发展现状，虚拟现实人机交互技术的特点，以及虚拟现实人机交互技术在未来军事演练中的发展趋势三个方面展开。
2. 虚拟现实技术发展现状
2.1. 虚拟现实技术发展历程
虚拟现实技术的发展可分为三个阶段：萌芽阶段(1973年前)、形成阶段(1973~1989年)、应用阶段(1989年后) [1] [2] 如图1所示。
萌芽阶段：
1965年，Ivan Sutherland首次提出了感觉真实、交互真实的人机协作理论。1968年他开发了历史上第一个头盔式立体显示器，是第一个虚拟现实系统。
形成阶段：
1973年Myron Krurger首次提出“Artificial Reality”一词。1984年，M. McGreevy和J. Humphries发明了虚拟环境视觉显示器，可用于构造三维虚拟环境。1985年以后，NASA工作人员开发了通用多传感个人仿真器等设备。之后，Stone和Hennequin共同开发了世界上第一个数据手套。
1987年James. D. Foley发表了《Interfaces for Advanced Computing》，系统理论的介绍了虚拟现实技术，说明了虚拟头盔、数据手套、触觉力反馈器、声音识别装置等多项虚拟现实设备的工作原理和应用。
1989年，Jaron Lanier提出用了“Virtual Reality”(虚拟现实)一词，并且把Virtual Reality (以下简称VR)技术作为商品，极大的推动了VR技术的发展和商业。
虚拟现实“形成阶段”开启了虚拟现实关键技术的积累，为后续“应用阶段”的产品迭代和技术爆发提供了指引。
应用阶段：
1990年至2010年，由于VR设备未解决轻量化、便携化的问题，VR技术未产生革命性进展。2010年后，随着图形技术、3D技术、移动互联网技术等互联网核心技术的进一步发展，VR设备实现了轻量化，处理能力得到显著提升，VR眼镜、VR一体机、VR头显等VR设备逐渐如雨后春笋般涌现，并逐步走向民用市场。2012年至2016年国内的虚拟现实技术发展迎来了爆发期，随着技术的不断创新和硬件性能的提升，多家资本开始入场，HTC与Valve联手推出HTC Vive，爱奇艺也成立爱奇艺智能。其中2016年，AlphaGo在人机围棋比赛中击败李世石，如一针强心剂，彻底激发了市场对人工智能、虚拟现实、云计算等一系列互联网技术的热情，各种新理论、新技术也相继出现，开启VR技术发展的快车道。如今VR设备已走向民用市场，在工程设计、游戏、教育等领域得到应用。
Figure 1. Timeline of the development of virtual reality
图1. 虚拟现实发展时序图
2.2. 虚拟现实各国发展现状
各国在虚拟现实技术方向的投资日趋增多，涉及到三维装备设计制造、虚拟空间位置特征、图像获取融合、生理特征识别、脑机接口、虚拟交互建模、近眼显示等。
美国是虚拟现实技术研究的发源地，依托大型互联网公司的资金技术加持，以及成熟的“联合能力集成与开发系统”需求生成机制 [3]，虚拟现实技术发展最成熟，技术最先进。波音公司已经将虚拟现实技术应用于产品设计，波音777运输机相关研发过程中已开始使用了虚拟现实技术，Jonathan W. Kelly等人开展了虚拟现实环境中的距离感知算法技术壁垒研究 [4]。英国在VR技术的研究和发展上投入了大量资金，在虚拟现实系统设计开发上处于领先地位。日本对虚拟现实技术的开发上也投入了大量精力，东京大学原岛实验室进行了面部表情提取、空间结构判定以及三维立体图像等方面的探索 [5]。韩国Ha J等人正在开展脑机接口前沿技术研究 [6]，德国Alexander Schäfer等人正在开展任意单手手势识别研究 [7]。
在虚拟现实的潜力更多地引起各国关注的形式下，我国已不断加大对虚拟现实的政策支持和资金投入，近三年也取得了一些关键技术的突破，如国内高校同技术研究中心专注于长时沉浸的多感官虚拟现实技术研发，京东方着力于开发近眼显示技术攻关，华为在河图增强现实平台的研究，黄楚峰等人开展了结合物联网对WebVR交互建模技术进行研究 [8]，赵峰等人开展了多特征手势识别的研究 [9]，宋洪超等人开展了图像融合数据算法研究 [10]，汪宇等人开展了虚拟现实闭塞环境中的首部运动精度研究 [11]，于佳雯等人开展了虚拟现实中交互方式中自我中心距离认知的影响因素的研究 [12]，王荣超等人开展虚拟现实三维重建技术的分析研究 [13]。并且在十四五规划中，虚拟现实技术再次被列为新兴数字技术之一，给虚拟现实产业生态创造了更丰厚的土壤。
2.3. 虚拟现实人机交互在军事演练的应用
在军事领域，虚拟现实技术提升了人机交互的效能，从虚拟三维/战场环境，作战模拟训练和评判，诸军种联合虚拟演习，辅助决策模拟等方面提供了提升部队作战能力及成功率的解决途径 [14] [15]。
1) 虚拟三维/战场环境：建立全球一体的虚拟逼真三维地形作战场景，为预演战争提供“虚拟战场”，提升参战人员的生理适应性。
2) 作战模拟训练：通过增强虚拟现实技术实现智能化观察、感知，建立覆盖全、容量大、情况准的战场形势图，辅助士兵提高应变能力和高成功率完成战场任务。
3) 诸军种联合虚拟演习：构建分布式虚拟现实应用场景，实现异地信息实时、共享及交互，提升联合作战效能。
4) 辅助决策模拟：通过人机协作，综合利用虚拟现实技术实现人与指挥控制系统，有人无人平台等无缝衔接，形成可供选择的可视化方案，支撑在OODA (观察/调整/决策/行动)决策回路中的辅助决策。
基于以上几个方面，美军正着手开展相关的技术研发、攻关及应用，与高科技公司的合作加快了技术成果转化落地。
美军正在开发的“统一世界地形(OWT)”训练系统，其将囊括全球3D地形库，与集成视觉增强系统(IVAS)进行互操作，便于士兵身临其境预实践，改善备战环境。
2021年美军在演习中演示了“联合终端攻击控制员模拟训练(JVT)”及“3D作战人员增强现实(3Dwar)”两个新型虚拟训练系统，用于火力支援人员和终端控制员联合作战训练。
2021-10，美国空军举行了“联合虚拟旗”22-1 (CVF-21)虚拟空战演习，构建动态虚拟训练环境，跨域联网，横跨8个时区，验证联合环境下有效协同作战的能力。
2022-1，美国陆军与vortex optics公司签署下一代单兵火控系统XM157，集成视觉增强系统(IVAS)，应用增强现实等新型技术，能够将数据汇总到夜视仪界面上，便于射手快速获取数据。
2022-3微软与美国陆军签署价值数百亿的12万套增强虚拟现实头盔合同，能够将虚拟目标叠加到现实世界，实现电子地图在线规划，智能芯片可实时追踪士兵眼睛和手部动作，士兵可通过网路接入无人机视角，同时指挥官能够通过网络共享士兵视角。
目前虚拟现实在军事领域中的应用仍处于初级阶段，诸如云渲染、注视点、三维重建、肌电感应、语音识别、脑机接口等技术处于技术研究阶段，国防和军队的技术需求始终是前沿技术的深层次的推力。袁冠等人开展了虚拟现实技术应用于射击模拟训练场景下的研究，为射击模拟训练组织提供了一种新的借鉴思路 [16]，张志勇等人基于虚拟现实技术的优势出发，研究了军事训练极限状态下环境场景设计及技术方案建立，提升训练人员的智能和心理的综合素质 [17]，陈栋等人基于虚拟现实技术对炮兵实弹对抗训练方法研究，并提出了一种系统性训练方法 [18]。随着虚拟现实人机交互相关技术研究的不断深入以及对科技成果转化应用的重视，将不断开拓出虚拟现实人机交互在军事领域中新的应用场景。
3. 虚拟现实人机交互技术特点
当前的作战形势已逐步由单武器作战升级为联合作战，面对多武器、多源、多目标的情形，指挥员不仅需要快速观察复杂态势，还需做出最优决策，对作战指挥也提出了更高的要求，而人机交互是指挥人员作出决策的核心要素。当前人机交互主要依靠指挥人员观察显控台显示和操作显控台的单点交互模式，而面对信息化、网络化的联合作战时，敌我攻防态势瞬息万变，任务更加复杂，以往单点人机交互模式已无法满足新型的作战需求。
虚拟现实技术主要以构建三维模型为基础，实现三维场景可视化，其3I特性(沉浸感，交互性及想定性)能够实现人与虚拟系统的交互 [19]。随着以虚拟现实为代表的人工智能技术在人机交互技术上的发展与运用，诸如虚拟现实(VR)，增强现实(AR, Augmented Reality)，扩展现实(MR, Mixed Reality)，混合现实(XR, Extended Reality)，使得人机交互在新型的作战方式下，能够产生决定性的作用。
3.1. 基于虚拟现实的技术类型
无数个由虚拟现实技术造就的虚拟世界/数字内容通过网络互联造就数字宇宙。虚拟现实技术主要包含VR、AR、MR及XR，如图2所示。VR关注于虚拟环境中的沉浸和临场感；AR将虚拟内容叠加到现实世界空间中，达到虚拟内容实际场景可视化；MR则是在AR的基础上实现虚拟物体与现实实体的人机可反馈交互机制；XR则是以上三种视觉技术关联后，达到虚拟与现实场景沉浸式切换。
Figure 2. Type of virtual reality technology
图2. 虚拟现实技术类型
3.2. 基于虚拟现实的人机交互环境模拟平台
虚拟现实技术牵涉到了多个领域，如人工智能、计算机及图像科学等，它能够模拟出用户需要的一种“真实”环境，可以让用户有种身临其境的感受，并且用户能够在“真实”的环境中，能够与环境中的物品能够进行交互。基于虚拟现实的人机交互环境模拟平台主要包括态势三维显示、人机交互设备及流程仿真系统，其交互关系如图3所示。
Figure 3. Interactive diagram of human-computer interaction environment simulation platform based on virtual reality
图3. 基于虚拟现实的人机交互环境模拟平台交互关系图
人机交互环境模拟平台基于各类三维模型和态势信息，构建三维的战场态势，将真实的战场环境呈现于指挥员；人机交互设备基于操作模型，指挥员可通过分布式决策或统一决策完成作战指挥；流程仿真系统可根据指挥员的作战决策，依据仿真模型和控制模型快速作出结果评估并反馈指挥员。通过人员与人机交互环境模拟平台的直接交互，能够实现整过作战流程的信息闭环。
3.3. 虚拟现实人机交互技术3I特性
虚拟现实技术的3I特性，为新型作战需求提供了一种解决途径，如图4所示。
Figure 4. Virtual reality human-computer interaction feature logic diagram
图4. 虚拟现实人机交互特征逻辑关系图
1) 沉浸性，采用三维建模工作，构建出真实的作战场景，包括战场地形、气象情况、来袭目标、己方作战装备等，指挥员能够“真实”地进入到作战场景中，由以往在显控台前的观察者变成到战场中的参与者，打破了传统战争形态，有利于指挥员快速做出决策，提升其作战指挥能力；
2) 交互性，采用多模式交互、虚拟可视化显示。相对于传统的局限于平台按键和界面显示的人机交互模式，基于虚拟现实技术的人机交互能够让指挥员通过脑波、肌电、手势等多模态与虚拟场景交互，并将当前的武器装备信息在虚拟空间可视化显示，一目了然，能够辅助指挥员快速选择武器装备，确定作战方式，可根据指挥员的操作通过物联网进行向下分发，通过与战场态势的实时互动，能够大大提高作战效率；
3) 想定性，在作战模式下，指挥员做出作战决策后，仿真系统能迅速对决策进行推演、分析，并将决策的执行结果快速展现出来，使得指挥员能够迅速知晓决策的有效性，从而为指挥员做出最优的作战决策提供最有利的支撑，提升作战效能。在训练模式下，仿真系统能够根据作战需求，模拟仿真作战场景，为指挥员提供真实的作战流程，提升作战能力。
4. 未来在军事演练发展趋势
4.1. 虚拟场景更加真实化
在未来军事领域，基于虚拟现实技术的人机交互场景将更加真实化。当前军事领域的虚拟现实技术，由于受到计算机硬件性能与算法实现等方面的限制，画面精细度与操控精准度还不够，操作手操作时往往会存在空间上的偏差以及灵敏度上的干扰。在未来军事应用上，随着适配虚拟现实的高性能芯片和软件平台的研发，以及云渲染、近眼显示、虚拟距离感应等算法的进一步研究及应用，计算机可以模拟的环境也会更加精细、真实，操作手进行人机交互使用时，也会有更加贴近现实的感受。
4.2. 使用模式更加网络化
在未来军事领域，基于虚拟现实技术的人机交互模式将更加网络化。随着网络技术的发展，特别是信息化作战、分布式作战、多兵种联合作战等基于网络技术的作战模式的发展，虚拟现实技术将不仅仅应用于单兵操作训练，而是进一步与多个作战单元联合组网，进行组网模式下的训练。网络化后的虚拟现实技术，使得单兵可以选择其他地域的模拟终端，得到更多场景更多模式下的训练。同时，指挥员也可以在虚拟战场环境中的多兵种联合作战训练中，对一定区域或全区域兵种通过三维虚拟电子沙盘获取参演各兵种的战斗状态(包含位置、队形、火力、体能等相关状态)，进行适时协调一致的指挥训练，及时发现指挥行动的问题，提高协同作战指挥能力。
4.3. 信息交互更加智能化
在未来军事领域，基于虚拟现实技术的人机交互将更加趋于智能化。智能化是未来军事作战的重点发展方向，也是虚拟现实技术的发展方向。在智能化的信息交互方面，训练系统经过对前期模拟训练积累的大量数据进行学习，可以形成不同作战场景下的作战方案，并在之后的作战中，根据作战场景对积累的方案进行比对，提供最合适的作战预案供选择，以提高作战效能。同时，训练系统可以通过脑机交互、肌电传感以及语音手势等信号学习到操作手使用设备时的交互习惯，提供精准的操作预测，进一步提高人机交互的操作效率。
4.4. 虚实结合更加紧密化
在未来军事领域，基于虚拟现实技术的人机交互虚实结合将更加紧密化。伴随着大数据、物联网、云计算、深度学习等前沿技术的关键突破，“数字孪生”、“平行系统”等新兴技术也在快速发展，并以“虚实结合，以虚控实”的特点，为人机交互提供了一种新的发展方向。在“数字孪生”的交互中，虚拟实体可通过仪器获取实体的状态，达到实时动态映射，再在虚拟空间通过仿真验证控制的效果，并通过控制过程实现对物理实体的操作。通过分析物体的特性在虚拟空间建立具备同等特性的虚拟实体，同时士兵能够通过数字孪生技术在虚拟实体上进行不同的行为尝试，获取不同的结果，实现不同操作结果的可参考预测结果，提升士兵战场生存能力。
4.5. 技术应用更加实战化
在未来军事领域，基于虚拟现实技术的人机交互技术应用将更加实战化。当前军事领域还主要将虚拟现实技术应用于模拟作战训练，当虚拟现实技术更为成熟后，未来将更多地应用到实战中。在实战化虚拟现实技术中，从空情接收开始，指挥员即可通过真实三维战场环境，全方位查看我方整个战场形势，同时通过无人机等设备获取敌方信息通过网络接入虚拟现实场景中创建敌方战场形势，并在实行打击后，通过近眼显示技术查看可视化打击效果，进而高效部署下一步的作战计划。
5. 结束语
当前，虚拟现实技术在人机交互上的应用已发展出了VR眼镜、VR一体机、VR头显等一系列成熟产品。随着，虚拟现实生态的逐步建立和成熟，以及新的VR设备的诞生，虚拟现实人机交互必然改变现有的人机交互传统模式，进而改变作战信息的展现方式、作战装备的使用方式、军队指挥模式等，使作战场景更加真实化、军队指挥模式更加网络化、装备交互更加智能化、虚实结合更加紧密化、技术应用更加实战化，从而改变现代战争形态。面向未来战争，我们需提前布局，加快虚拟现实人机交互在军事上的研发与应用，以应对日益复杂的国际局势，保卫我国国家和领土完整。