1. 引言
随着我国轨道交通的迅速发展，城市轨道交通运营里程大幅增加，上海、北京等一线城市已经形成网络化运营规模[1]。截至2024年底，上海城市轨道交通已开通运营线路21条，运营线网规模达1032.05公里，车站数达485座，其中换乘车站达111座。随着近年来上海五大新城的建设大量的人口由传统市区向外环及郊环导入，越来越多的人口出行通勤依赖公共交通，上海2024年全年完成客运量37.74亿人次[2]。城市轨道交通的智能化水平也在逐步提升，对地铁建设的质量和效率，以及信号设备的可靠度和安全性的要求也越来越高，在此背景下，全自动运行技术逐渐成为行业主流。
在轨道交通行业的教学实践中，传统的驾驶人员的培训方式无法适应全自动运行环境下复杂工况需求，城市轨道交通众多系统长时间处于轨上运行，驾驶员的教学训练考核难以提供实践机会，尤其是在上海地铁15号线等无人驾驶地铁线路驾驶员可操作性机会较少，而传统教学训练实践往往无法充分模拟真实驾驶环境中的突发紧急情况等复杂驾驶情况，众多因素的存在导致驾驶员面临着在真实驾驶环境中意想不到的挑战，存在较大的行驶风险。
因此，必须要寻求新的培训方法，混合现实(Mixed Reality)技术在城市轨道培训领域就是一种全新的技术。混合现实技术是在虚拟现实(Virtual Reality)和增强现实(Augmented Reality)的基础上发展而来，它结合了VR和AR技术的优点，是现实和虚拟两种场景融合程度更高的技术，有着更好的交互效果。在轨道交通领域专业培训中构建一个能与之进行交互作用的虚拟驾驶环境，对于驾驶员来说可以适应与熟悉各种复杂的驾驶环境，可以构建现实中不易模拟或过于昂贵的驾驶环境下的各种情况，提供了一个更全面，更完善的针对城轨全自动运行模式的驾驶培训平台。
2. 城市轨道交通驾驶培训
2.1. 城市轨道交通驾驶培训现状分析
当前，我国城市轨道交通线路运营压力巨大，车辆驾驶员培训的教学通常更偏向理论化，缺乏与实际操作联系进行有效结合[3]。城市轨道交通车辆的教学特点是具有高度的专业性，突出实践性与应用导向，而实物操作练习培训时间普遍较短且碎片化，难以保证系统的训练效果。轨道交通系统的重要组成部分通常处于全天候运行状态，各部分之间联系紧密，很难为受训人员提供实际操作训练的机会。此外，传统的培训方式还存在教学手法单一、培训周期过长的问题，这在很大程度上制约了培训的效率和质量，难以满足当前对高效、高质量培训的需求[4]。
随着MR/VR培训技术的发展，广泛应用于医疗领域、军事领域、工业制造领域、教育培训领域等方面。医疗领域中MR/VR被运用在手术技能培训方面，章增杰[5]等人将MR技术应用于肩关节外科临床教学中。孔娜[6]等人将VR全景视频应用于手术室新护士技能培训。在军事领域VR/AR/MR应用于飞行训练与作战训练方面，美军飞行模拟器、作战训练系统等采用VR技术进行训练，极大降低了训练的成本，提升了训练的质量。工业制造领域，国网北京市电力公司[7]、国网山东省电力公司[8]将MR技术应用于电力技能实训及电力调度员培训仿真系统中，将VR安全仿真技术应用于架空线路塔上培训，建设搭建VR培训“元宇宙”虚拟现实场景。教育培训领域，VR/AR应用在职业教育专业培训、基础教育课程训练等方面。已有多个大学开展基于VR/AR技术的翻转课堂，如郑州工业应用技术学院装配式建筑职业技能培训[9]，北京化工大学罗雪的化工行业动火作业虚拟仿真培训系统[10]。这些应用都证明了MR/VR技术能够帮助各行各业进行沉浸式、高效、安全的培训，它有望帮助到更多的应用领域。
近年来，随着科技的不断进步，国内外专家学者纷纷致力于开发基于MR技术的城市轨道交通和高铁列车运营的教学系统。中央民族大学、北京交通大学、同济大学等国内高校，近年来都在研究建设轨道交通或高铁运行的虚拟仿真实验教学中心[11]。姜辉[1]等人开发了一套基于MR技术的城轨车辆智能运维教学平台，应用于城轨运维人员进行故障诊断、拆装、维修操作等实训环境。卢春勇[12]提出了一种基于虚拟现实技术的城市轨道交通列车司机技能培训新方法，在虚拟环境中可以精准模拟真实的操作场景及紧急情况，为驾驶培训提供了新的思路和手段。
2.2. 城轨全自动运行驾驶培训系统的建设意义
在传统的城市轨道交通线路中，通常需要人工操作列车才能正常运行。然而，上海轨道交通采用了国际领先的GoA4级全自动运行系统，使得列车在正常运行中无需司机干预。目前上海地铁无人驾驶线路有浦江线、10号线二期、18号线南段、15号线，其中15号线司机室敞开于乘客车厢中运营期间均为自动行驶，在自动驾驶状态下主副驾驶台由盖板覆盖锁闭。当发生紧急情况时，随车列控员需要承担车辆人工驾驶的工作。然而，上海地铁15号线的驾驶室布局特殊，且运营期间车辆全部驶出，驾驶员手动驾驶机会极为有限。全自动驾驶线路的特殊设计使得驾驶员很难获得长时间连续驾驶的机会，这给他们的技能培训带来了新的挑战。15号线列控员在培训期间由于培训中心缺少15号线对应车型的仿真操作台在培训阶段无法进行有针对性的操作训练。同时由于15号线驾驶室布局的特殊性，与其他线路相比缺少了为期6个月的带教训练环节，整个培训阶段针对15号线车型的驾驶操作的训练机会屈指可数。在入线工作后，15号线仅有26辆列车且运营期间26辆车辆全部驶出，而全线驾驶员约为145人左右，驾驶员仅能在每日运营前行驶巡道车时进行手动驾驶操作，每季度人均仅能手动驾驶2次导致手动驾驶操作练习时长不足。因此利用混合现实技术针对15号线建立一个轻量化仿真培训练习系统，以此来增加驾驶员的手动操作机会和练习时长是很有必要的，同时还可以加入积水、故障等场景，训练驾驶员的应急处理能力。此外，将混合现实和人工智能技术应用到地铁无人驾驶线路驾驶培训领域在国内尚属首次。
3. 系统架构与关键技术
3.1. 系统架构设计
城轨全自动运行驾驶培训系统采用分层架构设计，如图1所示，系统由感知层、渲染层、交互层和后台服务层构成，各层之间通过标准化接口进行连接，通过HoloLens2设备群，实现跨层级的虚实融合。根据轨道交通培训的特点，该系统提供了高度仿真的培训环境并按照满足培训实时性的设计要求。
Figure 1. Architecture diagram of the urban rail transit fully automatic operation driving training system
图1. 城轨全自动运行驾驶培训系统架构图
3.1.1. 感知层
感知层是系统的基础数据采集层，负责采集基础真实环境数据，为下游渲染、交互工作提供数据基础。感知层主要由激光雷达扫描设备、高分辨率的RGB摄像机、操作系统传感器阵列等构成。激光雷达扫描设备扫描获取地铁驾驶台、地铁站台、站台区域的真实点云数据，构建高精度三维模型。RGB摄像机扫描区域颜色纹理信息，投影到三维模型中，让三维模型拥有现实色彩。操作台传感器通过RS485总线实时传输的方式传输驾驶操作数据(如手柄偏角、按钮位置)等。感知层通过与HoloLens2设备群进行双向数据交互，接受HoloLens2设备提供的SLAM定位数据并向HoloLens2设备传输环境扫描数据。
3.1.2. 渲染层
渲染层以Unity3D引擎为核心，负责将感知层获取的数据通过模拟渲染出逼真的虚拟场景和操作界面，使用MRTK混合现实工具包将感知层的原始数据通过渲染层进行模拟，使用视觉定位技术将虚拟信息与现实环境匹配，根据感知层的光照信息，实时更新虚拟场景的光线，确保虚实结合的无缝性。
3.1.3. 交互层
交互层是用户与系统交互的基础，用户使用系统，系统给予反馈，交互层通过HoloLens2的传感和MediaPipe手势识别，识别系统使用者自然手势，将其转化为系统可识别指令，通过Azure语音识别，识别使用者语音命令，将其转化为系统可执行命令。交互层通过反馈通道，将使用者操作指令反馈至渲染层，并触发虚拟场景更新。交互层与后台服务层进行双向数据传输，实时反馈分析用户操作数据。
3.1.4. 后台服务层
后台服务层管理、分析系统数据，实现智能任务培训考核功能。后台服务层主要包括智能培训引擎、场景管理微服务、考核评估系统。智能培训引擎基于PyTorch框架构建，分析学员的历史任务完成、考核等情况，智能制定个性化培训计划。评分标准符合TB/T 3568-2021标准，能够对包括进站停站精度、停车精度和故障响应时间在内的23项指标进行自动化评估。场景管理微服务管理和调度虚拟场景生成和更新，确保系统高效和动态分配。考核评估系统采用Hadoop大数据平台，存储学员的培训和评估数据。通过数据分析，生成优秀学员的操作案例，作为未来学员的学习参考。
3.2. 关键技术和研究方法
本文结合城市轨道交通列车驾驶员实际工作，运用MR混合现实技术、AI智能技术构建全新的城轨全自动运行驾驶仿真模拟平台，营造真实、高效、全面的驾驶员培训场景。基于需求的紧迫性、建设周期、造价等因素，本文主要实现上海地铁15号线全线区间部分站台的场景构建。本文运用了以下多项创新技术：
(1) 基于真实环境扫描图像数据的三维模型构建；
(2) 高精度、高纹理质量模型实时加载渲染技术；
(3) 基于无环境约束的6DoF运动跟踪技术；
(4) 基于手势检测与语音命令的新型人体本能交互技术；
(5) 虚实融合操作场景匹配及操作数据融合技术。
研究采取的技术线路和研究方法主要包括以下四个方面：
(1) 使用激光雷达通用设备对地铁设备和环境进行实景建模；
(2) 使用Unity3D开发基于HoloLens2 AR眼镜的MR培训系统前端程序；
(3) 使用云计算 + 大数据技术开发智能后台管理系统；
(4) 使用AI人工智能开发智能任务培训和考核系统。
3.3. 创新点
3.3.1. 高度逼真的模拟环境
传统的驾驶员培训是在实际道路上进行培训，研究将上海地铁15号线进行实景建模，利用自适应的SLAM优化算法，制作了真车驾驶台1:1的仿真驾驶操作台，将虚拟驾驶环境与现实车台完美融合，形成真实环境，改变传统培训无法提供真实体验的情景；采用HoloLens2设备，实现真实现实与虚拟结合的交互操作体验，给驾驶员身临其境的体验，增加驾驶员培训的真实性。
3.3.2. 实时信息展示和互动
培训过程中采用头戴式显示设备对列车速度、信号状态、乘客信息进行实时显示，通过手势识别、语音命令、物理控制操作等不同的交互方式提升学员的培训沉浸感和应急反应，虚拟驾驶及紧急情况仿真模拟强化了驾驶技能培训。构建正常行驶、突发事件应急处置、故障处置等典型运营场景，模拟驾驶员实际遇到的各种情况。
3.3.3. 个性化培训方案设计
智能培训引擎能够根据学员的个体差异提供定制化培训，MR技术支持根据学员的进展和弱点调整虚拟场景难度和复杂度，提供量身定制的培训计划，更有效地帮助学员克服困难，提高培训效率。
4. 城轨全自动运行驾驶培训系统的应用
4.1. 列车、车站及区间的实景建模
本研究基于Unity3D与ARKit，利用激光雷达设备和RGB摄像机设备，通过获取目标设备/环境的深度和RGB颜色数据，生成3D模型并自动对应摄像机获取的纹理，上传混合建模后的模型文件到服务器完成建模操作。建模内容主要包括：上海申通地铁15号线驾驶台及所在车厢、15号线岛式/混合式站台、15号线岛式/混合式车站进出站涵洞模型、通用涵洞段内景/线路信号/道岔模型。通过实景建模可以构建与真实现场完全一样的现场环境，包括纹理、光照、空间感等各种感知元素，能极大地提高培训系统的真实感，营造更加沉浸式的体验。图2为列车、车站及区间的实景建模示意图。
Figure 2. Schematic diagram of live modeling of trains, stations and intervals
图2. 列车、车站及区间的实景建模示意图
4.2. 典型运营场景构建
将驾驶员各项工作任务和指标抽象划分成不同的业务场景，并依此构建培训场景内容，主要包括：① 正常行驶场景：在手动驾驶时视觉上进站时能有“快–慢–停”，出站时能有“停–慢–快”的速度变化感受以及“隧道–车站–隧道”的视觉变化感受。② 应急处置场景：构建行驶区间道路积水虚拟场景，通过对积水深度的不同设置检验培训人员的应急处置能力及驾驶水平。应急处置场景示意图见图3。③ 故障处置场景：构建车厢门故障虚拟场景，培训、考核培训人员的故障处置能力。通过构建培训场景后，将驾驶员的实际工作内容抽象成不同的任务，学员使用培训系统通过HoloLens2眼镜和仿真操作台选择相应的任务进行针对性的训练，场景构建是进行仿真培训的基础。
Figure 3. Schematic diagram of emergency response scenarios
图3. 应急处置场景示意图
4.3. 基于MR技术的仿真驾驶台研制
制作与真车驾驶台面1:1的仿真驾驶操作台实物，对应安装按钮和拉杆，并且每个操作元件搭载相应的传感器。仿真驾驶台见图4。以此操作台实物为基础，使用Unity3D开发基于HoloLens2 AR眼镜的MR培训系统前端程序。基于Unity3D使用ARFoundation、MRTK技术，在HoloLens2目标平台开发MR应用，利用HoloLens2眼镜设备和VPS视觉定位技术实现虚实融合，使虚拟数字信息与仿真驾驶台实物上的按钮和设备位置融合重叠，建立精细化操作的交互链路，构建虚实一致的虚拟培训场景。操作过程中压力表、操作杆、显示器件数据显示由AR技术实现，显示屏上的简易交互操作由HoloLens2设备捕捉及识别，并触发相应功能。主要业务训练场景包括：正常行驶、应急处置、故障处置。充分利用MR培训虚实匹配融合特性，将虚拟的显示屏、操作反馈与实体的操作台结合，通过采集实体操作台传感器数据，系统经过分析处理，动态地将行车状态显示在显示屏幕上，能营造与实车操作完全一致的体验。虚拟培训场景示意图见图5。
Figure 4. Simulation control desk
图4. 仿真驾驶台
Figure 5. Schematic diagram of virtual training scenarios
图5. 虚拟培训场景示意图
4.4. 基于驾驶人员的智能任务培训及考核系统研发
驾驶人员培训主要业务管理涵盖培训模块、操作练习模块、考核模块、培训案例库模块。基于混合现实的15号线全线区间、部分站台的全自动驾驶线路驾驶培训系统主要实现为对驾驶人员进行操作培训及行驶练习、考核功能。通过对驾驶流程、驾驶员操作手势及驾驶台各操作按钮/开关等功能的拆解，通过手势识别、动作注册、仿真驾驶台信号编译，最终将其与视觉场景进行联动实现虚拟驾驶。在此基础上结合业务需求开发相应训练、考核等模块，形成一个相对完整的驾驶培训系统。借助于人工智能技术，研发智能培训任务生成和考核系统，通过对每个学员历史任务完成情况和考核结果进行分析，系统根据每一位学员自身的弱项，智能定制出符合该学员特点的培训计划，帮助每个学员有针对性的进行训练，提升培训效能、提高驾驶水平。通过积累所有学员的培训考核历史大数据，智能分析后生成优秀学员的操作案例，并通过之前培训考核过程中留存的操作视频资料，在后续的培训任务系统中，分享给其他新学员学习交流，加速学员的成长。
根据对现有的模拟驾驶考核模块的考核要素进行整理归纳，设计制定上海地铁15号线MR驾驶培训系统评分规则，从中筛选出最能体现驾驶员实际操作熟练度且可以由计算机完全客观评价(而非考评员主观判断)的要素指标选入考核评分标准之中，包括：进站停车精度、进站关门、行程中的速度控制、时刻表控制、车辆突发故障事件应对。评分计算规则如下：
(1) 项目得分：得分采取扣分方法，项目得分的总分值为100分，当操作达到扣分项目设置的要求，扣分项目进行扣分，最终得分为100减去项目扣得分。
(2) 考核总得分：考核总得分采用扣分计算方法，系统预设为合格分60分，如果扣分小于40分，考核结果为合格。如果扣分达到或超过40分，考核结果为不合格。在提供培训者的实际得分时，必须包括详细的扣分项目、扣分原因以及相关的扣分参数。
(3) 红线考评项目：评分标准明确规定，如果培训者在练习或考核过程中做出任何直接危及运营安全的违章操作，将立即被判定为不合格。
具体评分规则如表1所示。
Table 1. Assessment and scoring criteria for the driving training system
表1. 驾驶培训系统考核评分标准
项目 |
操作 |
考核内容 |
初始分数 |
项目分数 |
总分 |
站台
作业 |
合主断按钮 |
未按下高速开关，未能起到防护过载的作用 |
5 |
30 |
100 |
超过停车标 |
列车越过指定停车点，但未越过信号机 |
10 |
标前停车 |
列车在车站区间内提前停车，未到达正常停车点 |
10 |
对标误差 |
列车停车位置与停车标之间的误差超出允许范围 |
5 |
驾驶
操作 |
正常行驶场景超速 |
列车在正常行驶场景中速度超过限制，但未触发紧急制动 |
15 |
60 |
应急处置场景超速 |
列车在应急处置场景中速度超过限制，但未触发紧急制动 |
15 |
紧急
制动 |
超速 |
列车速度超过限制并触发紧急制动 |
20 |
警惕按钮 |
列车行驶途中松开警惕按钮 |
10 |
时刻表 |
车站发车时间 |
车站实际发车时间与时刻表时间误差超过2分钟，或提前发车 |
5 |
10 |
驾驶总时间 |
驾驶总时间与时刻表总时间误差超出允许范围 |
5 |
红线
考评
项目 |
忘记开关门 |
列车到站后未开启车门 |
直接判为不合格 |
错开车门 |
按压错误侧开门按钮 |
冒进信号 |
列车未在禁止信号机前停车 |
5. 应用前景与效益分析
5.1. 应用前景
根据国务院发布的《交通强国建设纲要》和中国城市轨道交通协会发布的《智慧城轨发展纲要》这些政策文件，现在城市轨道交通的发展方向已经从传统的要素驱动，变成了创新驱动。依靠着高新信息技术的快速发展，智慧轨道交通的建设正在迅速推进。混合现实技术这种能给人沉浸式体验的工具，在城市轨道交通的智慧运营、智能运维和乘客服务这些方面，具备广阔的应用前景。
尽管上海地铁采用了全自动运行系统，但在紧急情况或特殊故障发生时，仍然需要驾驶员进行人工介入。且全自动驾驶线路的特殊设计使驾驶员很难获得长时间连续驾驶的机会，这给他们的技能培训提出了新的挑战。本研究利用混合现实技术构建的城轨全自动运行驾驶培训系统，通过模拟上海轨道交通15号线路的运行情况，将列车、车站及区间的虚拟模型、图形文字指示、列车进出站速度变化、隧道转弯等模拟元素真实地展示给驾驶员，利用HoloLens2的高级功能和人员进行互动，极大程度增强了驾驶员的培训效果和体验感。这些全面的模拟情景对模拟驾驶培训、演练和考核至关重要，也大幅增加了参训人员进行实际操作练习的时间，驾驶员还可根据自己的学习进度自主安排学习内容，显著提升了培训的针对性和有效性，这对于驾驶培训的成效具有极为重要的影响。
与国际水平相比，我国在混合现实技术领域的发展仍存在一定差距，无论是在硬件研发还是应用推广方面，我国都处于相对滞后的位置，尤其是在轨道交通行业的应用上，目前仍处于初步探索阶段。尽管MR技术已经广泛应用于工业、医疗、教育和娱乐等领域，但轨道车辆的课程和考核等教学资源的开发非常短缺，将其应用于城轨全自动运行驾驶培训也面临着软件技术水平、经济投入规模以及硬件设备性能等多方面因素的制约。城市轨道交通的教学资源的开发还非常短缺，研究人员不仅需要熟练掌握Unity3D、ARKit等开发技术以及实景建模技术，还需要充分了解城市轨道交通运营的业务知识，才能让MR技术更好地适用专业教学的需求[13]。然而，随着相关技术研究的不断深入以及众多科技企业持续加大研发投入，MR技术有望在未来轨道交通行业中发挥更为重要的作用，产生深远影响[14]。
5.2. 效益预测
MR技术在城轨全自动运行驾驶培训系统中的应用，可以为城轨驾驶员提供更加真实、高效、安全的培训环境，从而提高驾驶员的技能水平和应急能力，降低设备故障和事故风险，节省培训成本和时间，增加培训效果和满意度。该系统的应用可以为城轨列车驾驶员培训带来以下经济和社会效益：
(1) 大幅简化传统培训实操流程，增加培训人员在整个培训周期中的模拟实操次数和时间，比传统的手册理论学习方式更能加深培训人员的学习成果。
(2) 通过云计算 + 大数据自动合理安排分配模拟实操的资源，让每个培训人员根据自己的情况灵活预约模拟实操时间并获得均等的模拟训练机会。
(3) 通过人工智能为每一位培训人员自动定制最合理的模拟实操任务和考核内容，强化弱项训练，智能出具包含合理建议的任务报告和考核结果。
(4) 通过MR模拟训练，可以对所有需要培训的车型进行模拟，对所有可能的线路、故障和突发情况进行模拟，让培训人员得到更加全面的场景培训。
(5) 建立培训知识库，推荐优秀学员的操作案例，以短视频分享，供其他学员学习交流。
(6) 不受场地和时间限制，可随时随地进行培训。
(7) 设备一比一扫描建模，学员完全身临其境，通过手势识别操控虚拟列车，犹如操控真实列车。
NOTES
*通讯作者。