混合现实技术在颅颌面外科中的应用与发展

Application and Development of Mixed Reality Technology in Craniomaxillofacial Surgery

摘要: 混合现实技术(Mixed Reality, MR)在颅颌面外科手术中的应用越来越广泛，尤其是使临床医生能够在术前和术后的不同阶段，即影像资料获取和诊断、虚拟手术计划、术中实时导航和治疗疗效评估过程中，获得有效的方法和更好的治疗结果。本篇综述对近年来MR技术在临床实践中的应用进行报道，有助于研究人员和临床医生考虑在颅颌面外科手术中使用MR技术，以提高手术质量和获得满意的治疗结果。

Abstract: The use of Mixed Reality (MR) technology in craniomaxillofacial surgery is becoming more and more widespread, especially to enable clinicians to obtain effective methods and better treatment outcomes during different pre- and postoperative phases, such as image data acquisition and diagnosis, virtual surgical planning, intraoperative real-time navigation, and treatment efficacy assessment. This review reports on the use of MR technology in clinical practice in recent years, which will help researchers and clinicians to consider the use of MR technology in craniomaxillofacial surgery to improve the quality of surgery and obtain satisfactory treatment outcomes.

1. 引言

颅颌面(Craniomaxillofacial, CMF)外科手术是一个具有挑战性且要求非常高的领域，涉及治疗面部和头部的先天性和后天性疾病。由于头面部区域的复杂性，重要结构的存在，需要开发并利用各种工具和技术来帮助外科手术优化结果[1]。相较于传统的2D成像，3D成像可以更准确地表示复杂的颅面解剖结构。影像成像技术使医学领域受益匪浅，特别是从20世纪90年代开始，虚拟现实及增强现实应用于医疗领域，为医学教育和手术计划等环境中实现更好地解剖结构的3D可视化[2]。MR技术是继虚拟现实(Virtual Reality, VR)技术和增强现实技术(Augment Reality, AR)的新一代全息影像技术。MR技术提供了一种与3D数据进行交互的沉浸式平台，这项技术提供的空间体验和交互远远超出了传统的桌面显示器。沉浸式技术使用户能够通过缩放、改变视角、突出显示重要方面而隐藏其他方面以及以在真实的世界中不可能实现的方式与虚拟世界交互来自由地探索虚拟信息[3]。MR技术可以使临床医生在术前做出关键决策，并帮助他们接下来的诊疗过程中获得有利的结果，包括图像采集、诊断、虚拟手术计划(Virtual Surgical Planning, VSP)、实际手术和治疗结局评价[4] [5]。但由于混合现实技术要求较高，直到Oculus Rift、微软的HoloLens头戴式显示器等出现后才进一步开启对该技术的开发和应用。MR技术在在颅颌面外科领域中的应用逐渐崭露头角[6]。这种技术的发展为医疗实践带来了全新的可能性，提升了手术治疗的精确性、安全性以及医疗教育的质量。

2. 混合现实技术的设备组成通常包括以下主要元素

1) 头戴显示设备(Head-Mounted Display, HMD)：这是MR技术最核心的部分。HMD是一种戴在头部的设备，通常包括显示屏、透镜、传感器和计算机处理单元。它能够将虚拟信息叠加或投影到现实世界中，使用户能够看到合成的现实和虚拟内容。

2) 传感器和跟踪设备：传感器和跟踪设备用于捕捉用户的头部运动和位置，以便调整显示内容以匹配用户的视野。这些设备可以包括陀螺仪、加速计、磁力计和摄像头等。

3) 计算机处理单元：这是用于处理和生成MR内容的关键部分。它能够实时计算并将虚拟内容叠加到用户的视野中，通常是由一个外部的计算机或内置于头戴设备中的处理单元完成。

4) 交互设备：有些MR系统可能包括用于用户交互的控制器或手柄。这些设备允许用户与虚拟内容进行互动，例如选择、移动或操作虚拟对象。

5) 连接设备和电源：混合现实设备通常需要连接到电源和其他设备，如计算机或云服务。这些设备通常通过有线或无线连接与其他系统进行通信。

3. 手术规划与模拟

对于颅颌面畸形患者，通常采用计算机断层扫描(Computed Tomography, CT)、磁共振成像(Magnetic Resonance Imaging, MRI)、X线等来获取二维影像资料，需要医生有较好的空间思维能力[7]。因颅颌面解剖结构的复杂性，手术完全依赖于外科医生对解剖结构和变异的熟悉程度，以及术中应变和处理紧急情况的能力[8]。如果术前获取信息不全或术者对偏差的理解不到位，也会影响手术计划的精准制定，手术会存在一定的安全隐患。而3D成像有效的解决了二维影像资料空间转换的问题。3D成像模式包括多层CT、锥形束计算机断层扫描(Cone-Beam Computed Tomography, CBCT)、3D超声和3D摄影等。与常规CT相比，三维CBCT具有辐射剂量低、空间分辨率高、扫描时间短、成本低等优点，广泛应用于颅面、口腔、牙科等领域[9]。MR技术专用软件可以将收集的患者影像数据通过描绘和识别感兴趣的解剖结构进行阈值分割，以进行3D模型重建，制定手术计划，在虚拟环境中模拟手术过程。用于MR虚拟手术规划(Virtual Surgical Planning, VSP)的商业软件程序包括Mimics (Materialise，鲁汶，比利时)、SimPlant OMS (Materialise Dental，鲁汶，比利时)、ProPlan CMF (Depuy Synthes，索洛图恩，瑞士)等。除此之外，可以通过3D摄影(包括3D数字立体摄影和3D激光扫描)获得颅颌面软组织的3D表面资料。甚至将3D软组织数据及CT重建的骨体积数据相结合，进行颅颌面畸形患者软组织模拟，进行治疗后容貌预测[10]。MR技术为颅颌面外科医生提供了全新的手术规划工具。通过利用三维重建的解剖结构，医生能够在虚拟环境中模拟手术过程，预先确定最佳的手术路径并评估患者的个体差异，减少手术风险。Laure等人[11]通过计算术前患者特定的标准参考形状，估计最佳骨碎片，并计算用于截骨和重塑的最合适的碎片配置来模拟颅缝早闭手术。对于颧弓骨折，MR技术软件可以将健侧的解剖区域镜像到病变侧，通过使用最佳对称平面，覆盖受影响的解剖区域，获得协调和平衡的面部结构，使用软件内相关选项将感兴趣的解剖区域重建来达到术前模拟效果[12]。颅面短小症(Craniofacial Microsomia, CFM)患者的常规治疗包括下颌骨牵引成骨治疗，MR对于下颌骨牵引成骨，虚拟截骨术的位置和配置，可以为每个患者进行个性化定制，通过反复调整牵引器的位置和方向，直到达到理想状态[13]。除此之外，MR技术还可以有效解决医患沟通，医患之间医学知识背景和信息的不对称是造成医患关系紧张的主要原因之一[14]。由于MR技术具有三维、逼真、动态的特点，可以有效地解决这个问题，直观地向病人及家属解释病情和治疗方案，减少医疗纠纷，改善不良的医患关系。

4. 实时导航与指引

颅颌面部的解剖领域的特点是存在许多极其精细的血管和神经结构，在手术中必须保留这些结构[15]。而混合现实技术有能力改变手术的安全性及和精确性。外科医生可以通过MR技术获得患者的虚拟三维解剖模型图。通过这种虚拟3D解剖模型外科医生可以在没有充分扩大手术切口的情况下，了解患者的术区内部信息，实现准确的手术指导，提高手术的准确性和安全性[16]。1) 小耳畸形：小耳畸形是一只或两只耳朵的先天性和形态异常，由遗传和外部环境因素共同作用的结果[17]。近年来随着数字化技术的发展，结合计算机辅助设计及三维打印技术，在治疗小耳畸形方面取得了可喜的结果。耳廓的定位是耳重建的关键步骤，MR技术可以将计算机生成的重建耳图像叠加在患者身上，来确定重建位置。Nuri等人[18]通过拍摄患儿健侧耳的三维照片，将图像水平反转并叠加在患侧的三维图像上，并使用微软的HoloLens将图像投影到手术室的病人身上。术后结果显示重建耳的位置与术前计划的偏差在2 mm以内。Pool等人[19]使用VSP创建耳廓模板，治疗三名小耳畸形患者，其结果令人满意，该技术可以提高手术精度，可以减少手术时间，并获得良好的美容效果。MR技术为外科医生提供了全新的手术规划工具。通过利用三维重建的解剖结构，医生能够在虚拟环境中模拟手术过程，预先确定最佳的手术路径并评估患者的个体差异。2) 颌骨手术：颌面部创伤及畸形常累及多个解剖部位，复杂程度高，临床医生可以通过MR技术对病损部位进行三维重建，减少视觉转换及空间转换，直观地显示病变部位邻近解剖结构[20]。林承重等人[20]报道了基于MR技术的手术导航系统，并通过颅颌面创伤修复手术来评估其适用性，其结果是MR技术具有虚实结合、导航精度高等优点。一些研究人员将VSP与计算机辅助设计(Computeraided Design, CAD)或计算机导航相结合，术中使用头显设备来治疗上颌骨肿瘤术后的缺损重建。MR技术术前可以根据患者的特征，颌骨肿瘤部位来制定切除切缘和截骨术，结合CAD可以开发优化的个性化假体，改善术后患者面部形态和口腔功能[21]。此外，MR技术可将外科手术期间可能被遮挡或不易暴露的解剖结构的可视化，相较于AR技术提高了交互性能(用户可以通过手势或语音来打开、操纵和关闭)，解决了虚拟数据与现实世界之间遮挡问题[22]。虽然以前的头显设备使用受到无菌环境中硬件的低分辨率和不兼容性的限制，但MR系统的最新改进为外科医生提供了在无菌环境中访问患者数据的机会，减少了患者和外科医生的辐射暴露[23]。MR除可以提高术前规划的准确性，为解剖学上最复杂的颅面手术提供准确的模型外，还具有降低成本和节省时间的额外好处。并可以实现跨时间和空间的术前协作[24]。混合现实最终可能是外科医生最有效和最实用的现实技术。

5. 教育和培训

这项技术也在医学教育中发挥着巨大的作用。在当前的医学教学中，由于医学环境和伦理道德的限制，以及标本的短缺和昂贵，教学成本不断增加[25]。MR技术将二维图像或视频转变为可交互式的全息影像帮助学生更直观地了解人体的复杂解剖结构，从而使学生得到更有效的训练。Baratz G [26]等人发现用混合现实技术可能成为与尸体或物理模拟模型相结合的有效工具，以提高学习效率和相关知识长期保留。学生和医生可以通过混合现实体验模拟手术，并以交互式的方式学习颅颌面结构，提升他们对手术技术和解剖知识的理解。Guha P [27]等人进行了一项前瞻性随机可行性研究，使36名新手医学生随机分为混合现实教程组及视频教程组，接受了使用合成模型进行基本动脉切开术和闭合术的培训。这项研究表明，与传统的基本外科技能教学方法相比，混合现实技术可以提供更高质量的教育体验、更好的技能进步和更高的学习一致性。一些研究人员使用MR系统重建口腔颌面肿瘤与骨骼、血管等关键结构的三维模型，立体呈现它们之间的空间关系，然后对关键解剖结构进行描述并规划术前虚拟手术[28]。Maniam等人[29]开发了一种MR解剖教学程序，用于探索颞骨解剖结构，其基本教程允许操作人员对颞骨进行自由钻孔，感受实时骨钻孔体验，使操作员能够探索不同结构之间的解剖关系。因颅颌面外科涉及的手术视野有限，有时仅允许术者观测手术部位及邻近结构。而传统的天花板安装式摄像机图像可以向医学生显示图像中的解剖结构，但无法使他们近距离观察外科医生如何操纵手术器械。随着MR技术的使用，外科医生可以通过头显设备(HMD)的运动相机拍摄高分辨率视频和360度手术视频通过在线手术直播使学习变得更加逼真和身临其境，这可能会解决医学生的上述问题[30]。数字化手术视频可以通过高度沉浸式和逼真的HMD随时随地观看，使医学生和住院医生可以通过重温手术来传递特定于手术的隐性知识[31]。3D全息图有助于通过立体视觉提高直观理解和空间意识。使用3D全息图进行医学生解剖学教育的其他优势包括24小时免费访问和游戏化元素，这有助于提高满意度[32]。

6. 远程医疗

混合现实技术为多学科团队提供了更高效的术中沟通和协作方式。MR技术可以使医疗团队共享同一视野下的虚拟信息，使医生与医师之间的沟通更加方便直观[33]。COVID-19大流行对社会产生了负面影响，但也产生了积极影响，包括远程教育、远程手术、远程康复等，促进数字化转型[34]。目前混合现实远程技术应用于颅颌面外科的研究较少，但MR技术可以实现对于医学生的远程教育，患者的管理和护理，实现远程康复[35]。利用远程医疗平台。在远程专家会诊过程中，可以利用MR技术对手术过程进行真实的指导，使远程会诊变得更加方便和直观。但通过头戴式显示器或颅颌面外科的HMD通过网络收集个人信息，记录和分享个人数据可能会威胁到个人的隐私[36]。

7. 展望

随着混合现实技术的不断发展，其在颅颌面外科领域的应用前景十分广阔。未来，混合现实技术有望在以下方面取得突破：1) 通过优化算法和提高硬件性能，进一步提高混合现实技术在处理医学数据时的能力。2) 随着技术的成熟和市场的推广，混合现实技术的成本有望降低，使其在更多医疗机构得到应用。3) 拓展应用领域：混合现实技术不仅在颅颌面外科领域具有应用潜力，还可在其他医学领域如心血管外科、神经外科等得到广泛应用。4) 个性化医疗：通过混合现实技术，医生可以根据患者的具体情况制定个性化的治疗方案，实现精准医疗。总之，混合现实技术在颅颌面外科领域具有广泛的应用前景。随着技术的不断发展和完善，混合现实技术在颅颌面外科领域的不断创新和应用，标志着医学领域的一次技术变革，将为手术医生、医学教育和患者带来巨大的益处。