虚拟交互技术在康复机器人中的应用

Application of Virtual Interaction Technology in Rehabilitation Robot

摘要: 世界范围内有数量庞大的卒中患者群体，大多都存在认知功能障碍。虚拟现实技术因其优秀的人机交互性，在康复领域有广泛的应用前景。结合虚拟现实技术的康复机器人在神经治疗上效果显著。本文从虚拟环境、人体信息采集、虚拟环境中的信息反馈三个方向，介绍了VR技术在康复机器人中的应用形式，同时总结了此技术应用的发展趋势，这为相关领域的研究工作提供新的思路和方法。

Abstract: There are a large number of stroke patients worldwide, most of whom have cognitive impairment. Because of its excellent man-machine interaction, virtual reality technology has a wide application prospect in the field of rehabilitation. The rehabilitation robot combined with virtual reality technology has a remarkable effect on nerve treatment. This paper introduces the application form of VR technology in rehabilitation robots from three directions of virtual environment, human body information collection and information feedback in virtual environment, and summarizes the development trend of the application of this technology, which provides new ideas and methods for the research work in related fields.

1. 引言

科技的快速发展，提高了人们对生活质量的追求，大众越来越重视术后的肢体功能恢复。全球范围内，人口老龄化已成为突出的热点问题，并且脑卒中、老年痴呆等退行性疾病常发生在老年群体，大多数患者存在肢体运动障碍。面对庞大的病患群体，传统康复手段中患者与治疗师间一对一的治疗方式已经不能满足需求，早期康复治疗直接影响患者术后康复效果。康复机器人一方面解决了医院医疗资源有限的困扰，另一方面降低康复治疗的成本，提高治疗效果。广义上的康复机器人包括功能康复、康复治疗与复合功能三大类 [1] 。按照肢体训练部位差异，康复机器人可以分为多体位全身式康复机器人、上肢康复机器人及下肢康复机器人三种类型。按照运动方式，分为牵引式康复机器人、悬挂式康复机器人及外骨骼康复机器人三种形式 [2] 。

近几年，随着VR技术的快速发展，康复机器人与虚拟现实结合的新范式已成为热点研究。虚拟现实技术是卒中康复过程中的重要辅助技术，虚拟康复训练利用神经生物学的原理，通过视觉反馈对中枢神经刺激，调动肢体恢复机制 [3] 。传统的力反馈康复机器人虽然可以实现患者与机器人的交互，但不能充分调动患者的积极性，而应用VR技术的康复机器人却可以实现与患者实时多信息反馈，可以减少患者使用机器人时的心理障碍，提高康复治疗的效果。

2. 虚拟现实技术介绍

虚拟现实技术具备沉浸感、想象性及交互性的特征。VR是通过计算机创建虚拟环境，结合三维定位、传感器、计算机仿真及人工智能等技术。使用者通过虚拟代理在虚拟环境中进行相应的操作，视觉、触觉等多信息反馈系统可以增强使用者的临场感，产生身临其境的感觉。

2.1. 虚拟现实技术的发展

VR技术始于20世纪60年代，早是由美国VPL公司在上世纪80年代提出的，也称为灵境技术。此后虚拟现实技术逐步在游戏领域生根。早期被应用于游戏、军事、太空探索等，包括虚拟战场、火星虚拟世界等。虚拟现实技术在康复机器人领域中起步较晚，因其设备价格昂贵，且在实际应用中，缺少新的交互范式，导致发展速度缓慢。美国麻省理工大学在1991研制出MIT-MANUS机器人 [4] ，可以帮助患者在肩、肘和手在水平面和竖直面内运动。治疗过程中，病人的手臂按照计算机上的特定轨迹运动，屏幕上显示出患者运动轨迹，通过调整轨迹使其重合，达到康复治疗的目的。

直到21世纪，随着人机交互领域关键的人、事件、思想和范式的变迁以及用户模型的不断完善 [5] ，VR技术逐步在康复医疗行业生根发芽。其中桌面式、沉浸式、分布式虚拟现实技术在康复机器人中的应用最广，对应的技术有位置跟踪器、头戴式显示器、互联网。2012年之前，大众对VR技术的认知还很模糊，因Oculus的出现，才将这项技术带入大众的视野里。随后的几年内，虚拟现实技术的发展出现了井喷现象。VR技术涉及的技术领域广泛，对硬件的要求很高，很多技术上的难题限制了它的发展。

2.2. 虚拟现实技术与人机交互

人机交互技术包括传统的硬件设备交互、语言识别交互、触控交互、动作识别交互(体感交互)、眼球跟踪交互、脑波交互等。虚拟现实不单单是基于虚拟环境的视觉交互，它是多种人机交互技术的融合形式，其基本要素包含图像、显示、跟踪、声音。相比其它交互形式在康复机器人中的应用，虚拟交互打破原有的交互形式单一，训练过程枯燥乏味，不够智能的局面。头戴式显示器、3D音响、交互手柄可以帮助使用者进入虚拟世界。丰富的虚拟环境可以为患者提供训练信息，纠正不标准动作，增强患者的积极性，激发其潜能，提高治疗效果。同时在康复疗法上，与平衡训练、认知训练也有较高的契合度。

3. 虚拟现实技术在康复机器人中的应用形式

现代康复理论中，可以将康复分为康复诊断评定类、物理因子治疗类、运动治疗类、作业治疗类和言语、认知治疗类等 [6] 。VR技术广泛应用于医疗卫生领域，尤其在认知康复取得重大突破，主要包括注意力、记忆力和执行功能等认知模块 [7] 。相比于传统的物理交互，基于虚拟交互的认知康复训练更受老年患者青睐 [8] 。患者在与虚拟环境进行交互的过程中，沉浸性非常重要，这与康复治疗的最终效果直接挂钩，如何提高患者在虚拟现实环境中的沉浸性，一直是此项研究的重点。国内外学者，分别从虚拟环境、人体信息采集与虚拟环境反馈三个方面入手，致力于多信息融合系统的开发。

3.1. 虚拟环境

虚拟环境是虚拟现实技术重要组成部分，虚拟代理是使用者在虚拟世界中的现实投影，可分为肢体代理和非肢体代理。目前主流的VR开发软件有Unity、Unreal Engine、Maya等，其中U3D因具备多平台兼容性，更受开发者的青睐。

康复机器人的训练模式有主动训练、被动训练、阻抗训练和健患侧训练，刘鹏等人 [9] 融合虚拟现实技术和训练模式的特点，基于康复训练基础理论和主动康复训练的特点设计VR游戏，设计了基于VR游戏引导患者自主运动意识的主动和阻抗训练模式，实现5款训练目标明确，具有重复训练功能的VR游戏。Bernardoni F等人 [10] 也将虚拟现实环境与不同机器人的训练策略结合，其中学习任务是专门设计用于内隐学习。

对患者群体分析，研发出具有针对性的严肃游戏，如肢体康复中关键运动、认知康复中的逻辑训练和日常生活能力训练等。意大利Topini A等人 [11] 提出了基于手部外骨骼的可变导纳控制系统，此系统可以模拟现实生活中的操作任务。并且添加了碰撞检测模块，根据患者的表现，实现调整康复训练的难度。也可以根据操作强度，重新配置游戏，以满足患者的需求。西班牙学者 [12] 介绍了一种低成本的肘关节外骨骼机器人，机器人的亮点之处是生成新训练的智能能力，帮助用户进行训练及训练特性的动态调整。就肢体康复而言，北京航空航天大学的学者 [13] 设计了一个上肢康复的虚拟康复训练场景，实现了虚拟场景的三维展示，并且满足多种训练模式，对患者进行针对性的康复治理。三维游戏与康复机器人训练动作完美结合，患者在立体空间内训练远比二维平面的沉浸性好。

患者在使用虚拟现实与康复机器人结合的设备时，康复机器人通常不会出现虚拟环境中，导致患者看到的和感觉到的东西存在视觉、触觉等冲突 [14] 。山东大学的刘方泉等人 [15] 基于上肢5自由度外骨骼康复机器人，提出了一种新的虚拟现实构建方法设计的虚拟人体模型，虚拟人可以实时跟踪患者在康复虚拟训练场景中移动，真实反馈患者手臂的运动状态。Covaciu F描述了一种虚拟现实模拟器 [16] ，将机器人的三维模型导入在U3D中，与虚拟环境中的虚拟人模型结合，可以通过人机交互界面控制机器人对患者下肢进行康复训练。虚拟人可以让患者以第三人称视角获得更多信息，降低操作难度，但相比于第一人称其沉浸感明显不足。

虚拟治疗师主要是基于语音进行教学的。通过使用丰富的人类、手势和感情的视觉表现，以自然的对话语音来安慰、引导和激励患者来提高可信度和期望，进而来改善康复过程中心理状态及康复效果 [17] 。Alqithami设计了一种虚拟治疗师(AR-Threapist) [18] ，基于虚拟现实游戏的环境来模仿治疗师的角色，从而为每一个有需求的患者提供实时帮助，具备优秀的适应性、智能性、响应性和准确性。

3.2. 人体信息采集

在与虚拟环境交互的过程中，人体信息采集主要是实现用户与虚拟代理间运动同步。其中包括现实中的运动在虚拟环境中的动作再现。人体信息采集可分为信息类别、采集设备两部分。信息类别有关节运动角度、肢体运动速度、运动力、生物电信号等，这些信息是虚拟环境的重要输入。治疗师可以根据角度、速度、力判断患者康复训练时动作的标准性。早期在康复机器人中应用的虚拟现实技术，是利用鼠标、键盘作为采集工具。现代康复机器人基本上都搭载力/力矩传感器和位置传感器，获取使用者的力和位置参数。

Figure 1. ARMIA wearable device

图1. ARMIA可穿戴设备

可穿戴设备具备优秀的信息采集能力，因设备重、需要穿戴且价格昂贵，很多中小医院承担不起。西班牙学者 [19] 提出了使用ARMIA等可穿戴技术，如图1所示，设备ARMIA可以采集人体运动信息。此技术是结合严肃游戏和可穿戴运动学传感器的远程康复系统，可以降低康复治疗成本，为更多中小医院提供可靠、有效的治疗方案。相比传统设备，柔性可穿戴设备具有轻便、舒适度高、应用范围广等优点。武汉大学 [20] 开发了一种由LN型光纤结合可拉伸基板组成的仿生可拉伸光学应变传感器，传感器对大拉伸应变和弯曲角度敏感。如图2所示，这种柔性可穿戴设备可以为关节和肌肉损伤的患者开发沉浸式康复训练系统。

Figure 2. Prototype of the third generation elbow and wrist rehabilitation robot

图2. 第三代肘腕康复机器人样机

在康复训练过程中，人的肢体尺寸存在差异，会出现肢体运动与虚拟代理运动不匹配的现象。燕山大学的王冬华 [21] 在课题室已有腕肘康复机器人的基础上，通过新增设的弹性移动副，对人体前臂长度进行识别，实现肘关节角度修正，进而提高康复运动控制控制精度。此设计解决了训练过程中因人机运动轴线不重合带来的关节康复角度不准确。

重庆大学 [22] 开发了一种基于Kinect的虚拟现实康复系统，患者可以通过Kinect传感器控制虚拟场景中的角色，根据指导完成训练动作。Cha K等人 [23] 开发了一种可用于上肢康复的新型虚拟现实康复系统，通过两台摄像机采集运动视频，采用Open Pose进行图像算法识别，基于TCP/IP网络架构实现患者与虚拟环境间的动作同步。摄像机和深度相机都可以跟踪用户的连续动作，跟踪点的数据包括位置、方向或者加速度等信息，其具有结构简单，轻便可携带等优点。图像识别是此技术的核心，因此需要在有稳定光源的环境下进行使用。为了提高虚拟模型运动实时效果和上肢康复训练精度，杜豪等人 [24] 采用Noknv光学三维动作捕捉系统实时测量上肢在运动空间的位置变化参数，通过引入交互节点实现运动场景坐标系和摄像头坐标系的转化。

肌电信号和脑电信号都属于生物电的范畴，人体运动是由这些电信号驱动的，对采集的EMG和EEG信号进行处理，可以用于预测人体的运动意图，提高虚拟环境的响应速度。房华蕾等人 [25] 设计了一种基于肌电惯性信号的手部训练策略，通过对健侧肌电信号的运动意图识别来控制穿戴机械手的患侧训练。张桃等人 [26] 介绍了一种基于运动想象脑机接口的康复系统，虚拟环境提供有效的视觉反馈，让患者不断调整自己的状态产生更易识别的EEG信号，结合脑机接口技术(MI-BCI)，使患者主动参与康复训练并促进基于中枢神经的重塑。除了人体生物电信号外，Zhang Q [27] 提出了基于摩擦电动纳米电机(TENG)的可穿戴腰部动作捕捉设备，该设备集成了四个摩擦电传感器，根据腰部运动输出不同的信号，实现机器人与虚拟环境的实时操作。

3.3. 虚拟环境中的信息反馈

信息反馈是指将虚拟环境中的信息通过设备转化为患者能够接收的信息，患者再根据这些信息操作，构成一个闭环系统。理想的虚拟环境可以为患者提供一个多源的信息反馈，包括视觉、听觉、触觉、力反馈等，但目前的康复设备大多只能提供视觉和听觉。随着医疗水平的发展，传统的单一反馈已经不能满足患者的康复治疗。

沉浸式虚拟现实与软机器人相结合，可以协同创造个性化的辅助治疗方法。Elor A等人 [28] 研究了一种新的虚拟康复方法，名为蝴蝶项目，它将虚拟现实镜像视觉反馈治疗与柔性机器人外骨骼协同使用，如图3所示。通过跟踪和保护虚拟蝴蝶，获得沉浸式游戏物理治疗体验，激励并帮助患者进行双侧身体运动。

Figure 3. Flexible robotic exoskeleton

图3. 柔性机器人外骨骼设备

王昱等人 [29] 以自主研发的末端上肢康复机器人为基础，研究基于力跟踪的视觉与触觉反馈融合技术，分别为两物体间靠近时的排斥力以及物体在介质平面移动时的摩擦力，采用基于力跟踪的机器人控制算法将虚拟环境中构建的力反馈通过操纵杆传递给用户。此技术可以在虚拟环境中自由构建力学模型，力反馈模型不受空间位置的限制，且同一位置可以叠加力学模型，从而让力反馈效果与虚拟环境中的视觉反馈更加匹配。

Wang C等人 [30] 开发了一款名为CASIA-ARM II的末端牵引的上肢康复机器人，它提供水平面上两个自由度的移动。该机器人由五个旋转关节组成，形成一个五杆平行机构，其中两个基座分别由直流电机驱动，其余的均为被动关节。该并行机器人结合高度可反向驱动的皮带传动系统，具有运动惯性小，末端执行器反射的摩擦力小，有利于兼容人机交互。机器人末端安装了一个六轴力/扭矩(F/T)传感器可以测量人机交互力。此外，基于Unity三维引擎开发了虚拟现实训练环境，旨在通过触觉反馈最好地促进手眼协调能力。新加坡学者Xinqin Liao [31] 提出了一种复合材料制成的触觉传感器，力检测范围是普通传感器的13倍，具备高灵敏度、快速响应和高稳定性的优点。此传感器可以将力量精确的转化为虚拟环境中的代理控制，在虚拟现实交互方面有巨大潜力。

杨磊等人 [32] 设计了一种带有交互式系统的便携式手功能康复机器人设备，如图4所示，引入虚拟现实和力感知在内的交互系统来检测手部运动和碰撞。用力感知的手部康复可以使患者积极参与，提高康复效果。此设备重量小，且配备便携式平板电脑，适用于医院以外的场所进行康复治疗。

Figure 4. Portable hand function rehabilitation robot

图4. 便携式手功能康复的机器人

4. 虚拟现实相关技术

4.1. 人机交互控制技术

人机交互控制可以为患者创造一个安全、舒适、自然且具备主动柔顺性的训练环境，避免患肢患肢由于痉挛、颤抖等异常的活动而与机器人对抗，保护其不会受到二次损伤 [33] 。根据获取主动运动意图时所使用的信号差异分为：1) 力位混合控制；2) 阻抗控制；3) 基于肌电信号的交互控制；4) 基于脑电信号的交互控制。人机交互控制是康复机器人设计中的一大难题，人的运动轨迹具有很大的随机性，难以进行建模和预测。为了提高VR中模型的跟踪性能，林慕松等人 [34] 设计了一种具有可变刚度项的导纳控制定律来定义末端执行器，自适应控制器通过补偿相互作用力和动力学模型偏差来提高跟踪性能。此控制方案，减少人机交互时模型跟踪误差。英国的Samuel Wilson等人 [35] 介绍了一种用于惯性测量的新型传感器融合算法，此算法在虚拟现实与14自由度机器人基础上，实时进行可穿戴式机器人的远程操作，操作的机器人就像自己的肢体一样，有效改善了感觉不匹配的问题。新型传感器融合算法可以将更多的身体带入虚拟环境中。在远程康复中，虚拟环境提供的物理反馈过于激烈，也会导致患者在使用设备的过程中二次受伤，需要对反馈信息加以控制，才能确保治疗的安全。

4.2. 虚拟人技术

骨骼和关节为人体运动运动过程中的支撑结构，带动着附着其上的肌肉和皮肤等组织进行运动，在人体运动模型建模时，以骨骼和关节为主体，忽略了皮肤和肌肉等，简化模型为骨骼绕着关节进行旋转运动 [36] 。人体动作捕捉应用中，常见的方式有机械式动作捕捉、超声动作捕捉、电磁动作捕捉、光学动作捕捉、基于惯性传感器的动作捕捉 [37] ，通过识别关键骨骼节点构建虚拟人的。早期的动作识别关注点在肢体的粗大动作上，它并不能完整的将肢体信息表达清楚，通过新增手指等局部的关节节点，可以实现人体的精细动作捕捉。将骨骼模型和骨骼蒙皮结合，赋予蒙皮不同的权重，可以创建简单的虚拟人。人体的特征还包含面部表情，皮肤，体态等。体态和皮肤都可以通过蒙皮实现，而面部丰富的表情则需要通过新建关节节点。

5. 展望

在康复医疗方面，国内虚拟现实技术应用较晚，因VR技术本身依赖昂贵的设备，以及相关康复理论任处于验证阶段，致使其发展存在很多局限。为了普及相关技术，降低患者的治疗成本，故在设计开发VR时需要考虑降低成本。VR技术的快速崛起得益于传感器技术，改进算法可以精确、快速采集人体信息，提高交互效率。为了进一步提高VR的响应速度，国内外学者开始研究肌电和脑电技术，生物电反馈技术任处于起步阶段，采集的电信号内容较少，并不能实现真正的无障碍交互。

VR技术在认知治疗上的显著效果是公认的，面对不同的患者群体，因文化属性、年龄、性别、教育等差异，只有针对性的虚拟环境和治疗方法才能提高患者的治疗效果。通过与不同康复理论结合，如镜像疗法、平衡疗法等，为虚拟现实技术在康复机器人中的应用拓展了新的思路，促进了VR技术的发展。

6. 总结

虚拟现实在康复机器人中的应用可以分为三部分：1) 针对患者的病症和机器人的运动模式设计对应的虚拟环境，提高患者进行康复运动时的积极性，进而提高机器人的治疗效果。如脑瘫患者存在认知功能障碍，就要求虚拟环境具备重复训练强化记忆的能力。2) 利用虚拟现实技术进行远程康复，治疗师可以根据虚拟人的运动情况判断患者的治疗情况，也可以通过虚拟人对患者的动作进行远程指导。远程虚拟康复治疗，打破了原有患者只能在医院才能享受到的一对一康复治疗服务，患者与治疗师间可以双向选择，节省医疗资源。3) 虚拟现实技术研究的核心之一就是提高沉浸性，让使用者有身临其境的感觉。创造沉浸式的多信息融合训练环境，可以明显改善患者进行康复训练的投入程度，降低用户使用康复机器人时的抵触心理。我相信经过众多学者的努力，结合虚拟现实技术的康复机器人会普及到每一位患者身边。

项目基金

国家自然科学基金(No.61963007)，深圳市基础研究面上项目(JCYJ20210324122200002)，广东省基础与应用基础研究基金(No.2021A1515011907)，广东省医学科学基金(No.B2021020)，深圳市大鹏新区医疗健康集团医疗卫生科研项目(2021JTLCYJ03)。

NOTES

^*第一作者。

^#通讯作者。