1. 引言
当前老龄化社会背景下，脑卒中及相关上肢运动障碍发病率持续上升，对高效康复训练系统的需求日益增强[1] [2]，上肢功能障碍成为康复医学中最常见的训练对象之一。传统的康复训练通常依赖于临床治疗师的手工指导，存在效率低、成本高、反馈延迟等问题，严重制约了康复质量的提升。近年来，虚拟现实(Virtual Reality, VR)与可穿戴感知设备的快速发展为康复医学注入了新的技术活力。
虚拟现实与IMU传感技术近年来在人体运动识别[3] [4]、感知交互[5]及康复辅助中被广泛研究[6]-[8]。虚拟现实技术能够构建高度沉浸的交互环境，为患者提供情境化、任务导向的训练情境，从而显著提升康复训练的参与度与主动性，但是沉浸感较弱，惯性测量单元(Inertial Measurement Unit, IMU)作为低成本、轻量级的人体动作感知方案，可实现用户动作姿态的实时捕捉与映射控制，为交互式康复提供自然、高效的输入通道。多传感器融合与动作建模方法在康复训练系统中逐步成熟，已成为人机交互控制的新趋势[9] [10]。本系统结合VR与IMU技术，构建了一套沉浸式的上肢康复训练系统。通过设置趣味性强、任务明确的训练目标，并辅以多模态反馈机制，旨在提升患者训练的交互体验和功能恢复效果。本研究的目标在于探索一条技术可行、成本可控、用户友好的康复训练新路径，并通过初步实证验证系统的可用性和有效性。
2. 系统总体设计
本系统旨在构建一套集虚拟交互训练、姿态感知控制、数据反馈机制与可扩展架构于一体的沉浸式康复训练平台。系统整体结构遵循模块化、低延迟、高交互性原则，结合Unity 3D虚拟训练环境与IMU传感器技术，实现自然交互与实时反馈，具备良好的可穿戴性与实时性[11]-[14]，形成从用户动作采集到虚拟反馈的完整闭环流程。整体架构分为四大核心功能模块：虚拟训练场景、人机交互模块、传感器模块、实时反馈与控制模块。如图1，各模块协同运行，共同构建沉浸式训练任务环境并实现自然、实时的交互体验。
Figure 1. Framework of the designed rehabilitation training system
图1. 系统框架
虚拟训练场景模块作为系统核心执行环境，主要负责训练任务逻辑的实现与3D场景的渲染。场景基于Unity 3D开发，引入高互动性游戏化机制，通过三维建模还原真实物理空间与动态交互目标。系统支持双通道人机交互方式，分别为鼠标输入模式与基于IMU的姿态控制模式。前者用于场景调试与功能验证，后者为正式康复训练的主要交互方式。在人机交互过程中，用户通过佩戴IMU600模块于腕关节部位，系统实时解析其上下、左右两个自由度的姿态角(Pitch和Yaw)，并将其映射为Unity场景中“光刀”的二维移动轨迹，实现动作到虚拟控制的自然过渡。姿态感知与数据采集模块负责完成IMU传感器与上位机之间的通信，实现动作姿态数据的采集与实时传输。系统采用IMU600惯性测量单元，内部集成三轴陀螺仪与三轴加速度计，可连续采样并计算出当前姿态角信息。为提升康复训练的沉浸感与任务导向性，系统设计了多种实时反馈机制，包括视觉动画反馈、音效提示与分数更新UI。以及负责游戏状态控制逻辑(开始、暂停、结束)，并为训练过程数据记录与评估提供实时接口。整体控制逻辑由GameManager脚本管理，结合事件监听机制触发界面状态与反馈更新。
3. 虚拟训练场景设计与实现
为提升康复训练过程中的交互性与沉浸感，本系统构建了以“水果忍者”为交互原型的虚拟训练场景，结合康复医疗中对反应速度、上肢协调性及精细运动能力的训练需求，重构游戏任务结构与反馈机制。该场景不仅作为用户进行上肢运动交互的主要环境，还承担数据采集、动作映射、反馈响应的综合载体。
3.1. 三维模型设计与导入
虚拟场景中的所有交互目标物体均采用3dsMax软件进行建模，模型包括各类可切割对象(苹果、香蕉、猕猴桃、椰子)与不可切割对象(炸弹)，在3dsMax统一导出后导入Unity引擎。如图2，每个模型在Unity中都被赋予刚体(Rigidbody)和碰撞体(BoxCollider或MeshCollider)属性，用于实现物理抛射、碰撞检测与交互判定。此外，所有目标对象均绑定唯一标识(Tag)，用于脚本中快速识别与分类处理。
Figure 2. Model import
图2. 模型导入
3.2. 虚拟训练场景构建
虚拟场景使用Unity主摄像机构建为二维投影环境，背景设定为简洁柔和色调，减少视觉干扰。用户操控“光刀”位于屏幕前景层，以捕捉从场景底部随机抛出的目标物体。系统采用任务驱动设计(Task-Oriented Design)，每次训练包含若干轮目标生成任务，完成指定命中数量后系统进入休整状态。物体从屏幕下方以一定速度沿随机方向抛出，形成变速、变向的抛物线轨迹，用户需通过上肢运动控制刀具完成追踪与击中操作。如图3，TargetSpawner脚本使用InvokeRepeating()函数定期生成目标；每个目标被赋予随机化初速度向量(Vector3(x, y, 0))；Rigidbody.AddForce()控制其模拟真实重力下的抛射过程；销毁逻辑在对象超出摄像机视野后自动触发，避免资源积压。
Figure 3. Task-driven scripting
图3. 任务驱动脚本
3.3. 功能控制与反馈逻辑
通过对象池机制(ObjectPoolManager)与目标生成逻辑(TargetSpawner)结合[15] [16]，完成目标生成的资源优化与频率控制，如图4。每轮训练过程中，目标类型与抛出间隔通过Random.Range()函数进行伪随机调度，确保训练任务组合的多样性与动态性。
命中判定逻辑由Unity物理系统控制，通过Physics.Raycast()检测“光刀”路径与目标之间的交互，或使用OnTriggerEnter()实现碰撞响应。命中后，系统根据目标类型(通过Tag区分)执行不同反馈路径，激活绑定粒子系统并播放预设动画、播放命中类型对应的音效、实时更新得分与连击状态UI元素三方面不仅兼具趣味性，还具备康复实效[17] [18]。系统设定每次命中有效目标可获得不同的基础得分，若连续命中间隔小于预设阈值，将激活Combo逻辑，产生附加加分与动画提示。误击炸弹类目标将导致生命值扣减(−1)，并触发屏幕提示与爆炸反馈。系统状态管理由GameManager统一控制，采用状态机机制，并通过UI界面触发状态切换，实现训练流程的可控转移。
Figure 4. Flowchart of the virtual reality
图4. 运行逻辑
4. UI与交互反馈设计
系统界面采用Unity引擎内置的Canvas系统构建基础UI层，配合得分逻辑、目标交互状态与训练流程状态控制模块，如图5，实现了训练过程中必要的用户界面交互与反馈提示功能。当前UI界面主要包含以下核心元素：得分显示、生命值条、连击提示与训练状态信息。上述UI元素在训练过程中实现与“光刀”命中逻辑同步更新，当用户成功命中目标后，系统实时更新得分值并在屏幕上进行数字提示；当误击炸弹时，生命值图标会减少，形成显著的操作反馈。为提升患者的参与度，本游戏在UI设计方面结合视觉效果、互动操作以及反馈机制进行了一些设计，以吸引患者主动参与游戏康复训练，提升沉浸感、持续性和参与度。
Figure 5. Gama
图5. 游戏
4.1. 视觉设计
区别于一般的游戏，考虑到康复患者的肢体功能处于需要康复的阶段，不如健康人群肢体灵活敏捷，在进行图标包括游戏中的元素设计时，更加注重分布清晰、颜色鲜明、元素模块不宜过小，以达到方便康复患者操作的目的。根据不同程度的康复患者以及同一患者康复训练的不同阶段，在游戏中水果的选择上，设定水果的体积由大到小，例如康复初期训练中，初阶的水果选择哈密瓜、西瓜等大体积的，患者容易命中，而康复后期，患者的功能得以一定程度的恢复之后，则选择较小体积的水果，例如葡萄、苹果等。
4.2. 互动设计
在游戏设计中，增加用户之间的分享与互动功能，通过增加社区互动模块，康复患者可在游戏中进行沟通和交流，分享游戏心得或康复经历，在互动的过程中获得他人的认可和赞美有利于自尊心与自我满足感的提升，从而更积极地参与到康复游戏中。此外，分享功能还有利于游戏产品的推广，让更多的康复患者了解和加入该游戏。
4.3. 激励机制
美国心理学家和行为学家斯金纳提出的“斯金纳强化理论”中提到，当人们对周围的人或者环境采取某种行为后，得到正面或积极的结果，这种结果可以反作用于人们本身，并促使人们不断重复这种行为。这种理论已经被广泛应用于游戏设计中。本游戏中，通过设置登录奖励积分，每日登录可奖励一个积分，连续登录一周额外奖励五个积分，积分可兑换游戏失败后的重玩机制。同时，在游戏闯关成功之后，通过出现大拇指点赞等图标设计，并进行阶段性的积分奖励，闯关成功奖励，将奖励机制循序渐进地融入游戏全程，以维持玩家的热情，鼓励和吸引玩家持续投入游戏，以达到康复的目的。当然，考虑到防沉迷机制，在系统中增加每日游戏时长的限制，结合每位患者的实际情况设置对应的游戏时长限制。
Canvas界面中还设置了用于训练流程管理的控制面板，包括暂停界面与结束界面。在训练过程中，用户可通过特定按键或UI按钮进入暂停状态，并在训练结束后跳转至结果面板展示最终得分与训练时长。UI显示区域布局简洁，位置安排贴合主视觉区边缘，以避免遮挡用户主要视野。
在训练交互过程中，用户交互以IMU姿态角映射为基础，UI反馈与系统内粒子系统、音效反馈相配合，形成完整的训练反馈闭环，提高了操作自然性[19] [20]。通过视觉、听觉、数据三维通道的融合设计，系统增强了用户对训练操作效果的即时感知与参与动机。
上述虚拟训练场景不仅在交互表现上接近真实手部运动轨迹，其结构化任务流程也支持逐步推进的康复干预策略。通过设定不同抛物速度、目标密度与目标类型比例，可调节任务难度，满足不同阶段用户的能力挑战。多模态反馈(视觉 + 听觉 + 数据)可增强大脑感知通路刺激，有助于神经肌肉重建。游戏化积分与奖励机制可显著提升训练参与度，特别适合长期训练依从性较差的用户。
5. 人机交互设计
系统采用IMU600惯性测量模块作为主要的数据输入设备，将其固定于用户的腕关节部位，以获取上肢运动的实时姿态信息，如图6。该模块内嵌三轴加速度计与三轴陀螺仪，可分别捕捉手部在空间中的线性加速度与角速度数据。通过集成数据融合算法，可对运动状态进行高精度姿态捕捉，输出包括Pitch、Yaw与Roll在内的欧拉角姿态数据。本系统性能数据如表1所示，所采用的IMU600惯性测量单元具备250 Hz高帧率输出与3 ms低通信延迟特性，确保在动态交互过程中提供高频率、低延迟的数据更新支持。模块内部集成九轴惯性融合系统，包括三轴加速度计、三轴陀螺仪与三轴磁力计，结合先进的抗干扰姿态融合算法，可在复杂环境下实现高稳定性的姿态解算。根据实测，在动态运动状态下，IMU解算的姿态误差可控制在±0.5˚以内，满足上肢康复训练中对精细动作捕捉与反馈响应的实时性与准确性要求。
Figure 6. Human-computer interaction
图6. 人机交互
Table 1. System performance
表1. 系统性能
回传帧率 |
通信波特率 |
通信延迟 |
姿态角度误差(静态) |
姿态角度误差(动态) |
250 Hz |
2 Mbps |
10 ms |
±0.1˚ |
±0.5˚ |
如图6，在IMU控制模式下，系统根据传入的姿态角数据进行二维空间映射控制。其中，Pitch角度映射至垂直方向(上下)，Yaw角度映射至水平方向(左右)，以控制虚拟“光刀”的二维平面移动。通过姿态角的持续更新实现动作的实时同步，用户无需借助传统操控器，即可自然地控制虚拟工具的运行轨迹。这种基于IMU的交互逻辑不仅保证了响应速度和控制精度，也极大降低了学习成本，提高了系统的普适性与易用性。
在数据传输方面，系统使用ZigBee通信协议将IMU所采集的数据通过串口方式实时传输至主控PC端，确保数据延迟可控在10 ms以内。主机程序端接收到原始数据后，首先进行姿态解码与滤波处理，并通过四元数与欧拉角的转换公式进行空间姿态转换，从而控制Unity中“光刀”的旋转与位移。此过程建立了虚拟对象与用户上肢运动之间的实时映射关系，实现自然、流畅的空间动作控制体验。
为进一步提升交互的准确性与稳定性，系统引入低通滤波器去除原始数据中的高频噪声，结合互补滤波算法提升旋转角度的动态响应效果。整体控制机制在保证运动同步性的同时，也避免了常规欧拉角在大角度旋转中易出现的万向锁问题，确保虚拟空间中“光刀”动作的物理一致性和空间逻辑合理性。通过该交互方式，用户无需手持设备即可实现自然的动作控制操作，极大地降低了训练的物理负担并提升了系统的适用性。
6. 系统实现
系统主控制逻辑由五个核心部分构成，分别为：游戏状态管理、UI反馈管理、目标物体交互检测、切割效果管理(粒子系统)以及音效与提示模块。通过C#脚本实现并在Unity引擎中按模块化架构进行调度与协同工作。游戏状态管理主要负责训练流程的生命周期控制，包括初始化、运行中、暂停、结算和重启等状态的管理。如图7，系统采用状态机模式(State Machine)，确保不同状态间的转换稳定，并通过事件机制触发各模块联动响应。
Figure 7. Flowchart of the system
图7. 系统流程图
Figure 8. Motion trajectory
图8. 运动轨迹图
UI反馈管理基于Unity的Canvas系统实现动态信息展示，实时反映当前得分、生命值、连击状态及主菜单信息。通过SerializeField接口关联界面文本元素，并在状态变化时通过脚本调用更新UI组件，实现训练过程的可视化反馈。目标物体交互检测使用基于射线碰撞(Raycast)与目标层识别机制(LayerMask)进行目标判定。当刀具移动并与目标物体产生交互时，系统通过射线检测目标位置与类型，并执行相应的响应操作，如得分累计、生命扣除或触发Game Over流程。切割效果管理通过粒子系统(ParticleSystem)为每类目标物体配置对应的溅射动画，实现高度拟真的切割反馈。每个模型对象切割后均附带独立的粒子动画预制体，实现可定制化的视觉反馈效果。音效与提示集成多组音效库，使用AudioSource动态加载播放切割、连击、失败等情境音效，并结合状态逻辑决定播放时机。不同类型的目标(水果、炸弹等)触发不同音效反馈，增强用户在操作中的沉浸感与事件感知力。
为进一步验证系统在真实运行中的姿态解算与控制效果，本文记录并分析了用户在40秒训练过程中的姿态数据轨迹图。如图8所示，IMU模块采集到的Pitch与Yaw姿态角变化构成二维运动轨迹，可清晰反映用户手部在虚拟空间中的操作行为。该轨迹图展现了用户在虚拟场景中控制“光刀”执行目标切割任务时的连续运动路径，轨迹分布覆盖范围均匀，变化平滑，未出现明显跳变或抖动，说明系统整体响应稳定、姿态映射自然。通过分析轨迹密度与切换频率，可辅助评估用户的训练强度与运动协调性，为后续康复效果评估提供数据支持。
7. 结论与讨论
本研究面向上肢功能障碍康复训练场景，设计并实现了一套融合虚拟现实(VR)与IMU姿态感知技术的沉浸式交互系统。系统以经典游戏“水果忍者”为交互原型，构建任务导向的训练环境，用户通过佩戴于腕部的IMU装置实现上肢运动与虚拟“光刀”控制之间的实时映射，完成对抛物目标的精准切割操作，从而训练其反应能力、动作协调性及运动控制能力。
系统采用Unity 3D作为开发平台，构建了涵盖三维建模、目标生成、碰撞检测、状态切换、得分反馈等功能的训练场景。人机交互模块设计支持基于IMU的二维姿态控制，结合串口通信机制与多线程数据解析，在保持输入响应稳定性的同时，确保控制过程的低延迟性和高同步性。通过模块化结构构建的主控制逻辑，实现了从数据采集、姿态解析、场景控制到多模态反馈的闭环运行体系。系统运行过程中可提供粒子动画、音效提示与实时UI反馈，有效增强训练的沉浸感与任务动机。
项目整体设计遵循“功能性与趣味性融合”的康复交互系统理念，具备部署成本低、用户操作自然、交互反馈完整等特征，适用于家庭、社区及基层医疗康复环境的辅助训练使用。同时，系统支持任务内容扩展、训练强度调节及远程通信集成，为构建个体化、智能化、可追踪的康复平台提供了技术基础。
尽管系统在功能性与沉浸感上取得了初步成果，但仍需通过大样本临床测试验证其稳定性与长期疗效[7] [8]。未来研究将围绕融合多模态传感器(如肌电、力反馈)、引入康复评估模型、构建远程医生协同平台等方向展开，实现更高精度的感知融合控制[20]-[21]，进一步结合人工智能与多模态感知进一步提升康复系统的个性化、自适应能力[10] [13] [21]。