1. 引言
康复训练周期长且耗时费力,康复资源整体供不应求,康复医师的缺失和治疗成本的增加,是当前我国康复行业所面临的一大难题[1]。并且,上肢运动功能的恢复时间较长,难度较大,严重影响了患者的生活质量,并且需要专业人员协助锻炼,因此很难保证康复训练的强度和可持续性[2]。上肢康复机器人补充了常规康复训练的缺陷而受到国内外广泛关注,具有重要的理论和实践价值。它可以提高康复训练的效率和实效性,还可以克服资源和人力短缺等问题,这是目前康复行业发展的一个重要方向。人们对于智能康复机器人的应用前景寄予了很高的期望[3]。
近年来,传感器技术和计算机技术的不断发展,关节运动测量技术也不断创新和提升。随着机器学习和人工智能技术的发展,关节运动测量技术也可以通过智能算法进行数据分析和建模,以提高数据分析的效率和精度[4]。
从运动生理学角度来看,通过监测上肢关节的转动角度、位置和速度等运动参数,可以更加深入地了解肌肉的激活状态和运动机制。关节角度采集技术可以帮助研究人员探究上肢运动生理学的基础机理,包括肌肉的收缩模式、上肢骨骼的运动学和力学特性等。在康复医学方面,上肢关节角度采集技术可以为康复治疗提供重要的指导。关节角度采集系统可以监测患者运动过程中的角度变化,帮助医生和治疗师更加准确地评估患者的运动障碍程度,制定更加科学、有效的康复治疗方案。对于一些需要进行上肢动作的运动员来说,关节角度采集技术的意义也非常显著。通过对运动员的上肢动作进行精确监测和分析,可以从角度优化的角度出发,帮助运动员提高技术细节和运动表现,从而获得更好的成绩。在工业生产中,关节角度采集技术可以帮助生产者制定更加精准的生产工艺和工作模式,提高生产效率和质量。通过对上肢动作的监测,可以优化工人的操作方式和姿势,减少工作负担,提高生产线的稳定性和安全性。
在国外,惯性导航系统(Inertial Measurement Unit, IMU) [5]和电磁跟踪系统(Electromagnetic Tracking Navigation System, EMT) [6]成为主流的上肢关节角度采集技术。IMU通常可以附着在肩关节、肘关节和手腕关节等部位进行持续监测,通过加速度计、陀螺仪和磁力计等传感器测量关节的转动角度、位置和速度等参数[7]。EMT则主要应用于手指和手掌的关节角度监测,通过植入电极或被薄膜覆盖来监测生物电信号。也有使用磁共振成像(Magnetic Resonance Imaging, MRI)的采集技术[8]:MRI利用强磁场和无害的无线电波,传递给身体内的氢原子核,可以获取生物体内组织的高分辨率图像。但是,MRI设备昂贵,且采集速度较慢。
国内的关节角度采集研究也在不断发展,很多学者在超声跟踪[9]、基于视觉[10]、基于sEMG [11]、基于广义回归网络[12]的方法等方面取得了积极成果。超声跟踪技术通过利用三维超声来对上肢关节进行角度采集,达到高精度的角度检测,为康复治疗等提供了一种创新的方法。基于视觉的方法则主要应用于便携式设备中,如深度相机等,应用机器学习算法采集关节角度参数。基于广义回归网络可以学习如何将传感器数据映射到相应的关节角度变量,使用该模型就可以用来预测未知的关节角度,只需输入传感器数据即可。基于sEMG方法的优点是实时性较高,能够快速地采集和分析数据,并且适用于许多不同的上肢关节。
2. 上肢关节角度的采集与测量
人体上肢结构如图1所示[13],主要包括肩关节、上臂、肘关节、前臂、腕关节和手掌。
如图2所示,确定传感器中心的位置,并确定传感器中心在围绕Z轴的第一次旋转和围绕Y轴的第三次旋转中的位置,这就是传感器围绕Z轴的第一次旋转。计算出围绕X轴的第三次旋转的姿势角(欧拉角),该旋转是指传感器围绕Z轴的第二次旋转和围绕Y轴的第一次旋转以及围绕X轴的第二次旋转。如图1所示,两个传感器被安装在手背和上臂的后部(肱三头肌上)。
本论文的算法中共计算六个自由度:肩关节前屈–后伸和外摆–内收2个,肘关节伸展–屈曲1个,腕关节旋内–旋外、掌屈–背屈及尺屈–桡屈3个,见表1。
使用WHEELTEC N100惯导角度传感器模块如图3所示。惯导角度传感器模块工作原理如图4所示。其具有一个Sigma-Point卡尔曼滤波器(SPKF),以及一套高性能算法,高达1000 Hz的传感器采样频率和圆锥和划船运动补偿,有较强的抗磁干扰能力。
采用多轴惯性运动处理组件可以将陀螺仪、加速度传感器等高度集合在一起,还能够以较高的采样频率实现人体运动数据的实时采集,在提高采集效率的同时减少了传感器的使用数量[14]。将其贴于肘部、手腕关节处,通过测量加速度、角速度、磁场等参数,在计算机上实时计算出关节的角度。如图5所示关节角度测量方法,这种方法可以实时采集关节角度,并且不受光线和视角等条件的影响,需要配合硬件设施。
Figure 1. Structure of the upper limb of the human body
图1. 人体上肢结构
Figure 2. Description of sensor installation positions
图2. 传感器安装位置说明
Table 1. Motion range of each degree of freedom
表1. 各自由度运动范围
关节 |
运动名称 |
初始位置 |
运动范围(˚) |
肩关节 |
前屈–后伸 |
手臂自然下垂 |
0~60 |
外摆–内收 |
掌心向后 |
0~60 |
肘关节 |
屈曲–伸展 |
手臂自然下垂 |
0~135 |
腕关节 |
旋外–旋内 |
前臂与上臂呈垂直状态,掌心向下 |
−90~30 |
掌屈–背屈 |
−45~30 |
尺屈–桡屈 |
−30~30 |
Figure 3. WHEELTEC N100 inertial navigation angle sensor module
图3. WHEELTEC N100惯导角度传感器模块
Figure 4. Working principle of inertial navigation angle sensor module
图4. 惯导角度传感器模块工作原理
Figure 5. Upper limb joint Angle algorithm and acquisition process
图5. 上肢关节角度算法及采集流程
为了确认在运动中分别测量多个关节的角度,测量前臂、手和肘关节以及肩关节的运动。还应计算前臂的长度,以验证估计关节位置的准确性。如果在推定两个传感器的关节位置时发生错误,那么根据手和肘关节的位置计算的前臂长度也会发生变化。为了方便测量,拟定了一个接近实际测量条件的复合运动的例子,如图6所示:
动作1:伸开手臂,拿起杯子。
动作2:提起杯子。
动作3:将杯子向右移动。
动作4:把杯子放下。
Figure 6. Schematic diagram of hand joint motion measurement
图6. 手部关节动作测量示意图
3. 上肢关节角度的预测
在处理数据采集之前,首先需要明确关节位置的预测方法,如图7所示。计算中每个关节的轴是连接相邻关节中心的线段。肩关节中心被设定为肩胛骨–上臂关节的关节中心。
肩关节(中心)和肘关节(中心)在y1方向的长度:LSE
传感器1 (中心)和肘关节(中心)在y2方向的长度:LR1E
传感器2 (中心)在y2方向上的腕关节(中心)的长度:LWR2
上臂与传感器1在X1方向的厚度:DR1
手与传感器2在Z2方向上的厚度:DR2
Figure 7. Joint position prediction
图7. 关节位置预测
为了根据身体表面的形状获得传感器的偏移角度,如图8所示,将肘部弯曲在
处,双手处于中间位置,上肢向前抬起,作为参考姿势,并在当时测量每个传感器的偏移角度。在计算运动过程中的角度时,要减去参考姿势中的偏移角度,以补偿由于身体形状造成的体段轴线与传感器轴线之间的错位。在参考姿势中,假设上臂轴线与Y轴对齐,前臂轴线与X轴对齐,手背与XY平面对齐,并根据身体形状计算偏移量。
Figure 8. Reference posture
图8. 参考姿势
为了给实验过程及结果预测提供便利,我们将应用两块传感器,安装于肘关节处与手掌背处,分别定义为传感器1和传感器2,如图9所示。
Figure 9. Sensor installation position
图9. 传感器安装位置
如果传感器1的
方向单位矢量为
,则从传感器1出发
的点存在于上臂轴线上,从该点出发的点
处为肘关节位置,
为肩关节位置。用传感器1的位置矢量
和单位矢量
给出这些关节的位置矢量S和E如下所示:
肩关节:
(公式1)
肘关节:
(公式2)
以同样的方式,手腕关节的位置向量W由传感器2的位置向量R2和单位向量y2和z2得到,如下所示:
手腕关节:
(公式3)
如图1所示的配置中,围绕Z轴的第一次旋转是
,围绕Y轴的第二次旋转是
,围绕X轴的第三次旋转是
,则旋转后传感器方向的单位矢量在源坐标系中的分量(X, Y, Z)如下所示:
(公式4)
(公式5)
(公式6)
例如,通过将(1, 0, 0)代入上述x,y,z得到传感器1的x方向的单位矢量x1旋转后在源坐标系中的分量,并将所得的矢量分量、各部分的长度和传感器的位置矢量代入前述公式(1)至(3)中,就可以计算出各函数的位置矢量。
4. 上肢关节角度的计算
关节角度的计算是利用从每个关节的位置矢量和传感器的方向单位矢量计算出的体段方向矢量[15]。因此
是前臂矢量
投射到
平面(与手掌正交的平面,包括手肘方向)的分量。腕关节背曲角为
:
(公式7)
,掌曲范围:
,背曲范围:
在这种情况下,F在
平面上的投影相当于消除了
方向上的分量。
(公式8)
桡尺弯曲角为
,如图7(b)所示,在
平面内计算
,可以用与手掌背弯曲角相同的方法得到(
:桡曲范围
,尺曲范围
)。前臂的旋转角度
可以被认为是上臂和手投射到与前臂轴线正交的平面s上的角度,如图10(c)所示,该角度是通过投射上臂矢量
和
计算出来。投射到平面s上的矢量
用
表示,矢量
在平面s上的投影,表示为
,由以下公式得出:
(公式9)
,回内范围:
,回外范围:
肘关节屈曲角
是上臂和前臂之间的角度,可以简单地按图10(d)计算(
,屈曲范围:
)肩关节屈曲角
是屈伸是上肢与矢状面垂直轴之间的角度,如图10(e)所示,与其他角度一样,用上臂矢量和垂直矢量进行内积运算得到。(
,屈曲范围:
,伸展范围:
)同样,肩关节外展角
是在正面平面上的角度。(
,外摆范围:
,内收范围:
)肩关节内/外旋转角
是围绕上臂长轴的扭转,可以看作是传感器1在
方向矢量
在与上臂矢量
正交的平面t上的旋转。(
,内旋范围:
,外旋范围:
)
5. 实验结果分析
数据解析所使用的软件为FDIGroundStation,具体界面如下图11所示。
图12展示了肩关节的动作示例。
Figure 10. Joint angle algorithm
图10. 关节角度算法
Figure 11. FDIGroundStation operation page
图11. FDIGroundStation操作页面
Figure 12. Measurement results of shoulder joint motion
图12. 肩关节运动测量结果
肩关节的屈伸角度和内外旋角度具有定义上的特异点(例如,在屈曲180˚时,无法定义内外旋),因此在特异点附近区域彼此影响。在图13中,可以看到在最大屈曲附近,外旋与屈曲波形同步,这是特异点的影响(2~4秒)。除此之外,其他部分都能够良好地测量。关于图7的前臂、手腕和肘关节的动作,除了在肘关节伸展时出现的皮肤偏移引起的回旋(22~24秒)外,每个关节角度都能够良好地分离。
Figure 13. Measured movement (cup holding)
图13. 测量的运动(握杯)
图13展示了将位于左前方的杯子移动到右前方的动作,图14展示了测量时各关节角度的波形变化。在动作1中,当向前伸展臂时,肘关节的伸展和肩关节的屈曲发生。在动作2中,由于举起杯子,肘关节的屈曲和手腕的尺屈发生。在动作3中,为了将杯子向右移动,观察到了肩关节的内旋和内收动作。在动作4中,与动作2相反,放下杯子时,发生肘关节的伸展和手腕的桡屈。在每个组合动作中,检测到了主要关节角度,并确认在实际动作中没有其他关节角度被影响。
Figure 14. Measured angular waveform
图14. 测量的角度波形
6. 误差分析
在进行动作测量时,图15显示了前臂长度变化的计算结果,用于验证关节位置估计精度。图15(a)展示了用于验证的前臂、手腕和肘关节的动作,图15(b)展示了前臂长度的变化。公称二次平均误差为位置误差2.4 mm和角度误差0.75˚,因此从两个传感器位置估计的前臂长度误差约为5 mm。将计算出的前臂长度与实际测量的前臂长度进行比较,动作中的误差最大为9 mm,二次平均误差为1.3 mm,符合预期的误差范围。前臂长度(27 mm)的误差率分别为0.5%和3.3%,具有足够的精度,可以作为穿在体表的系统进行测量的实际使用。
(a)
(b)
Figure 15. Measurements of elbow, forearm and wrist joint movements. (a) Angle change; (b) Forearm length change
图15. 肘部、前臂和手腕关节运动测量结果。(a) 角度变化;(b) 前臂长度变化
7. 总结与展望
本论文以人体上肢生物力学机理为基础,关注运动者上肢关节在不同运动状态下的角度变化情况、协调性和稳定性。同时,也针对传统康复训练的弊端和目前上肢康复机器人的现状,探究运动康复和运动训练领域的发展方向。
为了获取上肢关节的角度变化数据,本论文使用了WHEELTEC N100惯导角度传感器模块来采集被试者完成了一系列上肢运动任务,包括伸展、屈曲、内旋和外旋等。通过分析各个关节运动的特征,我们发现不同上肢关节在不同运动状态下存在着复杂的角度变化特征和协调性特征,而且不同被试者的运动表现也存在一定的差异。
本论文中的实验设计部分不可避免地存在一些有待改进的地方和值得继续深入研究的地方,同时,在实验研究中也存在一些不足:
在角度采集中,肘部屈曲时对皮肤运动影响最小的情况是在基准姿势下,向下的上臂三头肌侧装置传感器。然而,即使在上臂三头肌侧装置传感器,如果不将上臂轴和传感器1的y轴对齐贴附,则会导致肩关节屈伸和肩内外旋时皮肤偏差引起的误差扩大。肩关节部分的测量所导致的误差太大,减小误差增加了很多工作量,因此本实验只做了腕关节以及肘关节的角度采集及精度检测。未来可以在误差处理上加以精进,以顺利进行肩关节的角度采集。
随着科技的不断发展和人工智能的应用,上肢关节角度采集实验也面临着一些未来的工作展望和发展方向。随着数据采集技术的不断提升,上肢关节角度采集实验所获得的数据量也越来越大,如何高效地进行数据分析和处理成为一个重要的研究方向。传感器技术的不断进步,传感器的灵敏度和分辨率也不断提高,这为上肢关节角度采集实验提供了更准确、更可靠的数据来源。机器学习和深度学习的应用已经成为未来发展的重要方向之一,对上肢关节角度采集实验的数据分析和处理提供了一个全新的思路。实验设备的体积和重量已经越来越小,也越来越舒适,这使得研究者可以在更广泛的场景下进行实验。除了体育运动领域外,上肢关节角度采集实验的应用领域还有很多,如医疗康复、人机交互等,这需要我们不断深入探究和开发。
NOTES
*通讯作者。