1. 引言
手背静脉注射作为医务人员的日常护理工作，尤其是在体检抽血、输液等场景下，工作繁重。若由机器人来代替医务人员进行手背静脉注射工作，便可以有效缓解医资力量紧缺问题，还可以显著提高静脉穿刺成功率和工作效率。
目前，国内外团队对手背静脉注射机器人应用领域的研究主要集中在机器人系统设计等方面[1]-[4]，大部分使用了自制的机构，而本文直接采用现有的六轴机器人。配合现在兴起的AI算法[5]进行入针点的选取，然后转化成机器人坐标进行实验。本文涉及的领域要比腹腔穿刺[6]和肺穿刺[7]简单很多，主要是无需CT等数据的配合，可以使用相机完成图像采集，穿刺点仅限于体表。
2. 实验设备搭建和手背静脉注射流程
实验设备主要有机械臂台车，练习用的注射手臂，吊瓶针管耗材及支架等。整个操作流程使用手机界面进行了展示。
2.1. 机械臂台车及周边
Figure 1. Schematic diagram of the test bench
图1. 试验台示意图
这个系统的整体组成包括以下6个部分如下图1：1. 机械臂台车，负责持针运动，手背拍照及AI点位识别；2. 台车手持操作器，用于护士的人机交互，可以是平板电脑、手机或者机器人自带的示教器，是台车的一部分；3. 脚踏开关，也是台车的一部分，主要是安全器件，整个持针手背注射过程需要踩下脚踏开关才能运动，方便操作者随时可控整个流程；4. 红外光地板(标定板)，用于给手背打光，并进行机械臂摄像头的标定，使图像情绪并能采集点位后换算成机器人坐标；5. 台面吊瓶支架及针头支架，注射前准备主要有，将药瓶悬挂在台面吊瓶支架上，排空针管空气后，将针头放置在针头支架上；6. 可移动吊瓶支架，机器人完成操作后，针头在手背上使用医用胶布固定后，将吊瓶放置到该支架上，完成整个注射的收尾工作。这个系统通过自动化和智能化技术，提高了生产效率和质量，降低了人工成本，是现代制造业的重要组成部分。
2.2. 耗材组件
使用的耗材主要是注射练习用的手臂，该手臂可以模拟血管充血。吊瓶中的药品主要是自来水，多次插针模拟中是没有加水的。针头针管也是购买的一次性耗材，因为非人体实验，该针头也是多次使用。如有损坏或折弯情况，再更换新的针头。耗材组件如下图2、图3所示：
Figure 2. The test arm and syringe kit
图2. 测试手臂及针管套件
Figure 3. Different sizes of needles and their supports
图3. 不同规格的针头及其支架
2.3. 手背静脉注射流程
整个手背静脉注射流程可以在手机上操作，也可以在电脑网页上，平板电脑上，机器人示教器上操作，大致流程均类似。文中简单介绍了一下手机界面，分为(1) 登录及设置、(2) 机械臂视觉拍照，(3) AI选点后微调，(4) 机械臂运动，(5) 结束收尾等几个阶段。本文着重点在于手背拍照后的AI选点算法，在后续章节会有详细介绍，本节主要介绍大致流程。
2.3.1. 登录及设置
使用微信或者医院给的岗位账号进行登录，示意图如下图4、图5所示。方便保存数据，导入医院数据库，数字化多端查看。一般情况无需设置，设备交付后大多已经校准，设置了IP等，主要是设置针类型，不同的针长直接影响穿刺深度和位置，需要着重确定。
Figure 4. Login interface diagram
图4. 登录界面示意图
Figure 5. The set interface and needle selection diagram
图5. 设置界面及针选择示意图
2.3.2. 机械臂视觉拍照
登录后转到拍照界面，示意图如下图6所示。拍照不是使用手机相机，而是调用机器人移动到拍照位置，机器人进行拍照。拍的手背照片将提供给台车计算机AI选点算法。
Figure 6. A diagram of a robot taking photos
图6. 机器人拍照示意图
2.3.3. AI选点后微调
AI计算出P1和P2点后，操作者观察是否合适，是否需要微调，如需微调就进行微调，不需要就进行下一步就好。98%的情况无需微调。如果反复不成功，应不再使用该设备，转人工进行处理。示意图如下图7所示：
Figure 7. Schematic diagram of needle insertion point fine adjustment
图7. 入针点微调示意图
2.3.4. 机械臂运动
长按红点机器人运行，松开机器人停止运行，直至红点变成灰色，机器人运行到位。按红色按钮保持一分钟以上，机器人逐步松开针头。观察机器人离开安全后，可以点击自动按钮，机器人自主返回home点。示意图如下图8所示：
Figure 8. Schematic diagram of robot arm movement and photo after completion
图8. 机械臂运动及完成后拍照示意图
此处的拍照是使用手机拍照，保留病人扎针后的图片，方便后续追溯，解决医疗纠纷。
2.3.5. 结束及收尾
机器人返回后，将桌面收拾干净，吊瓶放置移动支架上，搀扶病人或病人坐轮椅或有能力者自行离开。准备下一例手背注射穿刺。示意图如下图9所示：
Figure 9. Schematic diagram of statistics after puncture
图9. 穿刺结束后统计示意图
3. 算法解析及实现
3.1. 数据集及其标注
一般人的手背上都有一根比较明显的静脉血管，P1为扎针点，一般选择在靠近手背根部。P2为血管延长线上一点，辅助机械臂顺着血管方向扎针。标注的方法如下图10所示：
Figure 10. Labeling the image frame and point position
图10. 标注图像的像框和点位
训练集：697张图像，用于模型学习和优化。
验证集：199张图像，用于评估模型在未见过数据上的表现，防止过拟合。
如下图11所示：
Figure 11. A screenshot of the data set used for training and testing
图11. 用于训练和测试的数据集部分截图
统一的标注标准确保了数据集中注射区域的标注、检测框呈现形式以及标签的一致性，达到了预定的质量水平，并遵循了YOLO (.txt)格式的标注规范。这不仅提升了标注工作的效率与准确性，还保证了所标注的数据能够无缝集成到深度学习模型的训练体系中，从而有效支持了模型性能的优化与应用场景的拓展。图像标注流程如下图12所示：
Figure 12. Image annotation flow chart
图12. 图像标注流程图
3.2. 算法训练及调用
在研究的初始阶段，首要任务在于模型的初始化，包括权重的初始配置以及网络结构的优化调整。其目标在于为后续学习过程提供一组经过精挑细选的基础参数，使模型能够有效捕捉并学习手背注射点的相关特征。在初始训练阶段，我们考虑借鉴COCO、Open Images等预训练模型的权重，或者采用随机权重初始化策略，以显著加速模型的学习过程并逐步增强其在注射点检测方面的准确性与敏感性。
在前向传播过程中，监控图像经过神经网络各层处理，逐层提炼出多层次的特征表示及空间对应关系，最终输出关键数据，包括注射点区域的精确定位坐标和类别预测结果，从而全面支撑健康监测与医疗决策。我们整合了多层次特征抽取策略，旨在深入挖掘图像中的丰富信息，通过捕捉细节提升模型对手背注射点的识别能力。这一机制能够有效应对不同拍摄角度、姿势以及复杂背景下的检测挑战，为后续的精确检测打下坚实基础。数据预处理流程如下图13所示：
Figure 13. Data preprocessing flow chart
图13. 数据预处理流程图
在反向传播与优化阶段，系统通过损失函数精确评估模型输出与实际标注之间的差异，并利用反向传播机制计算梯度变化，以指导网络参数的微调与优化，实现性能的持续提升。训练流程中，我们采用了Adam或Stochastic Gradient Descent (SGD)优化算法，并结合余弦退火衰减(Cosine Annealing)与Warm-up预热机制，动态调整学习率，确保训练过程的稳定性与高效性。这一综合方法不仅有助于模型在复杂环境下实现精准检测，还能显著提高识别精度，尤其在处理具有挑战性的背景情况时展现出卓越性能，从而有效提升模型的泛化能力和适应性。
在损失函数设计上，本研究采用了综合策略，集成分类损失(Focal Loss)、回归损失(CIoU Loss)与置信度损失(BCE Loss)，为手背注射点检测任务定制了一套高效的优化方案，确保模型接收精准且具有指导性的数据反馈，显著提升检测性能与准确性。同时，通过损失曲线监控机制，实时识别并预防模型可能出现的过拟合或欠拟合现象，确保所开发模型在性能上既可靠又稳定，进一步提升了其在实际应用中的价值。训练流程图如下图14所示：
Figure 14. Training flow chart
图14. 训练流程图
3.3. 标注点转换为机器人坐标系
机械臂末端通过夹爪加持针头，设置TCP末端的时候会在Z轴上延长一段距离L1，L1与夹爪设计尺寸的长度相关。Y轴上延长的距离和针型号相关，等于针的长度L2。X上没有延长。如下公式(1)所示：
(1)
机器人TCP设置以UR机器人为例，简单工具不涉及角度转换，可以直接设置。如图15所示：
Figure 15. UR robot TCP configuration diagram
图15. UR机器人TCP设置图
在AI给出的P1和P2坐标后，经过操作者微调，得到坐标P1s和P2s。P1s是入针点位置，无需计算，在程序中为机器人运行的中间点。需要通过P1s和P2s计算入针点的前置点P1s0和后置点P1s1。机器人先运行到前置点，然后走到入针点，再走到后置点，整个入针过程结束，释放针头。如下图16所示：
Figure 16. Precision-Recall (P-R) curve analysis
图16. Precision-Recall (P-R)曲线分析图
入针的时候针应该在垂直方向上和P1与P2连接线平行，即P1到P2直线L上方的平面运行。为了刺入静脉血管而不刺穿，TCP的X方向应该与直线L有一个角度θ。该角度应该根据实际情况选择1~7度[8]。
前置点P1s0高度坐标的计算如公式(2)，在P2上方按角度升高，X和Y的坐标值与P2保持一致。后置点P1s1无需计算，在到达进针点P1后，机械臂在X方向上前进3~8 mm即可，该值需要根据实时进针路径的图像进行确认。
(2)
此系统整合了以PyQt5为核心构建的直观用户界面、精心设计的高质量数据集以及高效执行的训练算法，构成了一个稳固的前置平台，为后续模型精进与实际应用部署奠定了坚实基础。旨在通过先进的YOLOv8深度学习技术实现对手背注射点的智能化识别。
4. 实验结果
平均精度均值(mAP)作为目标检测领域的重要指标，不仅能够在不同置信度阈值下精确描绘模型的整体检测能力，而且在多类别对象检测中展现出卓越的适应性和评估能力。其优势在于能够全面反映模型在复杂环境中检测手背注射点的效果和效率。虽然各项指标在单独分析时各有侧重，但当它们被整合起来时，便构建起一个强大而系统的评估框架。这一框架不仅能够精准展示基于YOLOv8的手背注射点检测模型的突出优势，还能深入揭示其潜在局限性和改进空间，为后续优化策略的制定提供了坚实的理论基础和实践指导。
Figure 17. Precision-Recall (P-R) curve analysis
图17. Precision-Recall (P-R)曲线分析图
从该Precision-Recall 曲线，如上图17所示，可以看出，模型在“Hand_rect”这一类别(手背注射点检测)中的表现极为出色，具体体现在以下几个方面。
首先，高精度与高召回率表现明显。曲线显示，随着召回率逐步提高，模型在大部分区间内依然能够保持接近于1的高精度，表明其在检出绝大多数注射点目标的同时，有效避免了误报，整体表现非常优秀。
其次，mAP指标极高。图例中显示，在IoU阈值为0.5的条件下，模型在“Hand_rect”类别的平均精度达到了99.5% (mAP@0.5 = 0.995)，这一数值充分体现了模型在注射点检测任务中的高稳定性与超高准确率，表明其具有极强的识别能力和极低的漏检概率。
此外，曲线整体走势陡峭且平滑，仅在接近召回率1.0时精度略有下降，表明即便在极高召回率要求下，模型仍能维持较高的正确率，整体推理表现非常稳健。
最后，单类别检测表现尤为突出。由于图中Hand_rect类别单独评估，且整体与该类别的mAP@0.5均为0.995，说明在该单类别任务中不存在类别混淆或内部竞争问题，检测效果高度稳定，可靠性极高。使用测试集的图片测试效果如下图18：
Figure 18. Test result diagram
图18. 测试结果图
综上所述，该Precision-Recall曲线及其极高的mAP值表明，基于YOLOv8的手背注射点检测模型在检测注射区域方面具有出色的识别性能与强大的鲁棒性。若在未来实际应用中需要进一步提升对特殊场景(如遮挡严重、低分辨率图像等情况)的适应能力，可考虑通过引入更丰富的数据增强手段或进一步优化网络结构，以提升模型的泛化性能。
5. 结论
自新冠疫情暴发以来，全球范围内各大医疗机构对非接触式手背静脉注射方式的需求持续增加，本文针对非接触式手背静脉注射智能机器人的关键问题进行攻克，旨在解决手背静脉注射机器人的入针点自动识别问题，为人工微调节省大量重复性工作，降低静脉穿刺的难度和劳动强度。本文主要工作是进行了AI算法的手背注射点识别，为后续的实机实验奠定了理论基础，后续会逐步完成试验台的搭建及实际测试。
NOTES
*通讯作者。