1. 引言
当前中国体育产业发展快速，市场规模庞大，乒乓球运动员和爱好者的数量和活跃程度也在不断增加，用户对于个性化、专业化服务的需求也在不断增大，但是也面临着许多的问题和困难。对于乒乓球运动员和爱好者而言，常常难以找到合适的比赛和陪练伙伴。此外，即使找到了合适的伙伴，也难以保证在场次、时间、地点等方面与自己完全一致，影响训练的持续性和系统性。因此需要一个既能不受时间约束也能不受地点约束的对手，那就是陪练机器人。
2020年全球首台人工智能机器人乒乓球发球机庞伯特，在中国乒乓球学院诞生。庞伯特是世界上第一个能够用一只手，手执球拍，并且用另一只手发球的机器人。两只手的紧密配合，还原了真人的发球动作，还能通过快速变化球拍的角度和力度模拟不同的打法风格。此外，还有国外的欧姆龙公司于2014年研发的Forpheus机器人，一亮相就惊艳世界，并在当时广受好评。Forpheus乒乓机器人由一套机械臂来操控乒乓球拍，并通过摄像头捕捉乒乓球的轨迹，以此来预测球的落点。Forpheus将该公司的传感器同机器学习、人工智能相结合。
现有的机器人庞伯特，Forpheus机器人两款乒乓球机器人价格昂贵、体型较大，并且不能给予专业的陪练，也不能为用户提供情绪价值。因此为了降低成本，减小体积，在外观上选择了三脚式保障机器人的稳定，根据乒乓球台的标准尺寸长2.74，宽1.525，高0.76，根据勾股定理测算了乒乓球机器人的三脚长度，保证机器人的高度在1.2以上；为提供专业训练的同时给用户提供情绪价值。利用机器人自身具有的设备可搬性、可重复性、可玩性等特点，结合canny边缘检测算法，卡尔曼滤波发和CNN情绪识别技术等技术，创造便携式或易移动的陪练机器人。
2. 乒乓球机器人设计思路
2.1. 系统功能设计
乒乓球陪练机器人系统从技术上可以大致分为三个系统，如图1所示，视觉检测系统、控制应用系统及智能智能决策系统。
Figure 1. System framework diagram
图1. 系统框架图
2.1.1. 视觉检测系统
视觉检测系统相当于人的眼睛，主要完成对乒乓球的目标检测，以及预测乒乓球到达机器人可击打范围内时的位置和姿态；除此之外，乒乓球机器人的视觉检测系统还需要完成对乒乓球的运动速度的识别与预测，以帮助智能决策系统做出正确的击球决策[1]。本机器人采用三目视觉系统，USB3.0工业相机的硬件设备，以开闭运算和Canny算子边缘检测操作辅助视觉系统[2]。
乒乓球陪练机器人的视觉系统主要分为三个板块：击球视觉检测系统、风格视觉收集系统和情感视觉采集系统。这三个系统协同工作，共同实现机器人的高效、精准陪练功能。
2.1.2. 击球视觉检测系统
击球视觉检测系统是通过摄像头进行图像采集，对采集的图像进行目标检测，再由机器人本身进行坐标计算、轨迹预测、姿态选择、运动学求解和路径规划后得出最佳的击球方案[1]。视觉检测系统采用HSV色彩空间进行颜色分割，如图2所示，以应对光照变化对颜色识别的影响。通过相机捕获的图像，经HSV阈值分割算法处理，能转换成一张仅包含黑白两种颜色的二值图像。同时对二值图像执行腐蚀操作，剔除噪点从而精确定位乒乓球。
Figure 2. Image of HSV channel threshold segmentation
图2. HSV通道阈值分割后图像
击球视觉检测系统能以每秒上百次的频率捕捉乒乓球的位置，再通过机器内嵌的算法计算出球的速度和旋转，从而精确预测出球的运动轨迹，并且在极短的时间内发出指令，与此同时，乒乓陪练机器人会像实际乒乓球比赛中有经验的运动员一样，观察用户的击球行为，对用户的击球动作进行预判并提前做出反映。击球视觉检测系统模块如图3所示。
Figure 3. Shot vision inspection system module
图3. 击球视觉检测系统模块
2.1.3. 风格视觉收集系统
风格视觉收集主要运用基于计算机视觉的无标记动作捕捉，首先进行图像采集，使用基于像素统计的背景建模方法，对每个像素点的颜色、亮度等特征进行统计分析，建立起背景的像素值分布模型；当有新的图像帧到来时，计算每个像素点与背景模型的差异，如果差异超过一定的阈值，则认为该像素点属于前景目标。分离前景目标后再进行提取人体特征信息，使用卷积神经网络(CNN)对大量标注好关节点的人体图像进行训练，让模型学习到人体关节点的特征模式，从而能够在新的图像中准确地识别出关节点的位置，再跟踪人体关节点，在相邻图像帧中找到这些关节点的对应位置，从而实现动作的跟踪，使用深度学习中的循环神经网络对动作序列进行学习和训练，从而能够对新的动作进行识别和分析，判断动作的类型、速度、幅度等参数。依据获得的数据进行自监督学习，获取得到用户打球风格偏好和不足的地方，并根据用户打乒乓球的水平和风格调整至最适合陪练于用户的打球方式。风格视觉收集系统如图4所示。
Figure 4. A stylistic visual collection system
图4. 风格视觉收集系统
2.1.4. 情感视觉采集系统
情感视觉采集系统是在陪伴用户训练或比赛时，利用摄像头捕捉用户的面部表情的变化信息，依据采集到的图片匹配出用户训练时的情感变化，将数据上传至智能决策系统。情感视觉采集系统如图5所示。
Figure 5. Emotional visual capture system
图5. 情感视觉采集系统
乒乓球智能陪练系统集成了高精度双目相机、行为特征捕捉相机及表情识别相机，全面覆盖乒乓球飞行轨迹、用户动作细节与情绪状态。双目相机精准解析乒乓球三维信息与旋转动态，确保轨迹预测准确无误；行为特征相机利用深度学习技术，细致分析用户击球姿势与动作风格，个性化调整陪练难度；表情识别相机则实时监测用户情绪变化，通过智能互动提供休息建议或鼓励，构建人性化陪练体验。同时，系统采用HSV颜色分割法优化目标检测，兼顾精度与效率，确保在光照变化下仍能准确锁定乒乓球位置，全方位提升乒乓球训练效果与趣味性。
2.1.5. 控制应用系统
其主要职责是确保机器人在预设时间内，指导机器人执行由智能决策系统所规定的动作或行为，同时，控制系统还需负责在运动过程中引导机器人避开乒乓球台，防止与球台发生碰撞，从而保护机器人和其他设备免受损害[1]。针对机器人手臂末端位置采用位置误差补偿方法，增强末端定位精度，减少手臂末端位置误差[3]。
控制应用系统针对机械臂击球，分三模块：运动学求解、避障、击球路径设计。运动学求解模块核心在于，通过D-H法建立关节坐标系，D-H参数表如表1所示，利用旋转平移矩阵，将乒乓球预测位置的三维信息转换为机器人关节的转动角度与移动位移，解决从目标空间到关节空间的映射问题。
Table 1. D-H parameter table
表1. D-H参数表
杆件编号 |
关节角θ |
转角范围(˚) |
关节偏移di (m) |
扭转角αi (˚) |
关节角初始值θi (˚) |
杆长ai (m) |
1 |
θ1 |
[−170, 170] |
0.34 |
−90 |
0 |
0 |
2 |
θ2 |
[−120, 120] |
0 |
90 |
0 |
0 |
3 |
θ3 |
[−170, 170] |
0.4 |
−90 |
180 |
0 |
4 |
θ4 |
[−120, 120] |
0 |
90 |
0 |
0 |
5 |
θ5 |
[−170, 170] |
0.4 |
−90 |
180 |
0 |
6 |
θ6 |
[−120, 120] |
0 |
90 |
0 |
0 |
7 |
θ7 |
[−175, 175] |
0.285 |
0 |
0 |
0 |
2.1.5. 智能决策系统
其职责在于接收视觉检测系统提供的乒乓球位置信息及其运动速度，然后根据这些信息来决定最佳的击球位置。此外，该系统还需根据乒乓球的不同状态来选取适当的击球姿态。最终，智能决策系统会将这些决策指令传递给控制应用系统以执行。
智能决策系统整合视觉检测信息，输出精准决策，涵盖三大核心板块：智能回球决策、陪练风格难度调整、陪练风格难度调整。
2.1.6. 智能回球决策
智能回球决策：该系统接收击球视觉系统的图片反馈，首先运用Canny边缘检测法提取乒乓球目标，随后通过CHT算法定位球心，并应用卡尔曼滤波技术跟踪目标，预测其运动轨迹[4]。进一步，利用聚类算法分析轨迹，筛选出最优击球点，排除偏离较大的前25%数据，迭代更新直至确定最终击球点，指挥击球手臂精准移动并执行击球动作[5]。
2.1.7. 陪练风格难度调整
陪练风格难度调整：该系统基于广泛收集的乒乓球运动员运动方式数据，运用机器分类算法进行训练，以运动方式为自变量，运动风格与水平为因变量，构建预测模型。在陪练过程中，实时捕捉并分析用户击球、回球等动作图片，通过特征提取输入模型，快速分类用户的乒乓球水平和风格，实现个性化陪练体验。
2.1.8. 智能情绪感应和应对系统
该系统依托CNN算法，深度分析情感视觉系统捕捉的面部信息，精准识别用户的运动情绪与状态。根据识别结果，系统能自动调整陪练策略，提供针对性的情绪支持与应对方案，当陪练机器人检测到用户训练较为吃力和疲劳的时候，会自动降低训练的强度；当陪练机器人检测到用户训练时带有悲伤的情绪时，会对用户进行鼓励和支持，让用户体会到仿佛真的和朋友在打乒乓球一样的感觉，增强用户体验与互动性。
2.2. 结构演变
本乒乒球陪练机器人主要结构包含机械臂、三目摄像头、控制盒、三角支架、圆形底座、气缸。
机械臂常含四至五个自由度，其中二至三移动自由度定位球拍，另两转动自由度调整球拍姿态。末端装乒乓球拍，实现灵活位姿与速度运动，解决人击球的正反手限制。而本陪练机器人包含七个自由度，在击球反应方面更为突出[6]。
三目摄像头使用三台摄像机进行图像采集。每个相机都相互独立，并且不同的摄像机之间存在着未知的位置与姿态关系。因此，三目标定本质上就是为了确定三个摄像机之间的相对位置关系[7]。
在模拟对打的过程中我们发现普通的六轴式机械臂并不能很好地适配乒乓球机器人，并且在遇到连续两个以上不同方向的回旋球或其他高难度接球方式时，六轴机械臂并不能很好地处理这些球，很大的原因是击球范围不够。
团队在原先模型的基础上进行了模型升级，增加了滑台结构，同时将机械臂改为四自由度以适应滑台结构。
3. 未来期望
随着科技的飞速发展和用户需求的不断变化，对智能化便携式乒乓球陪练机器人的未来充满了无限的希望与憧憬。在未来的发展中，将继续致力于技术创新，并且不断优化机器人的性能和功能，为用户带来更加极致的训练体验。目前，乒乓球机器人融合了先进的视觉识别、深度学习算法、机器学习算法和高精度的运动控制技术等。谷歌乒乓球机器人通过i-Sim2Real项目和GoalsEye项目中的自主练习方法，不断优化技能，实现了在视觉识别、策略决策和动作执行等方面的显著提升。DeepMind公司研发的乒乓球机器人能够模拟和学习人类的打法，调整策略，与人类选手进行旗鼓相当的对抗。乒乓球机器人可以根据训练者的水平和需求进行个性化的训练设置，提供针对性的训练方案，并记录训练数据，帮助训练者准确分析技术问题[7]。对于乒乓球业余爱好者来说，乒乓球机器人成为了他们随时可得的玩伴，不受时空限制，随时享受乒乓球运动的乐趣。
首先，在技术上，将持续探索更加先进的视觉检测系统，控制应用系统和智能决策系统，提高机器人对外界事物的感知能力以及机器人运作的决策能力，让机器人能够更加准确地捕捉乒乓球的轨迹，实现有效回球；其次通过PID控制对神经网络展开训练，进一步提高机器人运动的顺通性和安全性[8]。并且利用CNN技术精准识别用户的动作和表情，实时调整训练模式和难度，不断优化训练方案，实现更加个性化的训练服务。
其次，在功能上，将继续深入研发机器人的应用场景和多样化的训练模式，除了基本的接球和击球以外，还将加入发球功能，增强用户的体验感。此外，引入更多的训练元素和比赛场景，以满足用户多样化的训练需求。同时，在根据用户情况调整模式和难度的前提下，为用户提供情绪价值，对训练效果未达预期的用户提供AI人机安慰，对达到预期效果或超过预期效果的用户提供鼓励和表扬，为用户提供情绪价值。
此外，在用户体验上，将不断优化机器人的外观操作界面和交互方式将注重细节设计，如机器人的外观造型颜色搭配材质选择的时期，更加契合时代的主流审美和使用习惯。同时，还将加强用户百科机制在未来的发展中，还将积极关注社会责任和可持续发展等方面的问题，注重机器人的环保和节能设计，采用可持续的材料和技术降低机器人的能耗和排放为保护环境和可持续发展做贡献。
乒乓球机器人的应用前景广阔，不仅局限于体育训练和娱乐领域，未来还有望在医疗康复、教育等多个领域展现了潜力。在教育领域，它能为学生提供量身定制的教学方案，成为乒乓球教学的重要辅助工具。随着5G、物联网和大数据等技术的飞速发展，智能乒乓球机器人有望实现远程操控和在线互动，使运动员在家中通过网络就能与机器人进行实时训练，同时教练也能随时监控和指导训练过程，从而打破地域界限，提升训练效率。此外，机器人可能还会融合虚拟现实(VR)和增强现实(AR)技术，为运动员带来更加真实的训练体验，帮助他们更好地适应比赛。
未来，智能乒乓球机器人还会发展出更加人性化的交互方式，语音识别和自然语言理解，使运动员能通过语音指令轻松控制机器人的发球速度和角度等参数，进一步提升训练效果。同时，它还能拓展到教育和娱乐领域，在学校中作为教学工具，帮助学生提升乒乓球技能和兴趣；在娱乐场所中，与人类进行互动游戏或表演节目，为人们带来更加多元化的娱乐体验。随着医疗技术的不断进步，智能乒乓球机器人未来还可能应用于医疗康复和健康管理领域，通过定制化的训练计划和数据分析功能，助力患者恢复运动功能，提高身体素质。
综上所述，智能乒乓球机器人在未来的发展将涉及技术融合与创新、智能化水平提升以及应用场景拓展等多个方面，旨在更好地服务于运动员、教练和广大乒乓球爱好者。我们对乒乓球陪练机器人的未来充满了期望和憧憬。在未来发展中的积极技术创新功能，为用户带来更加极致的训练体验和服务，积极关注社会责任，任其发展的问题，为推动乒乓球运动和发展保护环境和可持续发展作出贡献。
基金项目
2024年四川省大学生创新创业训练计划国家级项目(202410623020)。