(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010946287.2
(22)申请日 2020.09.10
(71)申请人 上海庞勃特科技有限公司
地址 201206 上海市浦东新区金藏路257号
(72)发明人 贺琪欲　张海波　杨跞　许楠　
张文　
(74)专利代理机构 北京科石知识产权代理有限
公司 11595
代理人 李艳霞
(51)Int.Cl.
G06T  7/20(2017.01)
G06T  17/00(2006.01)
(54)发明名称乒乓球轨迹捕捉分析方法及分析系统(57)摘要本申请提供了一种乒乓球轨迹捕捉分析方法及分析系统，分析方法包括：基于稀疏卷积神经网络对采集到的图像中的乒乓球进行检测，得到乒乓球检测结果；对双目图像中的多个乒乓球进行匹配、重建和筛选，得到有效运动目标乒乓球的空间坐标点；
利用有效运动目标乒乓球的空间坐标点，得到有效乒乓球轨迹；根据有效乒乓球轨迹对乒乓球训练效果和竞技对打技战术进行分析。本申请能够在具有多球的复杂环境中实时捕捉高速、高旋转乒乓球飞行轨迹，智能分析乒乓球轨迹中包含的技战术特点，储存分析多组乒乓球轨迹的统计信息，能够满足对高水平运动员竞技对打的分析需求，也能够满足在乒乓球训
练过程中对训练效果的分析与评价需求。权利要求书4页  说明书17页  附图3页CN 112085761 A 2020.12.15
C N  112085761
A
1.一种乒乓球轨迹捕捉分析方法，其特征在于，包括以下步骤：
基于稀疏卷积神经网络对采集到的图像中的乒乓球进行检测，得到乒乓球检测结果；
对双目图像中的多个乒乓球进行匹配、重建和筛选，得到有效运动目标乒乓球的空间坐标点；
利用有效运动目标乒乓球的空间坐标点，得到有效乒乓球轨迹；
根据有效乒乓球轨迹对乒乓球训练效果和竞技对打技战术进行分析。
2.根据权利要求1所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤基于稀疏卷积神经网络对采集到的图像中的乒乓球进行检测的具体过程为：
双目立体视觉子系统以固定帧率同步触发两台相机对乒乓球运动过程的图像进行采集，该图像包括左相机图像和右相机图像；
将两台相机对应采集到的左相机图像和右相机图像分别输入到不同线程中的稀疏卷积神经网络中；
利用稀疏卷积神经网络分别对左相机图像和右相机图像中的乒乓球进行检测，得到左相机中的乒乓球的坐标点和右相机图像中的乒乓球的坐标点。
3.根据权利要求2所述的乒乓球轨迹捕捉分析方法，其特征在于，所述稀疏卷积神经网络的获得过程为：
利用获取的目标场景图像构建数据集，并对数据集中每幅图像中包含的所有检测目标进行标注；
根据检测目标在图像中的比例范围，优化基准卷积神经网络N的结构，得到优化后的卷积神经网络N i；
在构建的数据集上对优化后的卷积神经网络N i进行损失函数添加稀疏正则化项的预训练，得到卷积神经网络N t；
对卷积神经网络N t进行卷积神经网络稀疏化，得到稀疏化的卷积神经网络
在数据集D上对稀疏化的卷积神经网络进行微调训练，得到最终的稀疏卷积神经网络N s。
4.根据权利要求1所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤对双目图像中的多个乒乓球进行匹配、重建和筛选的具体过程为：
对双目多目标图像进行匹配，得到有效坐标点匹配对的组合；
对有效坐标点匹配对的组合进行三维重建，得到同时出现在双目立体视觉子系统中的乒乓球的空间坐标点；
利用三维重建得到的同时出现在双目立体视觉子系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点。
5.根据权利要求4所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤对双目多目标图像进行匹配，得到有效坐标点匹配对的组合的具体过程为：
利用双目立体视觉子系统的标定参数将坐标点PL[i],i＝1,2,3,L,m]转换成左相机校正图中的坐标点PRL[i],i＝1,2,3,L,m，将坐标点PR[j],j＝1,2,3,L,n转换成右相机校正图中的坐标点PRR[j],j＝1,2,3,L,n；
遍历搜索所有左相机校正图中的坐标点PRL[i]与右相机校正图中的坐标点PRR[j]的
组合；
计算每对组合中坐标点PRL[i]与PRR[j]之间的极线距离PE；
判断极线距离PE是否满足极线约束；
遍历满足极线约束的坐标点匹配对(PRL[i]，PRR[j])的组合Record，通过唯一性约束和次序约束从组合Record中筛选出k个有效的坐标点匹配对的组合。
6.根据权利要求4所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤利用三维重建得到的同时出现在双目立体视觉子系统中的乒乓球的空间坐标点进行多目标筛选的具体过程为：
遍历本帧图像中k个同时出现在双目立体视觉子系统中的乒乓球的空间坐标点P1(x1, y1,z1),P2(x2,y2,z2),L,P k(x k,y k,z k)，出空间坐标点P i1(x i1,y i1,z i1)(i1＝1,2,L,k)与上一帧图像中k′个同时出现在双目立体视觉子系统中的乒乓球的空间坐标点P j1(x′j1,y′j1, z′j1)(j1＝1,2,L,k′)之间的最小距离dis；
出最小距离dis的最大值dis max及其对应的序号i1；
判断最大值dis max是否大于预设的阈值thresh2；
如果最大值dis max大于预设的阈值thresh2，则将序号i1对应的空间坐标点P i1(x i1,y i1, z i1)作为有效运动目标；否则，判定本帧图像中没有有效运动目标；其中，预设的阈值thresh2的取值范围为(0，0.2)。
7.根据权利要求1所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤利用有效运动目标乒乓球的空间坐标点得到有效乒乓球轨迹的具体过程为：
以乒乓球桌的顶面中心为原点，建立空间位置坐标系，并获取有效运动目标；
对获取的有效运动目标进行缓存，并根据乒乓球对打飞行的物理规律获取有效乒乓球轨迹。
8.根据权利要求7所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤对获取的有效运动目标进行缓存，并根据乒乓球对打飞行的物理规律获取有效乒乓球轨迹的具体过程为：
将有效运动目标T(x,y,z)输入到运动状态分析模块缓存，运动状态分析模块中设置缓存队列Q；
判断缓存队列Q中是否有运动目标；如果缓存队列Q中没有运动目标，将本次有效运动目标T(x,y,z)压入缓存队列Q；如果缓存队列Q中有运动目标，进一步判断本次有效运动目标T(x,y,z)与缓存队列Q中最后一个运动目标的时间间隔；如果该时间间隔大于时间阈值thresh_t，则清空缓存队列Q后将本次有效运动目标T(x,y,z)压入缓存队列Q，否则直接将本次有效运动目标T(x,y,z)压入缓存队列Q；
判断缓存队列Q中缓存的多个有效运动目标是否构成有效乒乓球轨迹，如果为无效乒乓球轨迹，清空缓存队列Q；
如果缓存队列Q中缓存的多个有效运动目标构成有效乒乓球轨迹，则判断缓存队列Q中的乒乓球轨迹是否满足截止条件；
如果缓存队列Q中的乒乓球轨迹满足截止条件，则将缓存队列Q中的所有空间点作为有效乒乓球轨迹Traj输出。
9.根据权利要求1所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤根据有效乒乓球轨迹对乒乓球训练效果进行分析的具体过程为：
正则化坐标将根据每组轨迹Traj_i计算得到的过网时刻y方向的球速v_net_i、过网高度h_net_i、角度angle_net_i和落点(x_rebound_i,y_rebound_i)和旋转速度(w x_i,w y_i,w z_i)，以及训练过程中的球速、过网高度、角度、落点和旋转速度以统计分布的形式进行呈现；
对训练目标的相应参数进行比对，以实现对训练效果的直观评价。
10.根据权利要求1所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤根据有效乒乓球轨迹对竞技对打技战术进行分析的具体过程为：
将根据每组轨迹Traj_i计算得到的过网时刻y方向的球速v_net_i、过网高度h_net_i、角度angle_net_i和落点(x_rebound_i,y_rebound_i)和旋转速度(w x_i,w y_i,w z_i)组成输入向量S_in：
S_in＝[v_net_i,h_net_i,angle_net_i,x_rebound_i,y_rebound_i,w x_i,w y_i,w z_i]将输入向量S_in输入到n层技战术分析深度神经网络中，得到输出向量S_out；
其中，输出向量S_out包括选手应对输入来球球路时的习惯回球球路及该次回球对胜负影响的关键程度Imp_o(Imp_o∈[0,1])；
其中，习惯回球球路包括速度v_net_o、过网高度h_net_o、角度angle_net_o和落点(x_ rebound_o,y_rebound_o)和旋转速度(w x_o,w y_o,w z_o)；S_out＝[v_net_o,h_net_o, angle_net_o,x_rebound_o,y_rebound_o,w x_o,w y_o,w z_o,Imp_o]其中，n层技战术分析深度神经网络的最后一层不使用激活函数，除最后一层外，全部使用Relu函数作为激活函数；
从输入向量S_in到输出向量S_out的n层技战术分析深度神经网络表示为：
式中，Weight20和bias20均为第1层网络参数，Weight2j和bias2j均为第j+1层网络参数，Layer(j)为第j+1层网络输出，S_out为输出向量。
11.一种乒乓球轨迹捕捉分析系统，其特征在于，包括：
双目视觉立体子系统，用于对乒乓球运动过程的图像进行采集，该图像包括左相机图像和右相机图像；
稀疏卷积神经网络，用于对左相机图像和右相机图像中的乒乓球进行检测；
多目标匹配及双目重建模块，用于对双目多目标图像进行匹配，得到有效坐标点匹配对的组合，并对有效坐标点匹配对的组合进行三维重建，得到同时出现在双目立体视觉子系统中的乒乓球的空间坐标点；
多目标筛选模块，用于对同时出现在双目立体视觉子系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点；
运动状态分析模块，用于根据有效运动目标乒乓球的空间坐标点，得到有效乒乓球轨迹；
数据库，用于存储有效乒乓球轨迹；
技战术分析模块，用于根据从数据库D中提取出的一组或多组乒乓球轨迹，利用拟合算法计算单组轨迹的球速、过网高度、角度、落点信息，利用深度神经网络计算乒乓球的旋转信息；提取多组乒乓球轨迹时，对每组轨迹的球速、过网高度、角度、落点、旋转进行统计分析，得到系列轨迹的球速分布、过网高度分布、角度分布、落点分布、旋转分布，以便于用来统计和评价回球技战术特点；利用技战术分析深度神经网络得到选手应对输入来球球路时的习惯回球球路及该次回球对胜负影响的关键程度。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。