(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号 CN 112907631 A
(43)申请公布日 2021.06.04
(21)申请号 CN202110194157.2
(22)申请日 2021.02.20
(71)申请人 北京未澜科技有限公司
    地址 100083 北京市海淀区橡树湾一期一号楼一单元1703室
(72)发明人 于涛 张宇翔 戴翘楚
(74)专利代理机构
    代理人
(51)Int.CI
      G06T7/246(20170101)
      G06T7/292(20170101)
      G06T7/80(20170101)
      G06T17/00(20060101)
      G06T5/30(20060101)
                                                                  权利要求说明书 说明书 幅图
(54)发明名称
      一种引入反馈机制的多RGB相机实时人体动作捕捉系统
(57)摘要
      本发明提出了一种引入反馈机制的多RGB相机实时人体动作捕捉系统，主要包括平台搭建、数据处理、姿态重建及反馈优化等步骤，结合深度学习的技术来完成人体姿态的估计，通过引入人体线性蒙皮模型以及人手检测器，对于末端交互关节的检测分辨率大大提升，从而提高了严重遮挡下的交互性能。通过引入反馈机制，将上一帧的人体模型渲染到当前帧并进行腐蚀膨胀处理，得到当前帧的启发式算法的一个合理初值，并且引入了三维的可见性信息，避免了歧义性，从而可以提高算法的收敛速度和精度，从而完成一个实时的无佩戴标记的人体重建系统，并且对于繁杂环境也具有鲁棒性。
法律状态
法律状态公告日
法律状态信息
法律状态
2021-06-04
公开
正则匹配多个公开
2021-06-22
实质审查的生效
实质审查的生效
2021-11-19
授权
授权
2023-11-14
专利权的主动放弃IPC(主分类):G06T 7/246专利号:ZL2021101941572申请日:20210220授权公告日:20211119放弃生效日:20231030
专利权的主动放弃
权 利 要 求 说 明 书
1.一种引入反馈机制的多RGB相机实时人体动作捕捉系统,旨在利用多目RGB相机实时对人体动作进行捕捉重建,其特征在于,包括以下步骤:
S1:将多个相机架围出捕捉区域,并对各个相机进行参数标定;
S2:通过标定好的多个相机采集捕捉人体动作图像,并将采集捕捉的人体动作图像传输到电脑主机转码缩放成三通道RGB矩阵形式的RGB图片;
S3:利用转码缩放的RGB图片完成单目的人体姿态估计;
S4:通过单目的人体姿态估计得到人体各个关节的关节热点图和关节亲和图,对关节热点图进行非极大值抑制边缘检测得到各个关节坐标;
S5:利用多目信息的极线约束对单目的检测结果进行约束,得到人体在各个视角下的二维关节坐标,通过对极几何约束以及关节热点图、关节亲和图和上一帧三维结果的时域约束,构造出稀疏4D图;
S6:利用启发式算法对4D图进行分割,得到人体在各个视角下的2D关节坐标,再利用相机参数对各个视角下匹配关节的坐标进行三角化,得到三维人体骨架及三维关节坐标;
S7:将三维人体骨架的手部关节投影到各个相机图片上构造一个跟踪序列,第一帧通过尺度信息和二维投影关系得到人手对应的矩形ROI区域,使用人手检测器对人手参数进行估计,得到人手姿态的PCA系数和仿射关系,接下来通过人手姿态的PCA系数计算出二维人手位置,继而修正矩形ROI区域的误差以便于跟踪;
S8:对不同视角的人手检测结果进行去噪,即通过多视角几何信息和PCA系数之间的F范数构造不同视角检测结果之间的距离,从而计算拉普拉斯矩阵,再通过SVD分解得到其最大的特征值,去噪后得到的人手参数;
S9:使用得到的三维关节坐标和人手参数拟合出三维人体模型,即将求解结果转换为线性蒙皮模型的关节点和表面点约束,并用高斯牛顿法迭代交替优化参数模型,同时添加高斯混合模型作为正则项;
S10:引入一个反馈,用当前帧的三维人体模型作为下一帧的骨架优化的先验,将优化后的三维人体模型重新投影回各个视角下,渲染出和各个视角对齐的缩略MASK图,得到可视性信息,并对缩略MASK图进行类腐蚀膨胀处理;
S11:在下一帧再次执行步骤S 7时,可以直接先利用经过处理的缩略MASK图进行分配结果的初始化,以保证系
统的鲁棒性。
2.如权利要求1所述的引入反馈机制的多RGB相机实时人体动作捕捉系统,其特征在于,所述相机为多目RGB工业相机。
3.如权利要求2所述的引入反馈机制的多RGB相机实时人体动作捕捉系统,其特征在于,对所述相机进行参数标定时,标定的参数包括相机内参和相机外参。
4.如权利要求3所述的引入反馈机制的多RGB相机实时人体动作捕捉系统,其特征在于,对所述相机进行参数标定时,利用棋盘格和matlab工具箱进行标定。
5.如权利要求4所述的引入反馈机制的多RGB相机实时人体动作捕捉系统,其特征在于,所述相机架设的个数为4-8个,且呈矩形状围出捕捉区域。
6.如权利要求5所述的引入反馈机制的多RGB相机实时人体动作捕捉系统,其特征在于,将采集捕捉的人体动作图像传输到电脑主机转码缩放成三通道RGB矩阵形式的RGB图片时,加上伽马校正来提高图像质量。
说  明  书
<p>技术领域
本发明涉及到计算机视觉人体动作捕捉技术领域,尤其涉及到一种引入反馈机制的多RGB相机实时人体动作捕捉系统。
背景技术
随着计算机计算能力的提高以及图形卡的不断迭代,深度学习技术得以迅猛发展,极大地推动了计算机视觉领域。目前的重建技术主要分为两种,一种是利用普通的RGB相机,通过多目特征点匹配并三角化得到深度信息,另一种是直接利用深度相机,得到深度图进行重建,比如苹果公司发布的新iPhoneX就搭载了一颗深度相机来完成人脸重建,把这种技术推向消费领域。
但相对于RGB相机,深度相机的缺点有受环境光干扰大,深度检测距离有限等,价格昂贵等,因此利用普及率高的RGB相机进行人体重建具有更大的潜力,主要可以应用在虚拟试衣,CG游戏等领域。而传统方法对人体重建大多采用的是穿戴传感器或是绿幕分割等方法,对环境要求很高,因此,我们结合了深度学习技术,有必要完成一个实时的无佩戴标记的人体重建系统,并且对于繁杂环境也具有鲁棒性。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。