(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号 CN 113902768 A
(43)申请公布日 2022.01.07
(21)申请号 CN202111180132.3
(22)申请日 2021.10.11
(71)申请人 浙江博采传媒有限公司
    地址 310000 浙江省杭州市拱墅区祥盛路12号
(72)发明人 俞庭 李炼
(74)专利代理机构 33260 杭州五洲普华专利代理事务所(特殊普通合伙)
    代理人 丁少华
(51)Int.CI
      G06T7/13(20170101)
      G06T7/181(20170101)
      G06T7/80(20170101)
      G06K9/00(20060101)
                                                                  权利要求说明书 说明书 幅图
(54)发明名称
      一种基于可微渲染的三维人脸模型边缘优化方法及系统
(57)摘要
      本发明提供了一种基于可微渲染的三维人脸模型边缘优化方法及系统，涉及计算机的技术领域，先通过可导步骤从所述深度信息中提取边缘特征信息，再根据边缘特征信息进行重心坐标插值得到三维人脸模型的边缘特征点，然后通过构建一个由分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg组成的总损失函数lall再对总损失函数lall进行迭代得到最优表情权重，最后根据最优表情权重生成最优三维人脸模型，所述最优三维人脸模型具有与目标人脸图像匹配度高、真实性好的优点。
法律状态
法律状态公告日
法律状态信息
法律状态
2022-01-25
实质审查的生效
实质审查的生效
2022-01-07
公开
公开

权 利 要 求 说 明 书正则化坐标


1.一种基于可微渲染的三维人脸模型边缘优化方法,其特征在于,包括以下步骤:

获取目标人脸图像;

初始化人脸模型表情权重并生成初始三维人脸模型;

生成标准化三维人脸模型,所述标准化三维人脸模型与所述目标人脸图像相对齐;

对标准化三维人脸模型进行光栅化处理得到二维图像信息,所述二维图像信息包括深度信息、面信息、重心坐标信息,其中深度信息、面信息、重心坐标信息与像素坐标相对应;

通过可导步骤从所述深度信息中提取边缘特征信息;

通过获取与所述边缘特征信息相对应的重心坐标信息并进行插值,得到边缘特征点;

根据目标人脸图像中关键点、所述边缘特征点建立分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg,其中分布损失函数ldis为人脸模型表情权重的均方和,倒角距离损失函数lchamfer=∑
x∈S1
min
y∈S2
‖x-y‖,正则化损失函数lreg=||Var(S1)-Var(S2)||,S1为所述关键点的集合,S2为所述边缘特征点的集合,Var为方差运算符;

对分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg进行加权计算得到总损失函数lall=w1*ldis+w2*lchamfer+w3*lreg,其中w1、w2、w3为总损失函数的超参数;

对总损失函数lall进行反向传播迭代直到总损失函数lall取得最小值,从而得到最优表情权重;

根据所述最优表情权重生成最优三维人脸模型。



2.根据权利要求1所述的基于可微渲染的三维人脸模型边缘优化方法,其特征在于,所述通过可
导步骤从所述深度信息中提取边缘特征信息包括以下步骤:

提取位于标准化三维人脸模型上的深度信息,生成第一深度图;

对所述第一深度图进行卷积生成第二深度图,所述第二深度图显示所述标准化三维人脸模型的边缘轮廓线;

对所述第二深度图进行优化从而完成标准化三维人脸模型的边缘特征提取。



3.根据权利要求2所述的基于可微渲染的三维人脸模型边缘优化方法,其特征在于,通过公式norm(z)=(z+1)/(z+1.001)来提取位于标准化三维人脸模型上的深度信息,其中z为所有像素坐标对应的深度信息。




4.根据权利要求2所述的基于可微渲染的三维人脸模型边缘优化方法,其特征在于,通过relu函数对所述第二深度图进行优化从而完成标准化三维人脸模型的边缘特征提取。



5.根据权利要求1所述的基于可微渲染的三维人脸模型边缘优化方法,其特征在于,所述边缘特征信息为内嘴唇的边缘特征信息,所述边缘特征点为内嘴唇的边缘特征点。



6.根据权利要求1所述的基于可微渲染的三维人脸模型边缘优化方法,其特征在于,所述通过获取与边缘特征信息相对应的重心坐标信息并进行插值,得到边缘特征点包括以下步骤:

获取所述边缘特征信息中像素值大于零的特定像素坐标;

获取与所述特定像素坐标相对应的面信息以及重心坐标信息;

通过重心坐标插值得到边缘特征点。



7.根据权利要求1所述的基于可微渲染的三维人脸模型边缘优化方法,其特征在于,所述生成标准化三维人脸模型包括以下步骤:

获取与所述目标人脸图像对应的相机参数;

通过公式
生成标准化三维人脸模型,其中P为透视变换,R
T
为相机旋转矩阵R的转置矩阵,t为相机位移向量,p_bias为像素矫正值,M为初始三维人脸模型,
为标准化三维人脸模型。




8.根据权利要求1所述的基于可微渲染的三维人脸模型边缘优化方法,其特征在于,通过公式M=b+∑
i
Wi*Fi生成初始三维人脸模型,其中M为初始三维人脸模型,b为三维人脸模型基础型,Fi为三维人脸模型第i个特征向量,Wi为三维人脸模型第i个表情权重。



9.根据权利要求1所述的基于可微渲染的三维人脸模型边缘优化方法,其特征在于,通过adam算法对总损失函数lall进行迭代更新直到总损失函数lall取得最小值,从而得到最优表情权重。



10.一种基于可微渲染的三维人脸模型边缘优化系统,其特征在于,包括:

人脸图像获取模块,所述人脸图像获取模块被配置为获取目标人脸图像;

初始人脸模型生成模块,所述初始人脸模型生成模块被配置为初始化人脸模型表情权重并生成初始三维人脸模型;

标准化人脸模型生成模块,所述标准化人脸模型生成模块被配置为生成标准化三维人脸模型,所述标准化三维人脸模型与所述目标人脸图像相对齐;

光栅化处理模块,所述光栅化处理模块被配置为对标准化三维人脸模型进行光栅化处理得到二维图像信息,所述二维图像信息包括深度信息、面信息、重心坐标信息,其中深度信息、面信息、重心坐标信息与像素坐标相对应;

边缘特征信息提取模块,所述边缘特征信息提取模块被配置为通过可导步骤从所述深度信息中提取边缘特征信息;


重心坐标插值模块,所述重心坐标插值模块被配置为通过获取与所述边缘特征信息相对应的重心坐标信息并进行插值,得到边缘特征点;

损失函数生成模块,所述损失函数生成模块被配置为根据目标人脸图像中的关键点与所述边缘特征点建立分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg,其中分布损失函数ldis为人脸模型表情权重的均方和,倒角距离损失函数lchamfer=∑
x∈S1
min
y∈S2
‖x-y‖,正则化损失函数lreg=||Var(S1)-Var(S2)||,S1为所述关键点的集合,S2为所述边缘特征点的集合,Var为方差运算符;

总损失函数生成模块,所述总损失函数生成模块被配置为对分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg进行加权计算得到总损失函数lall=w1*ldis+w2*lchamfer+
w3*lreg,其中w1、w2、w3为总损失函数的超参数;

最优表情权重获取模块,所述最优表情权重获取模块被配置为对总损失函数lall进行反向传播迭代直到总损失函数lall取得最小值,得到最优表情权重;

最优三维人脸模型生成模块,所述最优三维人脸模型生成模块被配置为根据所述最优表情权重生成最优三维人脸模型。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。