(19)中华人民共和国国家知识产权局
(12)发明专利说明书 | ||
(10)申请公布号 CN 107392852 A (43)申请公布日 2017.11.24 | ||
(21)申请号 CN201710557157.8
(22)申请日 2017.07.10
(71)申请人 深圳大学
地址 518060 广东省深圳市南山区南海大道3688号
(72)发明人 王旭 温炜杰 江健民
(74)专利代理机构 深圳青年人专利商标代理有限公司
代理人 吴桂华
(51)Int.CI
权利要求说明书 说明书 幅图 |
(54)发明名称
深度图像的超分辨率重建方法、装置、设备及存储介质 | |
(57)摘要
本发明适用计算机技术领域，提供了一种深度图像的超分辨率重建方法、装置、设备及存储介质，该方法包括：对输入的低分辨率深度图和对应的高分辨率彩图进行预处理，以获取低分辨率深度图的高频信息图像和低频信息图像、以及高分辨率彩图的高频信息图像，对获取的两个高频信息图像分别进行特征提取和全卷积操作，生成高频全卷积特征图，对低分辨率深度图的高频全卷积特征图进行放大，然后和高分辨率彩图的高频全卷积特征图进行全卷积特征融合，并对得到的融合图像进行重建，根据重建后高频图像的尺寸对低分辨率深度图的低频信息图像进行放大，然后与重建后高频图像进行叠加，得到高分辨率深度图像，从而提高了深度图像的超分辨率重建效率。 | |
法律状态
法律状态公告日 | 法律状态信息 | 法律状态 |
权 利 要 求 说 明 书
1.一种深度图像的超分辨率重建方法,其特征在于,所述方法包括下述步骤:
对输入的低分辨率深度图和对应的高分辨率彩图进行预处理,以获取所述低分辨率深度图的高频信息图像和低频信息图像、以及所述高分辨率彩图的高频信息图像;
对所述低分辨率深度图的高频信息图像和所述高分辨率彩图的高频信息图像分别进行特征提取,对提取得到的特征图分别进行预设的全卷积操作,生成所述低分辨率深度图的高频全卷积特征图和所述高分辨率彩图的高频全卷积特征图;
对所述低分辨率深度图的高频全卷积特征图进行放大,以得到所述低分辨率深度图的放大后高频全卷积特征图;
对所述低分辨率深度图的放大后高频全卷积特征图和所述高分辨率彩图的高频全卷积特征图进行全卷积特征融合,对所述特征融合得到的融合图像进行重建,以得到重建后高频图像;
根据所述重建后高频图像的尺寸对所述低分辨率深度图的低频信息图像进行放大,将所述重建后高频图像与所述低分辨率深度图的放大后低频信息图像进行叠加,以得到所述低分辨率深度图对应的高分辨率深度图像,输出所述高分辨率深度图像。
2.如权利要求1所述的方法,其特征在于,对输入的低分辨率深度图和对应的高分辨率彩图进行预处理的步骤,包括:
使用预设的滤波公式h(F)=F-W<Sub>G</Sub>*F对所述低分辨率深度图和所述高分辨率彩图进行滤波预处理,分别得到所述低分辨率深度图和所述高分辨率彩图的低频信息图像,其中,所述F表示所述低分辨率深度图或所述高分辨率彩图,所述W<Sub>G</Sub>为二维的高斯卷积核,所述*表示卷积操作;
去掉所述低分辨率深度图和所述高分辨率彩图的低频信息图像,分别得到所述低分辨率深度图和所述高分辨率彩图的高频信息图像。
3.如权利要求1所述的方法,其特征在于,对所述低分辨率深度图的高频信息图像和所述高分辨率彩图的高频信息图像分别进行特征提取,并对提取得到的特征图分别进行预设的全卷积操作的步骤,包括:
使用公式<Image>对所述低分辨率深度图的高频信息图像进行卷积操作,以得到所述低分辨率深度图的高频信息图像的特征图,其中,所述<Image>表示上一卷积层输出的结果,所述<Image>和<Image>分别表示卷积层的卷积核和偏置,所述σ<Sub>i</Sub>()为激活函数;
使用公式<Image>对所述高分辨率彩图的高频信息图像进行卷积操作,以得到所述高分辨率彩图的高频信息图像的特征图,其中,所述i表示当前卷积层,所述<Image>表示上一卷积层输出的结果,所述<Image>和<Image>分别表示所述当前卷积层的卷积核和偏置;
使用公式F<Sub>i</Sub>=σ(W<Sub>i</Sub>*F<Sub>i-1</Sub>+B<Sub>i</Sub>)分别对所述低分辨率深度图的高频信息图像的特征图和所述高分辨率彩图的高频信息图像的特征图进行所述全卷积操作,生成所述低分辨率深度图的高频全卷积特征图和所述高分辨率彩图的高频全卷积特征图,所述W<Sub>i</Sub>和B<Sub>i</Sub>分别表示所述当前卷积层i的卷积核和偏置,所述F<Sub>i-1</Sub>为上一卷积层输出的结果。
4.如权利要求1所述的方法,其特征在于,对所述低分辨率深度图的放大后高频全卷积特征图和所述高分辨率彩图的高频全卷积特征图进行全卷积特征融合,并对所述特征融合得到的融合图像进行重建,以得到重建后高频图像的步骤,包括:
使用公式F<Sub>k</Sub>=σ(W<Sub>k</Sub>*(F<Sup>Y</Sup>,F<Sup>D</Sup>)+B<Sub>k</Sub>)对所述低分辨率深度图的放大后高频全卷积特征图F<Sup>D</Sup>和所述高分辨率彩图的高频全卷积特征图F<Sup>Y</Sup>进行全卷积特征融合,以得到所述融合图像,其中,所述W<Sub>k</Sub>为所述卷积层k的卷积核,所述B<Sub>k</Sub>为所述卷积层k的偏置;
对所述融合图像在融合过程中重叠部分的图像块进行平均处理,将得到的图像设置为所述重建后高频图像。
5.一种深度图像的超分辨率重建装置,其特征在于,所述装置包括:
图像预处理单元,用于对输入的低分辨率深度图和对应的高分辨率彩图进行预处理,以获取所述低分辨率深度图的高频信息图像和低频信息图像、以及所述高分辨率彩图的高频信息图像;
特征图生成单元,用于对所述低分辨率深度图的高频信息图像和所述高分辨率彩图的高频信息图像分别进行特征提取,对提取得到的特征图分别进行预设的全卷积操作,生成所述低分辨率深度图的高频全卷积特征图和所述高分辨率彩图的高频全卷积特征图;
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论