(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号 CN 106097251 A
(43)申请公布日 2016.11.09
(21)申请号 CN201610458527.8
(22)申请日 2016.06.22
(71)申请人 深圳信息职业技术学院
    地址 518172 广东省深圳市龙岗区龙翔大道2188号
(72)发明人 张运生 耿煜 谭旭 赖红 许志良
(74)专利代理机构 北京方圆嘉禾知识产权代理有限公司
    代理人 董芙蓉正则化与稀疏
(51)Int.CI
      G06T3/40
      G06T5/00
      H04N7/015
                                                                  权利要求说明书 说明书 幅图
(54)发明名称
      非均匀稀疏采样视频超分辨率方法
(57)摘要
      本发明公开了一种非均匀稀疏采样视频超分辨率方法，属于视频超分辨率技术领域，包括镜头(shot)检测和关键帧提取、原始图像进行模糊处理和下采样、非均匀采样的视觉模型建立、稀疏词典的构建、视频重构等关键技术，采用基于视网膜中央凹视觉的非均匀稀疏采样方法，实现对视频序列进行差异性稀疏采样,大幅度缩减原子个数，实时生成或根据移动终端设备屏幕的分辨率先验计算出具有高低分辨率的双词典(高分辨率参照副本)作为搭载的元数据，利用硬件支持的非线性Mipmap插值方法实时模拟生成Foveation图像，能够获取与高斯金字塔方法类似的结果，且计算开销更低。
法律状态
法律状态公告日
法律状态信息
法律状态
2021-06-01
未缴年费专利权终止
未缴年费专利权终止
2019-03-19
授权
授权
2016-12-14
实质审查的生效
实质审查的生效
2016-11-09
公开
公开
权 利 要 求 说 明 书
1.一种非均匀稀疏采样视频超分辨率方法,其特征在于,包括如下步骤:
S1,镜头检测和关键帧提取:从原始高清数字视频F<sub>n</sub>中以镜头为单位提取关键帧Y<sub>n</sub>,并对原始帧进行方向滤波后进行下采样为X<sub>nl</sub>,经压缩后作为基本层流传送;
S2,对关键帧的原始图像进行模糊处理和下采样:通过模拟现实中图像的降质过程产生相应的低分辨率图像Y′<sub>nl</sub>,即通过对高分辨率图像进行模糊和下采样处理;分别在低分辨率图像和高分辨率图像的高频空间建立对应关系;对低分辨率图像Y′<sub>nl</sub>进行上插值使得高低分辨率图像Y′<sub>nh</sub>具有一样的大小;在低分辨率图像的一阶和二阶导数图像上以块的方式随机提取低分辨率样本,而在高分辨率图像减去均值后的相应位置处提取高分辨率样本;
S3,非均匀采样的视觉模型建立:基于Foveation视觉模型的非均匀稀疏采样关键帧,采用视频图像的标准坐标系,建立非均匀采样的视觉模型,通过以视觉凹点Foveation为中心逐渐降低感知分辨率的采样过程,依据视觉皮层中神经元感受野的结构特性与图像几何结构特征来分配生成函数中自由参数的采样密度;同时,在编码端对图像高频部分边缘点进行密集采样,对非边缘部分进行随机抽样;
S4,稀疏表示和词典设计:从人类视觉系统感知特性出发,选取二维Gabor函数作为字典的生成函数,建立了匹配各层面图像结构的Gabor感知多成分字典,包含平滑、边缘、纹理三种结构类型和UV度及运动矢量的子成分字典;实时生成或根据移动终端设备屏幕的分辨率先验计算出具有高低分辨率的双词典作为搭载的元数据;
S5,视频超分辨率重构:在客户端解码出基本层视频后,运用快速上采样算法,基于每一个视频镜头的上采样性能构建基本的全屏视频帧;根据来源于高清视频信息,增强每一帧的视频对象的边界和重要细节的质量。
2.根据权利要求1所述的非均匀稀疏采样视频超分辨率方法,其特征在于,包括以下步骤,S1具体包括以下步骤:镜头检测采用颜和边缘特征两个标准检测镜头边界,利用投影直方图技术与动态直方图调整技术到镜头边界,投影直方图技术可自动获得具有一定约束的两个给定的序列之间的最佳的匹配。
3.根据权利要求1或2所述的非均匀稀疏采样视频超分辨率方法,其特征在于,S4包括以下步骤,为了满足两个词典在稀疏表示下的同构性,算法针对数据进行改进,其中公式看成由两部分组成,Φ(x,α)对应为最小平方误差,即Ψ(α)为λ||α||<sub>1</sub>,为了获得异构数据,对Ψ(α)进行
改进,其中一个改进方向是利用在多核学习中发现的组特性,将其应用在改进惩罚因子Ψ(α)。
4.根据权利要求3所述的非均匀稀疏采样视频超分辨率方法,其特征在于,S5包括以下步骤,采用双边滤波器:其中,p和q表示在高分辨率亮度图像上的像素的位置,p↓和q↓分别表示下采样之后在低分辨率UV度图像上像素的位置,f是空间滤波器核,g是范围滤波器核,S<sub>q↓</sub>是在q↓位置的UV的值,k<sub>p</sub>是正则化因子,S<sub>p</sub>是滤波后在P位置的高分辨率UV的值,相对于通用双边滤波器直接使用p和q的位置信息,使用含有更多信息量的p和q位置上的亮度信息来进行优化。
说  明  书
<p>技术领域
本发明涉及视频超分辨率技术领域,特别涉及一种非均匀稀疏采样视频超分辨率方法。
背景技术
当前移动设备已经成为我们日常生活的组成部分。成熟的无线通信技术和视频编解码器,使视
频流能够在移动设备上运行,因而人们能够容易地通过移动设备随时随地访问数字内容,如在线电视节目,音乐视频,体育报道和新闻节目,这促使计算机、广播电视网以及各种通信系统越来越走向融合,使跨平台视频沟通渐成主流方式,并初步提供强大的多媒体引擎、高清全屏视频技术(full high-definition video)支持。
然而,受无线网络带宽和终端处理能力的限制,目前仍有很多信道(如移动网络、卫星网络和互联网)不适合传输高清晰度视频。即使移动终端具备可支持高清(high-resolution)显示的性能,也无法接收并显示高清视频及图像。因为当前视频内容的质量和分辨率是有限的,视频流的分辨率要比设备实际上可以支持的分辨率低得多。如3G或HSDPA是稀缺资源,因此需要实现多用户间共享资源。而且许多无线带宽因信道衰落在实际情况下也远低于理论值,如多径衰落和阴影衰落所造成的障碍。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。