(19)中华人民共和国国家知识产权局
(12)发明专利说明书 | ||
(10)申请公布号 CN 106156284 A (43)申请公布日 2016.11.23 | ||
(21)申请号 CN201610483148.4
(22)申请日 2016.06.24
(71)申请人 合肥工业大学
地址 230009 安徽省合肥市包河区屯溪路193号
(72)发明人 汪萌 郝艳宾 洪日昌 蒋建国
(74)专利代理机构 安徽省合肥新安专利代理有限责任公司
代理人 陆丽莉
(51)Int.CI
G06F17/30
权利要求说明书 说明书 幅图 |
(54)发明名称
基于随机多视角哈希的大规模近重复视频检索方法 | |
(57)摘要
本发明公开了一种基于随机多视角哈希的大规模近重复视频检索方法，本发明首先通过时间间隔采样的方法提取视频关键帧，并提取关键帧的颜直方图HSV和局部二值模式LBP特征；然后，通过线性映射和sigmoid函数将HSV和LBP特征映射到准哈希空间，并通过阈值化处理生成的准哈希码来获得最终代表视频的哈希码；最后，通过计算测试视频哈希码序列与其他视频哈希码序列的汉明距离，并根据汉明距离的大小来检索测试视频的近重复视频。本发明能够利用视频多视角的特征信息，并通过哈希映射来提高检索效率和准确性，从而实现大规模的近重复视频的快速检索。 | |
法律状态
法律状态公告日 | 法律状态信息 | 法律状态 |
权 利 要 求 说 明 书
1.一种基于随机多视角哈希的大规模近重复视频检索方法,其特征是按如下步骤进行:
步骤一、训练阶段:
步骤1、对数据集中的V段视频采用时间间隔采样的方法提取关键帧,从而获得n帧关键帧;
步骤2、提取n帧关键帧的HSV颜直方图特征矩阵和LBP局部二值模式特征矩阵表示所述HSV颜直方图特征矩阵X<sup>(1)</sup>中第i行第j列元素;表示所述LBP局部二值模式特征矩阵X<sup>(2)</sup>中第i行第j列元素;所述HSV颜直方图特征矩阵X<sup>(1)</sup>的大小为n×d<sub>1</sub>,其中,d<sub>1</sub>为所述HSV颜直方图特征的量化级数;所述LBP局部二值模式特征矩阵X<sup>(2)</sup>的大小为n×d<sub
>2</sub>,其中,d<sub>2</sub>为所述LBP局部二值模式特征的维度;所述HSV颜直方图特征矩阵X<sup>(1)</sup>中第i行行向量表示第i帧关键帧所对应的特征向量;所述LBP局部二值模式特征矩阵X<sup>(2)</sup>中第i行行向量表示第i帧关键帧所对应的特征向量;令X<sup>(g)</sup>表示任一特征矩阵,其中,g=1表示HSV颜直方图特征矩阵;g=2表示LBP局部二值模式特征矩阵;
步骤3、生成所述n帧关键帧中任一关键帧所对应的s位哈希码;
步骤3.1、利用式(1)对第i帧关键帧所对应的特征向量进行线性映射,得到第i行特征向量的第l个线性映射值
<maths><math><mrow><msub><mover><mi>z</mi><mo>~</mo></mover><mrow><mi>i</mi><mi>l</mi></mrow></msub><mo>=</mo><munderover><mo>Σ</mo><mrow><mi>g</mi><mo>=</mo><mn>1</mn></mrow><mn>2</mn></munderover><munderover><mo>Σ</mo><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><msub><mi>d</mi><mi>g</mi></msub></munderover><msubsup><mi>x</mi><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mo>(</mo><mi>g</mi><mo>)</mo></mrow></msubsup><msubsup><mi>w</mi><mrow><mi>j</mi><mi>l</mi></mrow><mrow><mo>(</mo><mi>g</mi><mo>)</mo></mrow></msubsup><mo>+</mo><msub><mi>b</mi><mi>l</mi></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow></math>
</maths>
式(1)中,为线性映射的第j行第l列结合系数,b<sub>l</sub>为第l个偏置参数;
步骤3.2、利用sigmoid函数对所述第i行特征向量的第l个线性映射值进行处理,得到sigmoid函数映射值z<sub>il</sub>;从而将线性映射值所在的实数空间映射为sigmoid函数映射值所在的准哈希空间;
步骤3.3、对所述sigmoid函数映射值z<sub>il</sub>进行阈值化处理,判断z<sub>il</sub>>0.5是否成立,若成立,则令h<sub>il</sub>为1,否则令h<sub>il</sub>为0;从而获得第i帧关键帧的哈希码序列h<sub>i</sub>=[h<sub>i1</sub>,h<sub>i2</sub>,...,h<sub>il</sub>,...,h<sub>is</sub>];h<sub>il</sub>表示第i帧关键帧的第l位哈希码;
步骤4、在所述HSV颜直方图特征矩阵和所述LBP局部二值模式特征矩阵中,利用高斯模型分别计算在给定第i帧关键帧时,第j帧关键帧与所述第i帧关键帧的相似程度的条件概率且令从而获得n帧关键帧之间的条件概率矩阵为
步骤5、判断第i帧关键帧与第j帧关键帧是否属于同一视频,若属于,则令第i帧关键帧与第j帧关键帧的所属关系否则令从而获得n帧关键帧之间的所属关系矩阵
判断第i帧关键帧与第j帧关键帧在数据集真值表中是否为近重复视频,若是,则令第i帧关键帧与第j帧关键帧的监督关系否则,令从而获得n帧关键帧之间的监督关系矩阵
步骤6、利用式(2)计算得到n帧关键帧之间相似程度的概率矩阵P,并进行归一化处理,得到归一化后的概率矩阵
<maths><math><mrow><mi>P</mi><mo>=</mo><munderover><mi>Σ</mi><mrow><mi>g</mi><mo>=</mo><mn>1</mn></mrow><mn>2</mn></munderover><msub><mi>α</mi><mi>g</mi></msub><msup><mi>P</mi><mrow><mo>(</mo><mi>g</mi><mo>)</mo></mrow></msup><mo>+</mo><msup><mi>βP</mi><mrow><mo>(</mo><mi>V</mi><mo>)</mo></mrow></msup><mo>+</mo><msup><mi>γP</mi><mrow><mo>(</mo><mi>S</mi><mo>)</mo></mrow></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow></math></maths>
式(2)中,表示条件概率矩阵系数;β表示所属关系矩阵系数;γ表示监督关系矩阵系数;且系数β、γ均大于0且小于1,系数β、γ之和为1;
步骤7、在所述准哈希空间中,利用方差为1的高斯模型计算n帧关键帧之间的条件概率矩阵Q;
正则匹配哈希值
步骤8、利用复合的Kullback-Leibler(KL)散度计算概率矩阵和条件概率矩阵Q之间的差异S<sub>KL</sub>;
步骤9、利用式(3)优化目标方程O:
<maths><math><mrow><munder><mi>min</mi><mrow><msubsup><mi>w</mi><mrow><mi>j</mi><mi>l</mi></mrow><mrow><mo>(</mo><mi>g</mi><mo>)</mo></mrow></msubsup><mo>,</mo><msub><mi>b</mi><mi>l</mi></msub></mrow></munder><mi>O</mi><mo>=</mo><msub><mi>S</mi><mrow><mi>K</mi><mi>L</mi></mrow></msub><mo>+</mo><mfrac><mi>μ</mi><mn>2</mn></mfrac><munderover><mo>Σ</mo><mrow><mi>g</mi><mo>=</mo><mn>1</mn></mrow><mn>2</mn></munderover><munderover><mo>Σ</mo><mrow><mi>l</mi><mo>=</mo><mn>1</mn></mrow><mi>s</mi></munderover><munderover><mo>Σ</mo><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><msub><mi>d</mi><mi>g</mi></msub></munderover><msup><mrow><mo>(</mo><msubsup><mi>w</mi><mrow><mi>j</mi><mi>l</mi></mrow><mrow><mo>(</mo><mi>g</mi><mo>)</mo></mrow></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>3</mn><mo>)</mo></mrow></mrow></math></maths>
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论