2020⁃05⁃10
计算机应用,Journal of Computer Applications
2020,40(5):1403-1408ISSN 1001⁃9081
CODEN JYIIDU http ：//www.joca
基于二进制鲁棒不变尺度关键点-加速稳健特征的
自然特征虚实注册方法
周
翔1，2，唐丽玉1，2*
，林
定1，
2
（1.空间数据挖掘与信息共享教育部重点实验室（福州大学），福州350108；
2.地理空间信息技术国家地方联合工程研究中心（福州大学），福州350108）
（∗通信作者Tangly@fzu.edu ）
摘要：针对基于视觉的增强现实（AR ）中虚实注册的准确率和实时效果受光照、遮挡和视角变化影响大，易导致
注册失败的问题，提出一种基于二进制鲁棒不变尺度关键点-加速稳健特征（BRISK -SURF ）算法的自然特征虚实注册方法。首先，利用加速稳健特征（SURF ）特征提取算子检测特征点；然后，采用二进制尺度旋转不变鲁棒（BRISK ）特征描述算子对特征点进行二进制描述，结合汉明距离实现准确高速的特征匹配；最后，根据图像间的单应性关系实现虚实注册。从图像特征匹配和虚实注册两方面进行实验，结果显示BRISK -SURF 算法的平均准确率与SURF 算法基本保持一致，比BRISK 算法提高了约25%，平均召回率提高了约10%；基于BRISK -SURF 的注册方法的结果接近参考标准数据，精度较高，实时性较好。实验结果表明，所提方法对于光照、遮挡和视角情况不同的图像具有较高的识别准确度、注册精度和实时效果。另外，使用此方法实现了基于AR 的交互式旅游资源呈现与体验系统。
关键词：增强现实；二进制尺度旋转不变鲁棒-加速稳健特征算法；单应性矩阵；自然特征；虚实注册中图分类号：TP391.9；TP391.41文献标志码：A
Virtual -real registration method of natural features based on
binary robust invariant scalable keypoints and speeded up robust features
ZHOU Xiang 1，2，TANG Liyu 1，2*，LIN Ding 1，
2
（1.Key Lab of Spatial Data Mining &Information Sharing ，Ministry of Education （Fuzhou University ），Fuzhou Fujian 350108，China ；2.National -Local Joint Engineering Research Center of Geospatial Information Technology （Fuzhou University ），Fuzhou Fujian 350108，China ）
Abstract:Concerning the problem that the accuracy and real -time effects of virtual -real registration in Augmented
Reality （AR ）based on vision are greatly affected by the changes of illumination ，occlusion and perspective ，which is easy to lead to failure of registration ，a virtual -real registration method of natural features based on Binary Robust Invariant Scalable Keypoints -Speeded Up Robust Features （BRISK -SURF ）algorithm was proposed.Firstly ，Speeded Up Robust Features （SURF ）feature extractor was used to detect the feature points.Then ，Binary Robust Invariant Scalable Keypoints （
BRISK ）descriptor was used to describe the feature points in binary ，and the feature points were matched accurately and efficiently by combining Hamming distance.Finally ，the virtual -real registration was realized according to the homography relationship between images.Experiments were performed from the aspects of image feature matching and virtual -real registration.Results show that the average precision of BRISK -SURF algorithm is basically the same with that of SURF algorithm ，is about 25%higher than that of BRISK algorithm ，and the average recall of BRISK -SURF is increased by about 10%compared to that of BRISK algorithm ；the result of the virtual -real registration method based on BRISK -SURF is close to the reference standard data with high precision and good real -time performance.The Experimental results illustrate that the proposed method has high recognition accuracy ，registration precision and real -time effects for images with different illuminations ，occlusions and perspectives.Besides ，the interactive tourist resource presentation and experience system based on AR is realized by using the proposed method.
Key words:Augmented Reality (AR);Binary Robust Invariant Scalable Keypoints -Speeded Up Robust Features (BRISK -SURF)algorithm;homography matrix;natural feature;virtual -real registration
0引言
增强现实（Augmented Reality ，AR ）是指利用计算机技术将虚拟场景实时精准地叠加到真实场景中的相对位置，以增
强用户在真实环境中的感知体验［1］
。增强现实技术由虚拟现
实技术发展而来，具有虚实融合、实时交互、虚实注册的特点［2］，增强现实技术的核心是虚实注册［3-4］。随着计算机图形学和计算机视觉技术的快速发展，基于平面图像的自然特征虚实注册方法俨然成为研究热点之一，基于自然特征的虚实
文章编号：1001-9081（2020）05-1403-06
DOI ：10.11772/j.issn.1001-9081.2019091621
收稿日期：2019⁃09⁃24；修回日期：2019⁃11⁃12；录用日期：2019⁃11⁃16。基金项目：国家重点研发计划项目（2018YFB1004905）。
作者简介：周翔（1995—），男，安徽马鞍山人，硕士研究生，主要研究方向：地学可视化与虚拟地理环境；唐丽玉（1972—），女，福建莆田人，研究员，博士，主要研究方向：地学可视化与虚拟地理环
境、虚拟植物；林定（1977—），女，福建福州人，助理研究员，博士，主要研究方向：地学可视化与虚拟地理环境。
第40卷
计算机应用
注册方法的关键之一在于图像的特征提取与匹配［4-5］，图像特
征提取与匹配算法的特征识别精度和计算速度会对虚实注册
的精确度与实时性产生直接影响。
图像特征识别算法分为特征提取和特征描述两个部分，
图像的特征描述算法主要分为浮点型描述符和二进制描述符
两类。基于尺度不变特征变换（Scale-Invariant Feature
Transform，SIFT）算法［6］是目前综合性能最佳的浮点型描述
符，也是高精度特征提取算法，但其运算量大、耗时多，难以满
足对实时性有需求的实际应用，而同为浮点型描述符的加速
稳健特征（Speeded Up Robust Features，SURF）算法［7］能够获
取类似于SIFT算法的高精度和鲁棒性佳的特征点，但计算速
度较SIFT有较大的提高［8］，是一种较为高效的算法，与二进制
描述符相比，识别精度更高［9］但计算速度慢了一个数量级，在
所有的二进制特征描述算子中，二进制鲁棒不变尺度关键点
（Binary Robust Invariant Scalable Keypoints，BRISK）特征描述
算子［10］在旋转、视角和尺度变换条件下的综合表现最佳［11］，
BRISK特征描述符在所有的二进制描述符中有最高的特征匹
配精度和最大匹配数，运算速度相对于浮点型描述符来说非
常适合用于移动端应用程序［12］。
基于自然特征的增强现实技术在教育［13-14］、历史遗址重
现［15］、旅游［16-17］等领域有着广泛的应用前景，在实际场景中因
相机角度、环境光照和遮挡的不同会使得图像之间出现差异
性，因此实现一种能够准确快速地识别差异性图像并精确完
成AR功能的虚实注册方法非常关键。
本文将结合SURF算法和BRISK算法的优点，研究高效
的基于图像自然特征的虚实注册方法，首先使用二进制鲁棒
不变尺度关键点-加速稳健特征（Binary Robust Invariant
Scalable Keypoints-Speeded Up Robust Features，BRISK-SURF）
算法提取图像的特征信息；其次在特征匹配阶段使用汉明距
离进行高速特征匹配以及随机抽样一致性（RANdom Sample
Consensus，RANSAC）算法剔除误匹配点对，根据图像特征之
间的单应性关系计算注册矩阵以实现基于自然特征的虚实注
册；最后基于该方法实现AR系统，并应用于朱子文化遗存中
兴贤书院旅游资源的宣传与体验。
1基于BRISK-SURF自然特征的虚实注册
1.1结合BRISK和SURF的特征识别匹配算法
在实际应用中，准确并快速地识别匹配旅游场景中的图
像是关键。本文在图像的特征提取阶段利用SURF特征提取
算子检测出高精度和鲁棒性佳的特征点，然后使用BRISK特
征描述算子对特征点进行二进制描述以提高计算速度。
1.1.1特征提取
在图像的特征提取阶段，使用SURF的近似Hessian矩阵
行列式（Determinant of Hessian，DoH）检测在图像的不同尺度
空间上快速检测特征点，核心是Hessian矩阵的利用。图像在
尺度为σ的Hessian矩阵H为：
H(X，σ)=é
ë
ê
ù
û
ú
L xx(X，σ)L xy(X，σ)
L xy(X，σ)L yy(X，σ)（1）
其中：L xx(X，σ)为高斯二阶偏导数与像素点（x，y）在x方向上的卷积，L xy(X，σ)和L yy(X，σ)的定义类似。
SURF算法通过使用盒状滤波器（Box Filter）与积分图像的简单运算来代替模板与图像的卷积运算，这样可以在保证提取精度的前提下加快特征检测，计算公式如下：
det(H)=D xx D yy-(0.9×D xy)2（2）其中D xx、D yy、D xy为近似高斯二阶偏导数与图像像素的响应值，当det(H)>1时认为该点为特征点。
通过构建图像的多尺度空间金字塔，提取具有尺度变换和鲁棒性佳的特征点。SURF算法不改变图像的尺寸，只改变盒状滤波器的尺寸，并通过同时处理多尺度空间的图像来构建图像金字塔，加快了图像的处理。
在检测出的每个特征点所在尺度层及上下两个尺度层图像的3×3×3邻域内对其进行非极大值抑制，再通过亚像素插值运算来获得稳定性佳的特征点。
1.1.2特征描述
1）计算特征点主方向。
为了使特征点具备旋转不变性，在对特征点进行描述前需要确定特征点的主方向。本文利用BRISK算子，在特征点周围使用均匀采样模式（如图1所示），即以特征点为中心，构建不同半径的同心圆，在每个圆上获取一定数目的等间隔采样点（包括特征点本身），并对所有采样点进行高斯滤波，然后对局部梯度进行计算，将采样点两两组合计算特征点局部梯度集合，使用g(P i，P j)表示特征局部梯度集合，有：
g(P i，P j)=(P j-P i)I(P j，σj)-I(P i，σi)
P j-P i2（3）其中：I(P i，σi)、I(P j，σj)分别为特征点的像素值，统计短距离和长距离点对子集，利用长距离点对子集计算特征点的主方向，计算公式如下，公式中的L为所有长距离点对：
g=()g x g y=1L
(P i，P j)∈L
g(P i，P j)（4）
2）生成特征描述符。
把特征点周围的采样区域旋转θ角度到主方向，旋转后得到新的采样区域，以解决旋转不变性，再次使用均匀采样模式统计短距离点对子集()
Pθi，Pθj，在短距离点对子集中通过在点对之间的强度对比构建特征点的二进制描述符b，式中的S 为长距离点集。
b={1，I()Pθj，σj>I()Pθi，σi
0，其他；∀()
Pθi，Pθj∈S（5）1.1.3特征匹配
经过BRISK-SURF算法得到的特征点描述符是由0和1组成的二进制比特串，可以采用汉明距离实现特征点之间的高速匹配，从而完成特征点之间的初始匹配。RANSAC算法被广泛用于图像的特征匹配，容错率高，对
图1BRISK的采样模式
Fig.1Sampling mode of BRISK
1404
第5期周翔等：基于二进制鲁棒不变尺度关键点-加速稳健特征的自然特征虚实注册方法
误匹配的特征点对有很好的识别剔除效果，所以本文使用
RANSAC 算法对初始匹配点对进行筛选，以得到稳定性佳、精度高的最佳匹配点对。
1.2基于BRISK -SURF 算法的虚实注册
虚实注册技术是增强现实的核心技术，其主要作用是通过实时计算相机相对于真实场景的姿态位置而将虚拟物体准确地渲染叠加在真实环境的相应位置，使得虚拟场景与真实场景保持相对位置的准确与稳定［18-19］。要实现在现实场景中叠加虚拟场景，必须获取目标图像与相机的相对姿态位置信息，根据姿态信息把虚拟场景叠加渲染到真实场景中的相对位置上来实现AR 效果。
1）相机的姿态位置计算。
目标图像的特征点位置与其在三维空间中的坐标位置的对应关系如式（6）所示，其中：s 代表特征点在相机坐标中的z 坐
标值，（u ，v ）为图像坐标系中的二维点坐标，（X ，Y ，Z ）为三维点在
世界坐标系中的坐标，（c x ，c y ）为相机的主光轴点（图像的中心），
f x 和f y 为相机的焦距，[R 3×3t 3×1]为变换矩阵，K 为相机的内参矩阵，
M 为三维空间中点的坐标与二维图像坐标系中点坐标之间的单应性矩阵。
s éëêêùûúúu v 1=éëêêêêùû
úúúúf x 0c x 0f y c y 001[]R 3×3t 3×1éëêêêêêêù
û
úúúúúúX Y Z 1=K []R 3×3t 3×1éëêêêêêêùûúúúúúúX Y Z 1=M éëêêêêêêùû
úúúúúúX Y Z 1（6）这一步的关键是求解变换矩阵，也是相机的外参矩阵。相机的内参矩阵K 可由棋盘标定法获得，根据二维点集坐标、三维点集坐标和相机的内参矩阵计算变换矩阵[R 3×3t 3×1]。
2）基于BRISK -SURF 的虚实注册算法。根据求解的变换矩阵、相机的内参矩阵和匹配点对的坐标信息，
结合OpenGL 完成虚实注册。基于BRISK -SURF 的虚实注册算法流程如图2
所示。
图2虚实注册流程
Fig.2Flowchart of virtual -real registration
具体步骤描述如下：1）使用SURF 特征提取算子检测出标识图像的特征；2）使用BRISK 特征描述算子对检测出的特征点进行
描述；
3）校准相机，使用棋盘标定法计算相机的内部参数；4）从实时视频流中获取当前帧图像，使用SURF 特征提取算子检测图像的特征点；
5）使用BRISK 特征描述算子对当前帧图像中的特征点进行特征描述；
6）利用汉明距离对标识图像和当前帧图像的特征信息进行匹配特征；
7）如果图像匹配成功，计算标识图像和当前帧图像之间的单应性矩阵，否则返回继续4）；
8）利用单应性矩阵特征对二维特征点坐标进行映射，获得三维点坐标；
9）根据三维点坐标、二维点坐标和相机的内参矩阵，计算出相机的外参矩阵；
10）利用相机的外参矩阵，将虚拟物体渲染叠加在真实场景中。
2实验结果与分析
BRISK -SURF 算法能否准确快速地实现图像特征匹配将会对虚实注册过程产生直接影响，所以将基于BRISK -SURF 自然特征的虚实注册算法的实验分为图像特征匹配对比实验和虚实注册实验两个部分。其中：图像特征匹配对比实验是检测BRISK -SURF 算法在各种图像变换情况下是否能够高效快速地实现图像特征匹配；虚实注册实验是对文中虚实注册算法能否高效稳定地实现AR 进行实验测试。2.1图像特征匹配对比实验
本文从旋转变换、光照变换、尺度变换、视角变换和模糊变换5个不同角度对文中的算法与SURF 算法、BRISK 算法，
按照不同的性能指标分别进行实验对比［20-21］
。图3为实验图像数据，包括不同模糊、旋转、尺度、光照、视角变换等标准场景图像的牛津数据集（the Oxford data set ）和图像处理实验中经典图像Lena
。
图3
标准实验数据集
Fig.3
Standard experimental dataset
实验基于OpenCV2.4.9和QT5.6，实验环境为i7-7700
CPU 、16GB 内存、Windows10系统。采用特征匹配数、特征计算耗时、匹配率、准确率和召回率作为算法的性能指标与SURF 和BRISK 算法进行对比实验，并且对实验结果进行分
析。在下列各性能指标计算公式中，
N f 为两幅图像中特征点数量最小值，
N all 为总匹配点对数量，N correct 为正确匹配的点对数量，
N should 为两幅图像相同的特征点对数量。实验结果统计如图4所示。
1）平均特征匹配数量。对经过各特征提取算法所提取的
1405
第40卷
计算机应用所有标准图像特征点中成功匹配的点对数量求平均值，结果如图4（a ）所示，实验统计结果显示，在面对图像的不同模糊、旋转、光照、尺度、视角变换情况下，经过BRISK -SURF 算法得到的图像平均特征匹配数量与SURF 算法基本一致，比BRISK 算法明显要多。
2）特征计算耗时。将各特征提取与描述算法分别应用于各个标准实验图像的特征检测与描述，计算消耗时间（单位：秒），结果如图4（b ）所示，根据统计结果分析，BRISK -SURF 算法特征平均计算速度约为SURF 算法的2.52倍，有效地提高了实时性。
3）平均匹配率（Average Matching ，AM ）。匹配率为经过RANSAC 算法筛选后得到的高精度特征匹配数与两幅图像检测出的特征点数量最小值的比值：
AM =N correct N f （7）
对匹配率求平均值，实验结果如图4（c ）所示，在图像模糊
和尺度变换方面的表现BRISK -SURF 算法比SURF 算法更加
优秀，与BRISK 算法相比鲁棒性更佳。
4）平均准确率（Average Precision ，AP ）。准确率为经过RANSAC 算法筛选后得到的高精度特征匹配数与筛选前特征匹配数的比值：
AP =N correct N all （8）计算匹配准确率的平均值，实验结果如图4（d ）所示，根据统计结果分析，在平均准确率方面，BRISK -SURF 算法与SURF 算法相比基本一致，而BRISK 算法的平均准确率变化较为明显并且均低于BRISK -SURF 算法，稳定性表现不佳。
5）平均召回率（Average Recall ，ARc ）。特征匹配的召回率是指最终得到的最佳特征匹配数量与两幅图像中相同特征点对数的比值：
ARc =N correct N should （9）
对召回率求平均值，实验结果如图4（e ）所示，在平均召回
率方面，BRISK -SURF 算法比SURF 算法更具有优势，相较于BRISK 算法，在图像旋转变换情况下，BRISK 算法的平均召回率更加出，但在光照、尺度、视角变换方面BRISK -SURF 算法更具有优势。
根据对比实验结果分析，在使用不同变换的图像与相应原始图像进行匹配测试时，BRISK -SURF 算法表现出较为理想的鲁棒性、稳定性和实时性，与SURF 的性能基本一致但有更高的召回率，与BRISK 相比鲁棒性更佳，表现出更好的准确率，计算速度相较于SURF 算法大大加快，但比BRISK 算法耗时多，计算时间基本能保持在0.1s 以下，算法的实时性较好。2.2虚实注册实验分析
本文在Windows10系统下，基于Unity3d 专业渲染引擎，结合OpenCVForUnity 工具包和OpenCV 库实现基于BRISK -SURF 算法的自然特征虚实注册，并在此虚实注册算法的基础上实现AR ，实验硬件配置为外接摄像头（分辨率640×480），Core i7-7700CPU 3.6GHz ，16GB 内存。
1）鲁棒性和稳定性测试。
选择一张卡通图片作为标识图片，在不同光照、不同视角以及经过不同遮挡处理的情况下进行匹配识别，蓝立方体为需要被注册的虚拟物体，对基于BRISK -SURF 的自然特征注册算法的鲁棒性和稳定性进行测试，测试结果如图5所示，实验结果表明，本文实现的虚实注册方法可以准确高效地完
成对场景的识别，实时效果好，鲁棒性良好并且运行稳定，将
虚拟立方体准确地渲染叠加在标识图片上，并且虚拟立方体
的显示姿态也随相机的姿态变化而变化。
图5不同情况下的注册效果
Fig.5Registration effects in different situations
2）运算时间测试。分别对采用SURF 、BRISK 和BRISK -SURF
算法的注册方
图4实验结果统计
Fig.4Statistics of experimental results
1406
第5期周翔等：基于二进制鲁棒不变尺度关键点-加速稳健特征的自然特征虚实注册方法
法进行运算耗时测试，每隔50帧计算一次平均值，结果如表1所示。从表中可以看出，本文的算法运行平均耗时在0.1s 左
右，计算耗时仅为SURF 算法的1/2~1/3，有较好的实时效果。
表1
注册算法计算时间平均耗时对比
单位：ms Tab.1Comparison of average calculation time of
registration algorithms
unit ：ms
帧数50
100150200250300
BRISK 34.2434.1033.8033.5833.0632.34
SURF
271.28271.69267.32267.92262.84263.50BRISK -SURF 110.99109.83108.51106.23107.47105.21
3）注册精度测试。
本文使用标准图像数据集［22］对BRISK -SURF 算法的注册精度进行测试，
数据集中包括标准的变换矩阵（3×3），注册结
果如图
6所示，
白框为实验所得的注册位置。
图6标准图像注册结果
Fig.6Results of standard image registration
实验计算数据与标准参考数据如表2所示，从表中可以看出实验所得变换矩阵非常接近于标准矩阵，同时相较于BRISK 算法明显有更高的注册精度。
基于BRISK -SURF 的自然特征虚实注册算法在标识图像
的光照、视角以及遮挡不同的情况下，仍然可以准确地完成虚实注册，稳定性和鲁棒性表现出，同时具有较好的实时性，注册精度高。
2.3
实验分析总结
通过对图像特征匹配实验和虚实注册实验结果的分析可
知，基于BRISK -SURF 的自然特征虚实注册算法继承了SURF 算法高精度的图像识别匹配性能，在标识图像的光照强度、视角变换和遮挡程度等不断变换的情况下，可以准确完成虚实
注册，同时注册平均耗时保持在0.1s 左右，具有鲁棒性和稳定性佳、实时性效果良好、注册精度高的优点，因此适合用于移动增强现实系统中。
3BRISK -SURF 虚实注册的应用
本文以朱子文化遗存中的兴贤书院为例，对景点的多种类型旅游资源进行数字化，将AR 技术应用于兴贤书院旅游资源的呈现与体验，并通过多模态交互方式对不同类型的数字化旅游资源进行交互设计。3.1AR 框架设计
AR 系统的实现基于Unity3d 平台，并结合OpenCVForUnity 工具包和OpenCV 库。具体实现思路是：使用BRISK -SURF 算法提取标识图片的特征信息，利用Unity3d 的MainCamera 结合外接摄像头获取视频流图像，提取其中每一帧图像的特征信息与标识图片进行匹配，匹配成功后实时计算摄像头相对于标识图片的姿态关系。在场景中新添加一个Camera （新命名ARCamera ）用于渲染虚拟场景，利用计算得到的TRS （Translation ，Rotation and Scaling ）变换矩阵将虚拟场景渲染叠加在标识图片的相对位置上，从而实现AR 功能。AR 实现流程如图7所示。3.2
多模态交互式移动AR 效果展示
本文利用兴贤书院的宣传图片对数字化的旅游资源以三维和二维相结合的方式在移动端进行呈现，同时设计手势、语
音等多模态交互的方式对不同类型的旅游资源进行交互，图8展示的是基于多模态交互式AR 系统的效果，IPAD 中的图片为书院宣传照片。
图8中：（a ）展示的是书院的历史简介，可以通过语音功能进行交互；（b ）展示的是书院的宣传视频，通过UI 交互方式自由选择二维或三维资源进行交互；（c ）~（f ）展示的是书院的三维模型，其中图（d ）是通过手势操作完成对图（c ）中模型的旋转视角，图（e ）展示的是手势旋转和放大的三维模型，图（f ）是在图（e ）的条件下将摄像头靠近IPAD 观察书院三维模型内部场景的效果。
表2
变换矩阵实验对比
Tab.2
Experimental comparison of transform matrices
数据类型标准参照矩阵
实验所得矩阵
图6（b ）与图6（a ）的视角变换
éëêê
ùû
ú
ú
0.8797690.312454
-39.430589-0.1838940.938472153.1578410.000196
-0.000016
1.000000éëêê
ùû
ú
ú
0.848892-0.313652-36.014809-0.1638250.938203150.7369630.000173-0.000019  1.000000图6（c ）与图6（a ）的视角变换
éëêê
ùû
ú
ú
0.762859-0.299229225.6712280.334435  1.014390-76.9997290.000347
-0.000968  1.000000éëêê
ùû
ú
ú
0.768859-0.303654222.7369630.333825  1.012203-74.0148090.000387
-0.001173
正则化项鲁棒性
1.000
240图7AR 实现流程
Fig.7Flowchart of AR implementation
1407

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。