·强激光物理与技术·
格雷码与六步相移编码融合的三维结构光学测量方法
*
孙帮勇1,2，  吴思远2（1. 西安理工大学 印刷包装与数字媒体学院，西安 710048；  2. 中国科学院 西安光学精密机械研究所 光谱成像技术重点实验室，西安 710119）
摘    要：  编码结构光技术是一种获取复杂目标三维结构的典型测量技术，其将编码后的结构光图案投射
到待测物体表面进行调制、采集，并通过解码计算三维面形数据，可见编码方法是结构光三维测量技术的核心
问题。然而，通用的格雷码编码方法和六步相移编码方法都存在一定缺陷，为此，以获取物体的高精度三维点
云数据为目标，提出了一种融合格雷码与六步相移的结构光技术。首先，将格雷码结构光设计为7幅黑白相间
的条纹周期图像，并通过投射角度解码操作将图像划分为多个区域；然后，设计六步相移结构光为6幅具有相
位差的余弦周期图像，通过相位解包裹操作将每个子区域细分到单个像素单元；最后，融合以上两种编码结构
光解码值，计算图像内每个空间点的绝对相位信息。仿真实验与实际测试实验显示，与传统六幅莫尔条纹结构
光技术相比，融合结构光技术计算量较小，同时也克服了单独使用格雷码或相移技术所存在的问题，能够以较
高精度获取物体目标的三维结构细节，为基于结构光的双目三维扫描系统提供一定理论依据。
关键词：  三角测量原理；    六步相移；    格雷码；    结构光；    三维点云
中图分类号：  O439                      文献标志码：    A          doi : 10.11884/HPLPB202133.200242
Structured light technology based on gray code and six-step phase shift method
Sun Bangyong 1,2，  Wu Siyuan 2
（1. College of Printing , Packaging Engineering and Digital Media , Xi’an University of Technology , Xi’an 710048, China ;
2. Key Laboratory of Spectral Imaging Technology , Xi'an Institute of Optics and Fine Mechanics , Chinese Academy of Sciences , Xi'an 710119, China ）
Abstract ：  Structured light technology is a typical method for capturing the three-dimensional point cloud data
of  realistic  objects. Structured  light  images  are  projected  on  the  surface  of  the  object, which  are  modulated  by  the
height of the object. Then, the modulated structured light is captured by the camera. Finally, the triangulation principle
is used to calculate the three-dimensional surface shape data. To scan the high-precision three-dimensional point cloud
of the object, this paper proposes a structured light technology based on Gray code and six-step phase shift method.
The structured light based on Gray code is composed of 7 black and white fringe periodic images, and the image can
be divided into 128 areas through the gray code decoding operation; the structured light based on six-step phase shift is
composed of 6 cosine periodic images with phase difference. Phase shift decoding can subdivide each of the 128 areas
into  a  single  pixel. Compared  with  the  cumbersome  calculation  of  six  Moiré fringes, the  proposed  structured  light
technology based on six-step phase-shift method has less calculation. In the simulation experiment and actual test, the
proposed structured light technology showed excellent performance.
Key words ：  principle of triangulation ； six-step phase shift ； Gray code ； structured light ； cloud point
随着光学成像理论与设备的发展，人们已实现复杂目标物体的三维结构获取，特别是所提出的格雷编码结构光技术和相移编码结构光技术，能够探测目标复杂的外部结构，被广泛应用于三维重建任务中[1]。格雷编码结构光技术是一种时间编码方法，所成图像由周期性黑白相间条纹组成，具有空间分辨率高、易于实现等特点。相移编码结构光技术属于周期性编码方法[1]，成像为具有相位差的余弦周期图像，基于连续的相位特征，在同一个方向和同一个周期内所描述的空间点相位值具有惟一性，三维重建的空间精度较高。
格雷编码和相移编码两种结构光技术是精密型双目三维扫描系统采用的主要方法，但现阶段仍存在一定问 *  收稿日期：2020-08-19；  修订日期：2020-12-18
基金项目：国家自然科学基金项目(62076199)；中国科学院光谱成像技术重点实验室基金项目(LSIT201801D)
作者简介：孙帮勇(1980—)，男，博士，副教授，从事多光谱成像技术研究；；
吴思远(1991—)，男，硕士，工程师，从事结构光学设计与测量研究；。
第 33 卷第 2 期强  激  光  与  粒  子  束Vol. 33，No. 22021 年 2 月HIGH POWER LASER AND PARTICLE BEAMS Feb.，2021
题。研究发现，格雷编码结构光技术存在的主要问题为[2-4]：第一，投影时间与解码时间长，这是由于格雷编码需要投射大量的编码图案，导致图像采集和后期图案解码都较为耗时；第二，格雷编码无法将图像区域划分至单个像素，这是由于投影仪在投射格雷编码图案时，黑白条纹之间存在光的衍射效应，无法精确区分较小的划分区域，从而导致图像解码出错。而相移结构光技术存在的主要问题为[5-6]：第一，周期性相移无法精确编码大范围区域，在采用图像灰度值求解空间点相位时，由于像素值取值范围有限导致不能对图像内空间点完全编码；第二，相位步数的选择问题，一般相移步数越少，效率越高，相移步数越多，越能减少因光照不均匀而产生的相位偏差，从而提高测量精度，但是多步数的相移法也会导致更多的投影图像和更长的计算时间。
基于以上对格雷编码结构光与相移结构光的成像技术特性分析，研究人员发现[7-8]，通过融合两种编码方式可以更准确求解图像中的空间点相位信息，为后期三维测量和扫描提供可靠的计算依据。本文基于该思路，以构建高精度的双目三维目标扫描系统为目标，首先采用格雷编码结构光技术将目标图像划分为多个区域，然后在三步、四步相移编码基础上，提出新的六步相移结构光技术对格雷编码形
成的子区域细分至像素级别，最后通过融合的编码、解码方法实现精确的三维目标结构获取。实验结果表明，新的融合编码三维扫描方法能够对物体表面空间进行精确编码，并在双目立体视觉扫描中获得了物体精确的三维结构。
1    基于格雷编码与六步相移编码融合的结构光技术原理
三维复杂目标的结构扫描多采用精密型立体视觉扫描设备，如图1所示，基于结构光的双目三维扫描系统由两台相机和一个光栅投射器组成，结构简单、扫描精度高，是三维目标扫描的主流设备。扫描过程中，首先利用光栅投射器向被测物体投射预置的结构光编码图案，并且两台相机同时采集被物体表面高度调制的结构光图案；然后对获取的结构光图案进行空间解码，结合立体视觉极线约束搜索两幅图像的像素位置对应关系[9-12]；最后，根据标定的系统内部参数与外部参数，采用三角测量法[13-14]计算目标的空间三维坐标。
可以看出，光学编码是采用结构光进行三维扫描的关键问题。研究发现，基于格雷编码（如图2所示）与相移编码的结构光编码技术是当前采用的主流算法，其易于实现、扫描精度高。然而，在结构光的实际设计与应用中，由于待测物体的表面颜偏暗或者具有反光现象，导致相机采集的结构光图像质量下降，容易造成空间解码出错。为了克服上述问题，本文提出了格雷码与六步相移融合的结构光技术，通过精确控制投影位置和编码的相位偏差，提升三维目标的空间精度和时间效率。基于所提出的
融合编码结构光技术，扫描步骤可分为以下三步：（1）利用格雷编码技术将图像划分为128个区域，并对于待测物体表面颜偏暗部位和边缘部位进行图像预处理，以提高解码准确率；（2）使用六步相移结构光技术将上述子区域进一步细分至像素级别；（3）融合格雷编码与六步相移的解码值，获取图像所对应三维空间的绝对相位值。
1.1    格雷编码结构光技术
通过分析三维扫描目标空间分辨率精度和解码效率等因素，本文设计的格雷编码图案由7幅黑白相间的周期性条纹组成，成像区域被划分为128个子区域，如图3所示。设定第n 幅图像中包含的周期数为2n −1，即第1幅的周期为20＝1，第7幅的周期为128。camera 1projector camera 2
Fig. 1    Binocular three-dimensional scanning instrument based on structured light
图 1    基于结构光的双目三维扫描设备示意图
Fig. 2    Structured light images based on Gray code
图 2    格雷码结构光示意图强  激  光  与  粒  子  束
为了减少待测物体表面的反光现象，所设计的格雷编码图像中黑条纹像素值为0，白条纹像素值为178。未采用传统像素值255表示白条纹，是因为格雷编码图案被投影至待测物体表面时，在满足解码条件的前提下，能够通过减小白光像素值降低强白光造成的物体表面反光现象，从而提升成像质量。另外，在对摄像机采集图像进行二值化处理时，图像中白条纹区域的像素标记为1，黑条纹区域的像素标记为0，以便求解相应区域的二进制编号。测试中发现，图像二值化处理时，对于表面颜
偏暗的物体无法较好的选取阈值来区分黑白条纹，易导致二值化出错。为克服上述问题，本文采用局部阈值算法对
较暗物体的图像进行二值化处理，如图4所示，通过投射全
黑与全白两幅图案，在获得各个像素点在这两种情况下的灰
度值后，采用其均值作为该像素点的阈值。
图像二值化处理过程完成了图像区域的格雷编码值的
求解，为了获取图像区域的十进制周期数，实验中对二进制
格雷码进行解码的原则为：由高位向低位依次进行转换，最
高位不变，二进制的当前位为所求出的二进制的上一位与格
雷码的当前位进行异或操作。最终将二进制编码转换成十进制编码，作为图像区域的解码周期。
1.2    六步相移编码结构光技术六步相移结构光技术采用相位法对目标物体表面的三维空间点进行编码。由于相位是连续的，同一周期内每个空间点的相位值具有唯一性。本文设计的六步相移结构光，
较三步相移和四步相移解码精度更高，同时比传统的六幅莫尔条纹法计算量小。假定投影光强是标准余弦分布，当编码图案投射至待测物体表面时，编码图案在不同表面高度的调制下形成变形条纹，所形成的变形条纹函数可以描述为
I (x ,y )(x ,y )A (x ,y )B (x ,y )k φ(x ,y )(x ,y )θ=π/3其中为相机采集到的物体表面二维图像坐标上的光强，和为与背景相关的光波振幅，为波系数，为点的相位，θ与物体形状的相关。本文设计的六步相移结构光的周期步长为，因此六步相移图像的像素值I 0～I 5
理论计算过程如下
Fig. 3    The structured light based on Gray code. From left to right are the first ，second ，...，seventh coded image
图 3    格雷码编码结构光图案从左至右依次为第一幅，第二幅，…，第七幅编码图像
Fig. 4    Schematic diagram of local threshold selection 图 4    局部阈值的选取示意图
孙帮勇等： 格雷码与六步相移编码融合的三维结构光学测量方法
根据上述公式可推导出
因此根据公式（8）与公式（9），目标图像的相位求解公式为
1024×7688T =8由以上公式可以看出，六步相移结构光可以通过公式（10）进行快速地解码，其计算量比传统的六幅莫尔条纹法小。结合三维空间扫描的实际应用场景，考虑到图像只能进行整数像素移动，因此六幅图像的相位移动步长是周期除以六并四舍五入取整。本文设计的相移图像分辨率为，余弦周期为个像素，即。最终，如图5所示，所设计的六步相移结构光图像像素值计算步骤如下： 02468101214161820
y -coordinate of image 050
100
150200250
I 0I 1I 2I 3I 4I 5
Fig. 5    Schematic diagram of the pixel value rule of the structured light image based on six-step phase shift method
图 5    六步相移结构光图像第一行的像素值规律图，图像I 0的像素值周期规律对应I0曲线，依次类推
①第一幅图像I 0为基准图，在理论余弦曲线上进行采样；
②第二幅图像I 1在第一幅图像对应点基础上移动T /6（四舍五入取整，以周期为8为例），即移动1（1.333）位后在所在理论曲线上，以移位后的横坐标在曲线上对应生成的纵坐标，得到新对应的横纵坐标的点；
③第三幅图像I 2在第一幅图像对应点基础上移动2T /6，即移动3（2.666）位后在所在理论曲线上，以移位后的横坐标在曲线上对应生成的纵坐标，得到新对应的横纵坐标的点；
④第四幅图像I 3在第一幅图像对应点基础上移动3T /6，即移动4（4）位后在所在理论曲线上，以移位后的横坐标在曲线上对应生成的纵坐标，得到新对应的横纵坐标的点；
⑤第五幅图像I 4在第一幅图像对应点基础上移动4T /6，即移动5（5.333）位后在所在理论曲线上，以移位后的横坐标在曲线上对应生成的纵坐标，得到新对应的横纵坐标的点；
⑥第六幅图像I 5在第一幅图像对应点基础上移动5T /6，即移动7（6.666）位后在所在理论曲线上，以移位后的横坐标在曲线上对应生成的纵坐标，得到新对应的横纵坐标的点。
2    实验结果
针对本文提出的基于格雷码与六步相移融合的结构光技术，本文利用仿真实验与实物扫描实验对新方法进行了测试验证，并对实验结果进行了必要分析。
2.1    仿真实验
在仿真实验中，将设计的7幅格雷编码图像与6幅六步相移图像直接作为解码算法的输入图像，分别进行格雷码解码和相移解码。实验利用MATLAB 编程实现了格雷码解码与相移解码算法，为了更直观地展示格雷码解码结果，如图6对解码结果进行了伪彩渲染。可以看出，格雷码解码将图像区域划分为128个区域，每个区域内使用相同的周期索引表示。
强  激  光  与  粒  子  束
六步相移解码基于公式（10）所描述原理，其解码结果如图7（a ）所示：解码值呈现周期性重复。为了更加直观展示相移解码结果，将图7（a ）进行了局部放大至图7（b ）。从图7（b ）可以看出六步相移将图像区域进一步划分至像素级别，每个周期内具有唯一的相位值，提高了空间位置精度。由于理论上格雷码与六步相移周期边界重合，因此融合后的编码结果可保证图像中每一行的空间点具有唯一相位值。从仿真实验中可以看出，本文提出的基于格雷码与六步相移的结构光技术，理论上可以计算图像空间点在同一方向的唯一相位值，为物体的三维结构扫描提供可靠的依据。
2.2    三维结构扫描实验
为了测试本文设计的格雷码与六步相移融合结构光技术在实际应用中的有效性，将设计的编码图案应用于结构光双目三维扫描设备中进行验证。实验选择的三维扫描设备主要包括两台摄像机和一台数字投影仪，其中数字投影仪将设计的结构光图像投影至待测物体表面，两台摄像机分别采集被物体表面调制后的条纹图案。获取编码图案之后，将相机采集的7幅格雷码条纹图像与6幅六步相移图像作为解码算法的输入图像，分别进行格雷码解码与相移解码。图8所示为格雷码解码结果，可以看出：（1）物体表面被准确划分为多个区域，且每个区域获得了较为清晰的图像边缘；（2）扫描物体表面高度不同的区域，在解码图像中也得到了一定程度的区分，但细节描述仍不够准确，说明格雷码在描述物体高度细节方面有待提高。
为获得更高精度的物体表面特征信息，进一步对采集到的六步相移条纹图像解码，其解码结果如图9（a ）所示，可以看出，物体表面的不同高度特征被相位值进一步记录，在放大图9（b ）中描述的物体花纹部分得到验证。图9（b ）显示，六步相移的解码值将图像的区域已经划分至单个像素级别，周期内每个空间点具有唯一的相位值，因此基于六步相位编码的相位连续特征进一步提高了物体表面高度信息的描述精度。
最后，通过融合格雷编码与六步相移的解码结果，可计算出物体表面空间点的绝对相位值。基于扫描系统中的双目结构，利用立体匹配技术获取左右相机的视差图，最终根据已标定的系统参数可计算出物体表面的三维点云数据。为了验证本文提出的结构光技术的有效性，我们分别采用格雷编码结构光、三步相移结构光作为对比算法，实现对物体三维结构的扫描，如图10所示。其中图10（a ），（b ），（c ）分别是采用格雷编码技术、三步相移技术、本文提出的融合编码结构光技术扫描所获取的物体三维结构。从图10（a ）可以看出，物体的三维结构中存在较多的缺失，特别是物体的边缘部位，而且在具有弧度的曲面处，并未很好地复现物体的曲面弧度，造成该问题的主要原因是：格雷编码技术在实际应用中只能将图像划分为不同的区域，但是区域内部空间点具有相同的周期数，不能区分同一区域内的空间点，导致立体匹配过程出现匹配失败，无法准确还原物体的三维结构。从图10（b ）可以看
1.00.90.80.70.60.50.40.30.20.1
Fig. 6    Gray coding simulation decoding diagram.
The image is divided into 128 areas
图 6    格雷编码仿真解码图，图像被划分为128个区域(a)(b) Fig. 7    Decoding diagram of the structured light based on six-step phase-shift simulation
图 7    六步相移结构光仿真解码图
Fig. 8    Picture of the decoding result in the actual
二进制编码转换application of Gray coding 图
8    格雷编码实际应用中的解码结果图
(a)(b) Fig. 9    Picture of decoding result in practical application of six-step phase shift structured light 图 9    六步相移结构光实际应用中的解码结果图
孙帮勇等： 格雷码与六步相移编码融合的三维结构光学测量方法

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。