现代电子技术
Modern Electronics Technique
2021年12月1日第44卷第23期
Dec.2021Vol.44No.23
0引言
在工业生产中，由于自动点胶机工艺水平的限制，胶水不可避免会出现破裂、胶过厚、过细、不足等现象[1]。这些问题会导致显示屏幕与手机壳贴合不牢靠，长时间使用会导致产品故障，严重时会造成手机渗入不明液体等危险发生，若能及时发现胶水在封装时的缺陷问题，
就能避免不必要的危险发生[2]。因此，屏幕下点胶质量的好坏对于一部手机的使用安全性和寿命有着极其重要的影响。目前随着手机用户的不断增加，手机屏幕越做越大、边框变窄等新需求也日益显著，这一需求引起了手机生产厂商们的高度重视和关注[3⁃4]。但点胶质量很难达到百分百的准确控制，由于胶水的特殊性和手机壳内部复杂的结构，传统图像处理方法在胶水的成像条
DOI ：10.16652/j.issn.1004⁃373x.2021.23.030
引用格式：邹翔，宁黎华，高兴宇，等.基于线结构光的手机封装胶测量方法研究[J].现代电子技术，2021，44（23）：149⁃154.
基于线结构光的手机封装胶测量方法研究
邹
翔，宁黎华，高兴宇，廖
斌，王海舰
（桂林电子科技大学广西制造系统与先进制造技术重点实验室，广西桂林
541004）
摘
要：为了克服手机在封装工艺中的胶水断裂、溢出等缺陷，提出一种基于线结构光传感器（LMI Gocator 2510）及
HALCON 软件的手机封装胶测量方法。通过提取手机壳深度图中的胶水区域特征，采用直方图谷底法
实现无胶水区域和点胶后有胶水区域的有效分离；分别截取已分割区域中对应行坐标的全部像素值，进一步重构出深度轮廓线，利用基于深度轮廓信息的最小二乘法拟合出胶路的胶基准；结合胶基准测量点胶后的胶水高度，最后再判断点胶后轮廓位置的胶水宽度和
各类缺陷问题。实验结果表明，该算法可准确测量出微米级胶水胶截面轮廓的宽度、高度，通过设定阈值数据精准判断出缺胶、溢胶缺陷，同时该方法的胶宽度测量误差为0.03mm ，测量结果有稳定的数据集中性。
关键词：机器视觉；工业自动化；HALCON ；激光三角测量法；线结构光传感器；微米级测量；胶水检测；深度图重构中图分类号：TN205⁃34
文献标识码：A
文章编号：1004⁃373X （2021）23⁃0149⁃06
Mobile phone adhesive packaging measuring method based on line⁃structured laser
ZOU Xiang ，NING Lihua ，GAO Xingyu ，LIAO Bin ，WANG Haijian
（Guangxi Key Lab of Manufacturing System and Advanced Manufacturing Technology ，Guilin University of Electronic Technology ，Guilin 541004，China ）
Abstract ：To overcome the defects of glue cracking and overflowing in the packaging process of mobile phones ，a mobile phone packaging glue measuring method based on line ⁃structured laser sensor （LMI Gocator 2510）and HALCON software is proposed.By extracting the glue area features of the depth map of the mobile phone case ，the histogram threshold method is used to achieve the effective separation of the no glue area and the glue area of the depth map.All pixel values of the coordinates of the corresponding row in the segmented areas are intercepted respectively to furthermore reconstruct the depth
contour line.The least square method based on the contour information is used to fit the glue benchmark of the glue route.In combination with the glue benchmark ，the glue height after glue dispensing is measured.Finally ，the glue width and various defects of the outline position after glue dispensing are judged.The experimental results show that the algorithm can accurately
measure the width and height of the cross⁃sectional profile of the glue with a measurement accuracy of micron scale.In addition ，it can further judge the defects of lack of glue and glue overflow accurately by setting the threshold data.The measurement error of glue width of this method is 0.03mm.Its measurement results have stable data convergence.Keywords ：machine vision ；industrial automation ；HALCON ；laser triangulation method ；line⁃structured optical sensor ；
micron scale measurement ；glue detection ；depth map reconstruction
收稿日期：2021⁃07⁃12
修回日期：2021⁃07⁃30
基金项目：广西创新驱动发展专项资金项目（AA18118002⁃3）；广西自然科学基金项目（2019GXNSFBA245024）；广西科技计划项目
（桂科AD19245045）；桂林电子科技大学研究生教育创新计划资助项目（2020YCXS016）
149
现代电子技术
2021年第44卷
件和算法设计方面有明显的局限性。针对这一问题，文献[5]率先提出一种基于HALCON 的点胶质量检
测方案，该方案通过提取合格胶水的轮廓线作参考，将待测胶水的轮廓线作对比来判断溢胶、断胶等问题；文献[6]也提出了一种适用于汽车涂胶质量检测方法，该方法通过提取胶条亚像素边缘，计算出胶水的截面直径，测量结果接近实际数值。上述两种方案均使用传统图像处理方法，可以较快又准确地判断出毫米级胶水的缺陷问题，但对于手机内部微米级封装胶水还无法做出检测评估。
本文提出一种基于线结构激光扫描的立体视觉法，对点胶后手机壳屏幕下的封装胶水做缺陷检测。通过使用LMI Gocator 2510传感器，采集屏下胶的深度信息图，在HALCON 上做图像处理，提取深度图中ROI （Region of Interest ）区域，得到点胶前无胶壳和点胶后有胶壳的胶道，处理两者的ROI 得到无胶、有胶以及两者胶模型的正交截面轮廓线；对有胶轮廓做轮廓线高度、宽度、轮廓距离测量来评估缺陷问题。主要涉及到的检测项有：有无胶水，胶的高度、宽度和溢胶缺陷问题。
1
采集检测系统和待测工件特征
1.1
被检测产品特征参数分析
图1为未点胶水的手机壳，待测胶水位于胶壳边框0.35~0.45mm 处的胶道上。A⁃A 为待测产品的胶边框理想截面图，分别由胶壳胶道、溢胶槽、边框三部分组成，其中，溢胶槽宽度g b 为0.35~0.45mm ，胶道宽度w b 为1.2~1.3mm ，胶道整体形状接近于矩形，胶水是成分为聚氨酯的热熔胶，点胶后胶水的颜为黑且宽度
g w =1.1mm 左右[7]
。
图1待测产品
1.2
采集检测系统
利用线结构激光传感器搭建封装点胶检测系统，如
图2所示，该系统由点胶运动平台、Gocator 2510线激光传感器、控制箱、运动控制卡、点胶采集、检测工位等五部分组成。通过激光三角测量法原理采集胶路数据，应用传感器SDK （Software Development Kit ）开发工具将数据转化为深度图像。
获取胶路数据前需要点胶机喷胶到无胶手机壳胶
道上，因此图像算法需要结合系统的运动控制[8⁃10]，通过对无胶壳采集无胶数据，确定无胶壳中胶道空胶区域，点胶机开启点胶，然后对点胶后的手机壳采集有胶数据，确定有胶壳中胶道的有胶区域，系统整体运动控制流程见图3
。
图2
手机显示屏幕下封装胶点胶检测系统
图3系统整体运动控制流程
1.3
激光三角测量法
已知传感器内激光发射器L 与相机中心点O 的距
离和角度（其中一个角度取决于相机上激光返回的位置）计算传感器与目标之间的距离d ，如图4所示。将该距离转换为目标高度的计算方法，称为激光三角测
量法。
图4激光三角测量法原理
图4中，
P 为待测物表面上的点，L ，O 与水平面夹角分别为α和β，且水平距离为W ，得：
150
第23期
W =d tan α+d tan β
（1）
d =W
(
)
1tan α+1
tan β
（2）tan α=
sin αcos α
（3）sin (α+β)=sin αcos β+cos αsin β
流程图转换为ns图
（4）
将式（3），式（4）代入式（2）后，得到P 到相机、激光发射器水平面的距离d ：
d =
W ⋅sin α⋅sin βsin (α+β)
（5）
当激光束L 射入被测基准面，与被测面基准线法线
夹角为γ，散射光束AA ′与该法线的夹角为θ且与采集相机单元之间的夹角为φ，射入物体表面点A 与相机成像光学系统中心O 之间的成像距离为l 1，成像点A ′与O 的距离为l 2。过点B ，
B ′分别作线AA ′和该线延长线的垂线，垂足为
C ，
D 。相机的成像光斑点随基准面、待测面
间距离的改变而改变。图5中当距离为y ，成像系统中光斑点位移距离为x 时，有△B ′OD ∼△BOC ，则：
||B ′D ||BC =||OD ||OC =||OA ′-||DA ′||OA +|
|AC （6）
其中：
||B ′D =x sin φ（7）||BC =||AB sin (θ+γ)
（8）||DA ′=x cos φ（9）||AC =||AB cos (θ+γ)
（10）||AB =
y
cos γ
（11）
将式（11）合并入式（8），式（10）后，把式（7）~式（10）代入式（6），得到物体表面沿法线方向的距离y ：
y =
xl 1sin φcos γ
l 2sin (θ+γ)-x sin (θ+
φ+γ)
（12）
将y 转换为目标的高度，通过高度信息、图像坐标信息可知物体在空间的位置状态。
图5激光三角法求待测物高度
1.4
深度图处理
深度信息图（Depth Map ）是指将传感器采集到被测
物中各点的高度（深度）值作为像素值的图像[11]。它直接反映物体可见表面的几何形状，利用该图可以很好地解决点云模型的处理。在唯一空间参考系下，分布在空间内和涵盖被测物外貌特征巨量点的集合被定义为“点云”（Point Cloud ）。深度图像经过坐标、分辨率放缩可转换成点云模型，具有完整信息的点云数据模型也可以转换为深度图像。
2
手机屏幕下胶水缺陷检测方法
手机屏幕下胶水缺陷检测方法流程见图
6，通过提
取手机壳深度图中的胶水区域特征，进一步得到胶道ROI 区域；分别截取已分割区域中所对应行坐标的全部像素值，进一步重构出深度轮廓线，最后对已有轮廓线测量并分析结果。详细工作流程将在本文分别阐述。
图6屏幕下胶水缺陷检测方法流程图
2.1
深度图图像采集
本项目采用LMI Technologies 公司的Gocator 2510
传感器，该款传感器采用波长短、衍射性弱的蓝激光，可保证采集胶水表面轮廓数据的完整性。传感器发射激光到被测面上，沿激光线的方向为x 轴，垂直于激光线的方向为y 轴，通过连接传感器采集手机屏幕下封装胶的点云数据，使用传感器二次开发包GO_SDK 把对应的点云数据写入分辨率为x ×y 的深度图像中。设D x 为x 采集方向图像的有效区域，σx ，σy 分别为x ，y 方向图像的分辨率，
d x ，d y 分别为x ，y 方向点间距，σs 为采集编码器的分辨率，n s 为伺服电机脉冲数，则图像x 与y 的分辨
率转换公式为：
σx =D x d x （13）σy =()σs ×n s d y
（14）
根据对被检测产品的成像调试实验，设置d x =
0.007mm ，d y =0.049mm ，同时，为降低精度误差并在合
理区域内采集有效数据，使用n s =0.001mm/脉冲编码器
精度的伺服控制，且D x =7.5mm ，采集中编码器每次会产生n s =163023个脉冲数，将数据代入上述公式得到图
邹
翔，等：基于线结构光的手机封装胶测量方法研究
151
现代电子技术
2021年第44卷
像分辨率约为1072×3327。2.2
Blob 分析提取胶道ROI 区域
得到深度图像后，开始进行图像预处理。Blob 分析
（Binary Large Object Analysis ）指图像中具有相似纹理、颜等特征的组成区域，采用Blob 分析可以从背景中分离出目标区域。
通过使用装夹夹具（见图7），进一步让工件定位在指定采集、检测区域，这样可保证手机壳位置的准确性和ROI
区域裁剪的精确定位。
图7手机壳工件装夹
2.2.1
胶壳胶道ROI 区域分割
为了减少干扰区域和不必要处理区域，需要在采集
的深度图中提取胶壳胶道ROI 。在HALCON 中，通过使用get_image_size 算子获取深度图像尺寸信息；gen_rectangle1算子生成一个覆盖图像的全局矩形；min_max_gray 算子获取区域内灰度（深度）值的变化范围。深度图中灰度信息被每个像素格的高度信息代替，
为了得到更清晰的区域信息，需要分离出图像背景，在HALCON 中使用threshold 算子对图像进行全局高度灰度阈值分割，设定最低高度阈值为-5mm 和在矩形区域内深度最大值。通过使用reduce_domain 算子裁剪区域，图8a ）和图8b ）为去除背景前后的深度图像。消除背景后使用gen_rectangle1算子提取胶壳胶道ROI ，图8c ）即为需要的胶壳胶道区域深度图。使用上述思路可实现对点胶前、后胶水和胶道ROI
提取。
图8胶壳胶道ROI 区域
2.2.2
点胶前后胶道、胶水ROI 区域提取
将点胶区图像中无关的杂余信息分割出，需对胶壳
胶道ROI 做进一步的阈值分割处理，通常阈值分割有实
验法、直方图谷底法、迭代选择阈值法等[11⁃13]。由于胶壳胶道ROI 的前景和背景区域中高度灰度值分布均匀，在高度灰度直方图中可观察到很明显的双峰，采用直方图谷底法确定阈值可达到理想效果。阈值分割算法的数学原理表达式为：
S ={}
(c ,r )T ∈|R h min ≤f c ,r ≤h max （15）
式中：
S 为直方图谷底法分割出的输出区域；R 为被分割出的特征区域；（c ，r ）是区域R 内灰度点的横、纵坐标；h max 和h min 为指定阈值区间的上、下界；
f c ,r 为待分割图像ROI 。将ROI 区域中R 内的高度灰度值在指定阈值区间
内全部的点（c ，r ）传递至区域S 中，通过使用HALCON
中min_max_gray 算子求ROI 内的高度灰度值变换区间，提取最大的高度灰度值h max =-1mm ，通过直方图谷底法确定高度灰度值h min =-0.0682mm ，根据阈值区间分割
出的红区域为点胶前无胶壳胶道ROI ，如图9
所示。
图9直方图谷底法分割区域
对阈值区域内的图像使用connection 算子计算连通域个数；select_shape 算子提取区域内最大的面积区即为胶道、胶水的ROI 。图10a ）为无胶胶壳胶道ROI ，图10b ）为通过阈值分割后得到的无胶胶壳中胶道空胶区域；图10c ）为有胶胶壳胶道ROI ，图10d ）为有胶壳中
胶道有胶区域。
图10点胶前后胶道、胶水的ROI 区域
2.3
定义模型的截取轨迹
对上述得到的区域，求每个区域的中心坐标
（Column ，Row ），为了更精确地匹配点胶前后壳内胶道与胶水的像素位置，需要计算点胶前和点
胶后区域中心点的偏移距离（ΔColumn ，ΔRow ）消除误差，设定点胶前
152
第23期
ROI 区域的起始坐标为（Start_Column ，Start_Row ），对于
点胶后的ROI 区域的起始坐标为（Start_Column +ΔColumn ，Start_Row+ΔRow ），进一步依次获取区域中每行x 坐标中所对应点像素的深度数据。2.4
生成无胶、有胶轮廓
在深度图ROI 中，每个点的深度灰度信息代表这个
点相对于基面的高度信息，通过使用get_image_size 算子获取区域尺寸；tuple_gen_const 算子生成一个长度与尺寸宽度相同的元组，从区域的起始行坐标Start_Column 从左向右依次读取每行数据中的像素点行坐标信息；使用get_grayval 算子获取每一行像素中每个像素点的高度灰度值，之后使用gen_contour_polygon_xld 算子生成亚像素轮廓XLD （Extended Line Descriptions ），如图11所示，其中，
z
轴为高度灰度值坐标。图11胶水轮廓图
2.5
测量胶的高度、宽度并判断缺陷
测量胶高度需要先定位基准，本算法通过比对无胶
轮廓和有胶轮廓图，对无胶轮廓中胶道位置的亚像素轮廓做基准面的提取，为保证检测精度，使用最小二乘法对无胶轮廓的胶道区域进行直线拟合。使用矩形轮廓锚定无胶轮廓中胶道区域来减少对无关数据的处理。
直线方程的表示以a ，
b 为系数满足y 与x 之间的函数关系为：
y =ax +b （16）
通过降低观察值的残差提高轮廓精度，得到正规方
程组[14]：
ìíîïïïïa N +b ∑i =1N x i =∑i =1N
y i a ∑i =1
N x i +b ∑i =1N x 2i =∑i =1N
x i y i
（17）
方程参数a ，
b 的最佳估计值为：a =
()∑i =1N
x 2i
()∑i =1N
y i -()∑i =1N
x i ()∑i =1N
x i y i
N ()∑i =1N x
2
i
-()∑i =1
N
x i
2
（18）
b =
N
()∑i =1N x i y i ()∑i =1N y i -()∑i =1
N x i ()∑i =1
N
y i
N
()∑i =1N
x 2i
-()
∑i =1
N
x i
2
（19）
拟合出胶道基准线后，在HALCON 中使用distance_lc 算子计算基准线到有胶轮廓间的距离，图12a ）为胶轮廓的高度信息。
在胶水宽度测量前，需先判断是否有溢胶缺陷。设定求取无胶XLD 轮廓的起点坐标和结束点坐标为（Base_Start ，Base_End ），有胶XLD 的坐标为（Glue_Start ，Glue_End ）。通过设定溢胶阈值，得到有胶、无胶坐标起始点的差值结果后再作差值计算。计算结果与溢胶阈值对比判断是否溢胶；计算有胶轮廓区域的开始点与结束点间距离差值确定胶宽度，图12b ）
为胶轮廓的宽度信息。
图12胶水高度和宽度测量
图13中，在无胶轮廓胶边框区域内提取高度灰度信息的最小值，为轮廓最低点；同理，获取有胶轮廓胶边缘区域内高度灰度信息的最大值，定义为最高点，通过计算轮廓高低点的距离差和设定高出胶道高度的阈值作比较，
判断是否缺胶。
图13判断缺胶的原理
3
检测结果分析
本实验对ROI 内的胶水区做测量，以每0.3mm 为
基准依次截取y 坐标图像，最终可截取182个截面轮廓，分别测量胶壳的高度、宽度数据并判断是否有缺陷问题。去除粗大误差与缺陷胶水数据后，随机抽取有效结果数据中的100组。
图14统计出4组胶壳共400组结果的直方图，进一步观察可知，本文算法测量的数据结果有一定规律性，其
邹翔，等：基于线结构光的手机封装胶测量方法研究153

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。