第43卷  第15期 包 装 工 程
2022年8月
PACKAGING ENGINEERING  ·1·
收稿日期：2022–07–18
作者简介：夏立元（1998—），男，湖南大学硕士生，主攻计算机视觉。
通信作者：肖昌炎（1972—），男，博士，湖南大学教授，主要研究方向为机器视觉与机器人技术。
基于机器视觉的手持式瓦楞纸计数系统研究
夏立元1，王沛龙1，赵宏2，肖昌炎1，李树涛1
（1.湖南大学 电气与信息工程学院，长沙 410082；2.国防科技大学 空天科学学院，长沙 410073） 摘要：目的 为了实现对瓦楞纸叠层的精确计数。方法 提出一种基于机器视觉的手持式计数系统，介绍了系统的硬件组成和应用场景，引入孔洞增强算法和基于倾斜校正的孔洞投影策略，并且与现有计数算法进行对比分析，最后针对不同楞型的瓦楞纸叠层进行计数实验，进一步验证了所提出算法的鲁棒性。结果 对已有不同楞型的瓦楞纸进行多次试验，提出的计数系统均能取得99%的准确率。结论 在实际工作场景下，大量测试表明该系统可以对瓦楞纸叠层进行精确计数。 关键词：瓦楞纸叠层；机器视觉；海森矩阵；孔洞检测
中图分类号：TB487.1；TP29  文献标识码：A    文章编号：1001-3563(2022)15-0001-12 DOI ：10.19554/jki.1001-3563.2022.15.001
Hand-held Corrugated Cardboard Counting System Based on Machine Vision
XIA Li-yuan 1, WANG Pei-long 1, ZHAO Hong 2, XIAO Chang-yan 1, LI Shu-tao 1
(1. College of Electrical and Information Engineering, Hunan University, Changsha 410082, China;
2. College of Aerospace Science Engineering, National University of Defense Technology, Changsha 410073, China) ABSTRACT: The work aims to count the corrugated cardboard accurately. A hand-held corrugated cardboard counting system based on machine vision was proposed and the hardware structure and application scenario of the system were in-troduced. The blob enhancement algorithm and the blob projection strategy based on slope correction were adopted and compared with the existing counting algorithms for analysis. Finally, counting experiments were carried out on corrugated cardboard laminates with different shapes, and the robustness of the proposed algorithm was further verified. The existing corrugated cardboards with different shapes were tested for many times, and the accuracy of the proposed counting system reached 99%. In the actual working scenario, a large number of tests show that the system can accurately count corrugated cardboard laminates.
KEY WORDS: corrugated cardboard laminates; machine vision; Hessian matrix; blob test
瓦楞纸因其较好的强度和缓冲性能通常被作为包装材料。近年来对瓦楞纸板的需求逐年递增[1]，制造行业正在寻求利用机器视觉[2]的方法提高生产效率。目前部分无接触式的计数方法是通过传感器得到瓦楞纸叠层的高度，再除以单张瓦楞纸的厚度得到层数[3]，但是实际应用中，因为受潮和受力等原因，每张瓦楞纸板间的厚度均有一定差异，因此最终计数误差较大。当前主流的无接触式计数方式多采用基于机器视觉的方法，有关瓦楞纸叠层计数的论文中，针对瓦楞纸叠层堆叠高度高、纸板排布密集的这一特性，
通常采用伺服电机带动线扫描相机，通过逐层扫描的方式来对瓦楞纸叠层端面进行成像，这样每次只聚焦于瓦楞纸叠层中的部分区域，可以得到较高的成像质量。Suppitaksakul 等[4]通过二值化和连通域检测[5]来提取瓦楞纸中的孔洞特征，以实现计数。黄丹平等[6]
通过小波变换来提取瓦楞
·2· 包 装 工 程 2022年8月
纸中波浪线状纹理，以实现计数。通过逐层扫描得到的图像通常对比度较高，纹理特征较为明显，因此算法往往能取得不错的效果。然而线扫描相机价格昂贵，成像方式严重依赖于机械结构，导致图像获取时间长，测量效率低。同时实际工作场景需要对组合楞型的瓦楞纸进行计数，此时图像的频率特性较为
复杂，基于频域的小波变换难以取得较好的效果。近年来，人们开始将深度学习的方法应用到瓦楞纸计数中[7-8]，通过在大量的数据集上进行训练，深度学习的算法能够在组合楞型的瓦楞纸上取得不错的计数效果，但这些方法通常对系统运算能力有较高的要求，且收集对应的数据集进行标注需要花费大量人力成本。
文中提出一种手持式计数系统，利用面阵相机一
次性对整个瓦楞纸端面进行成像，不依赖于额外的机
械结构。相比于线扫描相机逐行扫描的成像方式，这种成像方法得到的图像质量有所下降，因而目前已有的算法往往不能在这些图像上取得较好的效果。针对这一问题，文中提出一种基于多尺度孔洞检测的瓦楞纸计数算法，在所采集的图像对比度较低、纹理特征不明显的情况下，也能实现准确计数。
1  手持式瓦楞纸计数系统硬件结构
手持式瓦楞纸计数系统主要由3个部分构成。相机和光源构成成像系统，树莓派芯片构成了算法处理系统，红外测距传感器、触控显示屏等构成了交互系统。整个系统的工作示意图见图1。
图1  计数系统工作示意图
Fig.1 Working diagram of counting system
成像系统使用单个面阵相机对瓦楞纸叠层图像进行采集，瓦楞纸叠层高度一般为2 m ，在拍摄距离为2.1 m 左右时，相机的视场能够覆盖到整个瓦楞纸叠层区域。同时为了使成像对比度更高，需要使用额外光源对瓦楞纸进行补光，以保证在不同场景下的成像质量。系统的设备结构示意图见图2。
图2  图像采集设备结构示意
Fig.2 Schematic diagram of image acquisition
equipment structure    2  瓦楞纸计数算法
算法流程见图3，首先通过高分辨率的面阵相机对整个瓦楞纸叠层进行成像，取代了现有计数设备使用的由伺服电机带动线扫描相机进行成像的方案。面阵相机的成像质量较差，因此需要对所拍摄的图片进行预处理，以提升图像的对比度，后续所采用的多尺度孔洞增强算法，可以增强低对比度下各种不同型号的瓦楞纸孔洞。提取孔洞后，将孔洞沿着水平方向进行投影，通过对投影的结果进行峰值检测来对瓦楞纸叠层进行计数。
2.1  预处理
由于手持式设备的光源功率受到一定限制，加上需要和待测纸堆保持一定的距离，才能在相机的视场范围内拍摄到完整的瓦楞纸叠层目标，所以实际拍摄的图像通常整体较暗，对比度较低，需要对图像进行
局部直方图均衡化。局部直方图均衡化是把图像划分
第43卷第15期夏立元，等：基于机器视觉的手持式瓦楞纸计数系统研究·3·为不同的子块，在每个子块中进行直方图均衡化，
这样能够使得图像的局部细节和对比度得到充分增强[9]。原始图片见图4a，局部直方图均衡化后的效果见图4b。
2.2 瓦楞纸叠层区域提取
成像设备采集的图像中除了瓦楞纸叠层，通常还有其他的非感兴趣区域，如放置瓦楞纸的木质垫板。利用瓦楞纸的纹理特性可以较快速地区分纸张区域和非纸张区域，准确地分割纸张区域和非纸张区域，有利于排除一些不必要的噪声干扰。如图5所示，根据瓦楞纸楞边灰度分布情况，创建具有对角线纹理模式的卷积核，进一步增强纸张区域的纹理，抑制非纸张区域的纹理，所采用的卷积核见式（1）。
conv
112
121
211
--
⎡⎤
⎢⎥
=--
⎢⎥
⎢⎥
--
⎣⎦
f(1)
初步卷积结果见图6b，纸张区域的纹理得到显著增强，但是非纸张区域仍有一些噪声干扰，可以通过小
连通域检测和二值化的方法滤除这些噪声干扰，见图6c。最终通过形态学膨胀的方法分割出纸张区域和非纸张区域，见图6d。
2.3 孔洞增强
提取完整的瓦楞纸纸张区域后，通常通过检测瓦楞纸图像中的直线[10]或者孔洞特征实现计数[11]。在实际的瓦楞纸叠层中，瓦楞纸板间会存在一定的间隙，在正常情况下，2张瓦楞纸板间只显示出一条直线，而在缝隙处2张纸板间显示出2条直线，因此利
图3 计数算法流程
Fig.3 Counting algorithm flow chart
a 原始图片
b 局部直方图均衡化
图4 局部直方图均衡化前后的图片
Fig.4 Pictures before and after local histogram equalization
·4· 包 装 工 程 2022年8月
图5  瓦楞纸楞边灰度分布
Fig.5 Corrugated cardboard edge gray scale distribution
a 直方图均衡化
b 卷积核卷积
c 二值化
d 形态学膨胀
图6  纸张区域提取
Fig.6 Cardboard area extraction
用直线特征进行计数很容易引入误差，而孔洞和每张瓦楞纸则有较好的对应关系。
瓦楞纸中的孔洞是一种近似半圆形的结构，且灰度值较低，直方图均衡化后孔洞周围楞边的灰度值均明显高于孔洞内部，求取海森矩阵可以进一步增强孔
洞的结构[12]
。
海森矩阵对应着图像在某点处灰度值的二阶导数，反映了图像灰度梯度变换程度。直接将海森矩阵作用在图像上往往会放大图像中的噪声。为了减少这些干扰，在求取海森矩阵之前，需要使用低通高斯滤波器对图像进行平滑处理。图像处理领域中，通过对二维高斯核求取各个方向上的二阶导数，将高斯平滑和求取海森矩阵这2个卷积操作变为1个卷积步骤，高斯核各个方向上的二阶偏导数分别见式（2）—（4）。其中式（2）的二维高斯函数在x 方向上的二阶偏导数图像见图7。
22
2
2''直方图均衡化方法
24
21(,,)(1)e
2x y xx x G x y σσσσ+-=--π
(2)
222
''
26
(,,)e 2x y xy
xy
G x y σσσ+-
=π (3)
222
2
''
24
21(,,)(1)e 2x y yy y G x y σσσσ+-=--π
(4)
式中：x 和y
为像素坐标；σ
为高斯函数对应的标准差。
图7  二维高斯函数在x 方向上的二阶导数 Fig.7 Second derivative of the two-dimensional
Gaussian in the x  direction
在二维图像中求取海森矩阵得到的2个特征值中，最大特征值与其对应的特征向量表示其二维邻域曲线最大曲率的强度和方向，最小特征值对应的特征向量表示与其垂直的方向，即图像某点处海森矩阵特
第43卷  第15期 夏立元，等：基于机器视觉的手持式瓦楞纸计数系统研究 ·5·
征值的大小和符号，直接反映了该邻域内的几何结构。理想圆形孔洞的海森矩阵特征值具有各向同性，即2个特征向量的模值较大，且取值也比较接近。在瓦楞纸板中提取出的孔洞，通常形状不规则，孔洞内部某些位置处的特征值可能无法体现各向同性。同时受成像设备和光源的限制，图像某些位置的对比度可能较低，在这种情况下，孔洞位置对应的海森矩阵特征值和其他位置处的特征值间没有显著的差异，此时增强孔洞很容易引入噪声干扰。
为了实现对瓦楞纸孔洞区域的增强，需要在海森矩阵的结果上采用更加鲁棒的孔洞响应函数，在使噪声具有鲁棒性的同时，也能突出不规则形状的孔洞区域。医学领域的MRA 和CTA 血管造影增强[13]中也经常面临同样的问题，血管中的动脉瘤通常体积较小，而且和周围血管间的对比度较低。针对这一问题，
Jerman 等[14]
在之前海森矩阵孔洞响应函数的基础上，提出了新的孔洞响应函数，原本利用体积比来衡量三
维空间中海森矩阵特征值的各向同性，见式（5）
，如果图像整体的灰度比较均匀，则海森矩阵的特征值模值较小，在这种情况下体积比的方法很容易引入噪声干扰，将非孔洞区域识别为孔洞区域。Jerman 等的方
法中对最大的特征值3λ进行了归一化操作，从而更好地区分孔洞区域和非孔洞区域。对于二维海森矩阵，
可以对最大的特征值2λ进行归一化操作得到r λ，见式（6）
。 3R 123123
3
(
)V λλλλλλ=++
(5)
式中：λ1、λ2、λ3分别为三维海森矩阵的3个特征向量。
[]22
2
max (,),0    0              ,0r i j λλλλ⎧<=⎨⎩≤ (6)
式中：2()i j λ，为每个像素位置海森矩阵最大的
特征值，为归一化后的结果。
对于圆形结构的孔洞其海森矩阵特征值体现为：
2λ≈1λ≫0，而瓦楞纸近似于半圆形的孔洞对应的海森矩阵2个特征值一般存在如下关系：0<1λ≤2λ。接近半圆形孔洞底部边缘区域的2个特征值间通常有较大的数值差异，体现为各向异性，表明该处近似线状结构。为了在最后增强的孔洞中保留该部分，可将原本的响应函数中最大的特征值代换为（21λλ-）
，从而避免孔洞响应函数在该位置产生的响应较低，从而被认为是非孔洞区域。而在孔洞内部
接近弧边的区域中，海森矩阵特征值数值大小较为接近，通常比率在3倍以内，因此将孔洞响应函数在此处的响应值设为1，表明是最接近圆形孔洞的区域。在存在特征值为非正数时，响应函数输出设置为0。
经过上述分析，设计如式（7）所示的孔洞响应函数，其本质上仍是体积比的形式，但是二维图像只
有2个特征值，
并且其中的部分特征值根据纸张孔洞的实际形状进行了更有针对性的归一化。
[]2
31111113()(),  03
(,)            1 ,                      0 < 3        0,                  0    0r r r r B r f eigH i j λλλλλλλλ
λλλ⎧-<<⎪+⎪
⎪=≤⎨⎪
⋃⎪⎪⎩
≤≤(7)
式中：(,)eigH i j 表示在像素（i ，j ）处求取的海森矩阵特征值；r λ为归一化后的结果，1λ为最小的特征值。
以C 楞型的瓦楞纸为例，对孔洞响应的结果进行分析。实际采集的图像见图8a ，上半部分区域对比度较低，楞边几乎不可见。图8b 为局部直方图均衡化后的结果，上半部分区域中孔洞和楞边的对比度得到较大提升，但整体仍然较为模糊。图8c 为孔洞增强的结果，可以看出基本上所有孔洞均被孔洞响应函数增强，图像下半部分成像清晰，孔洞响应较大，直观体现为灰度值强度较大。上半部分较模糊区域中，大部分孔洞仍有较大的响应，部分孔洞响应较小，在图8c 中灰度值强度较暗。高对比度区域孔洞响应结果见图8e ，孔洞响应输出的最大值为0.58，最小值为0.06。图8d 为低对比度区域孔洞响应放大图，其中响应输出最大值为0.25，最小值为0.06。因为孔洞增强前进行过平滑处理，并且对海森矩阵的特征值进行了归一化，所以在低对比度区域的孔洞得到增强的同时，并未引入其他非孔洞区域的噪声干扰。 2.3.1  复合楞型与多尺度问题
实际生产中除了单楞型，通常还会有双楞和三楞组合的混合楞型，如B 楞和E 楞组合形成BE 楞，因此需要考虑多尺度问题。根据尺度空间的理论，调节生成的海森卷积核中高斯函数的标准差σ，可以使得卷积核作用后突出不同尺度下的特征。具体到瓦楞纸叠层测量中，需要根据不同型号的瓦楞纸设置标准差，以突出不同楞型的孔洞。
以实际应用中的B 楞和E 楞为例，E 楞的高度范围约为6~8个像素，B 楞的高度范围约为14~16个像素。只有卷积核的尺度和对应楞型的尺度相近时才能达到最好的卷积效果。如果使用卷积核的尺度远大于孔洞的尺度，多个小孔洞被一个大尺度的卷积核卷积则造成孔洞的粘连，同时会引入更多的背景噪声。同
理使用小尺度的卷积核去卷积大尺度的孔洞，如利用E 楞对应的尺度去卷积B 楞对应的孔洞，则B 楞孔洞提取不完整，原本一个孔洞会被分割为多个更小的孔洞。
针对BE 的组合楞型，需要使用2个不同的尺度的卷积核分别去做卷积，得到2张卷积图像后，在

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。