2020⁃12⁃31
计算机应用,Journal of Computer Applications
2020,40(S2):147-150ISSN 1001⁃9081
CODEN JYIIDU http ：//www.joca
基于特征重构的类圆形密集嘴棒精确计数
钱基德1，钱基业2，杜
冬1，刘长华1*
（1.中国民用航空飞行学院民航飞行技术与飞行安全重点实验室，四川广汉618307；
2.国网重庆市电力公司电力科学研究院，重庆401123）
（∗通信作者qianjide@qq ）
摘要：类圆形颗粒计数问题是工业生产过程中提高自动化水平的一个瓶颈，开发准确率高、实时性高、鲁棒性好
的自动在线计数设备具有重大意义。以嘴棒计数为研究对象，基于特征重构的算法，实现在线实时非接触式的密集嘴棒精确计数。通过面阵相机采集已装箱的密集棒材俯视图作为计数对象，首先通过形态学算法提取棒材角点信息；其次结合棒材尺度信息，并采用归一化能量特征重构棒材区域特征；然后采用最大稳定极值区域算法准确分割出孤立的棒材区域，再根据该区域实现了棒材精确计数。该方法能有效应对密集棒材图像的亮度不均，对棒材形变鲁棒性好。实际测试验证了所提方法的可行性，在50ms 时间内能精确计数图像中的数千只棒材，平均计数准确率可达99.95%。
关键词：类圆形颗粒；计算机视觉；低对比度；特征重构；最大稳定极值区域中图分类号：TP391.41
文献标志码：A
Accurate counting of crowded circle -like cigarette filters based on
feature reconstruction
QIAN Jide 1，QIAN Jiye 2，DU Dong 1，LIU Changhua 1*
（1.Key Laboratory of Flight Techniques and Flight Safety ，Civil Aviation Flight University of China ，Guanghan Sichuan 618307，China ；
2.Electric Power Research Institute ，State Grid Chongqing Electric Power Corporation ，Chongqing 401123，China ）
Abstract:The counting problem of the circle -like granules is a bottleneck to improve the automation level in the
industrial production process.It has great significance to develop automatic online counting equipment with high accuracy ，high real -time ，and good robustness.Taking the cigarette filters counting as the research object ，the algorithm based on feature reconstruction achieved a real -time non -contact crowded cigarette filters precise counting.Using the top view of the crowded cigarette -filters captureed by a plane array camera as a counting object ，the morphological algorithm was firstly used to extract the information of the corner of the cigarette filters.Then ，the corner feature information of the cigarette filters was reconstructed by normalized energy feature combined with scale information.Then ，Maximum Stable Extremum Region
（MSER ）algorithm was used to segment the isolated cigarette filters region.Finally ，precise filters counting was achieved according to the region.The proposed algorithm can effectively deal with the uneven brightness of crowded cigarette filters images ，and has good robustness to cigarette filters deformation.The actual field test verifies the feasibility of this method ，a
frame image of thousands of the cigarette filters can be counted in 50ms ，and the average count accuracy is up to 99.95%.Key words:circle -like granule;computer vision;low contrast;feature reconstruction;Maximum Stable Extremum
Region (MSER)
引言
类圆形颗粒图像处理与分析技术是计算机视觉应用领域
的一个重要研究课题，颗粒间相互粘连组合形成各种复杂的结构，且颗粒之间具有相似的纹理、灰度等特征信息。因此，颗粒目标分割是分析的关键问题，颗粒分割的优劣会直接决定进一步的分析效果。如何对大量复杂颗粒组合有效提取其特征信息，并精确将其分割成独立的颗粒个体异常困难，这也
给传统的图像分割［1-3］方法提出了新的挑战。
这几年来，国内外许多学者针对这类课题展开了深入研究，提出了许多类圆颗粒分割方法，可以总结为两类：基于目标边缘特征分析的方法和基于形态学算子的目标分割方法。基于目标边缘特征分析的方法的基本思想是：首先提取类圆颗粒之间的边缘纹理特征信息，然后根据边缘特征信息准确地到
类圆颗粒之间的若干分离点［4-7］；最后，根据分离特征
点用椭圆拟合［6］
等方法提取堆叠类圆颗粒之间的分离线，从
文章编号：1001-9081（2020）S2-0147-04
DOI ：10.11772/j.issn.1001-9081.2020081288
收稿日期：2020⁃08⁃24；修回日期：2020⁃09⁃30；录用日期：2020⁃10⁃14。
基金项目：中国民用航空飞行学院面上项目（J2018-58）；2019民航局教育类项目。作者简介：钱基德（1988—），男，四川大英人，助理研究员，博士，CCF 会员，主要研究方向：计算机视觉、深度学习、人工智能、飞行运行及安全技术；钱基业（1982—），男，四川大英人，博士，主要研究方向：机器视觉、机器学习、传感器信号处理；杜冬（1975—），男，四川德阳人，副研究员，硕士，主要研究方向：飞行运行及安全技术；刘长华（1969—），男，辽宁开原人，教授，硕士，主要研究方向：无人机运行安全、飞行运行及安全技术。
第40卷
计算机应用而完成目标颗粒的分割。基于形态学算子的目标分割方法是在很多场景被采用的一种类圆
颗粒目标分割的方法，它的基本思想是：首先选择恰当的结构元素对目标颗粒二值图像反复应用腐蚀算子使颗粒区域不断收缩，使堆叠的颗粒目标之间产生凹陷以得到目标颗粒的目标核，最后对目标核应用膨胀算子，还原初始目标颗粒。但这些目标分割方法不能很好解决以下问题：1）大量柔性颗粒目标堆叠，目标之间积压严重、连接处边缘不规则且对比度低；2）算法复杂度高，很难满足实时性要求高的工业生产环境。
本文针对上述基于计算机视觉的分割算法存在的问题，在分析采集图中类圆形颗粒目标具有的特性、共性与形态的基础上，基于现有的研究理论，以嘴棒为研究对象，提出一种基于特征重构的密集类圆形颗粒目标精确分割计数算法。首先，采用形态学方法快速准确地提取颗粒目标的角点特征，有效减少干扰信息且最大限度地保留目标角点信息；然后，根据类圆颗粒的尺度信息提出一种归一化能量特征方法重构嘴棒特征图；最后，采用改进的最大稳定极值区域（Maximally Stable Extremal Region ，MSER ）变换方法准确分割出类圆颗粒。实验表明，基于本文所提方法能够高效完成数千支嘴棒的精确计数。在分辨率为2480×1200采集图中，本文算法运行在典型的工控主机上（CPU 为i5-4590、内存4GB ），仅用约50ms 的时间就能实现数千支嘴棒的精确计数，且平均精度可达99.95%。
1研究对象与方法
1.1
图像采集
本文采用的图像采集系统使用CCD 面阵相机拍摄出嘴棒的俯视图（如图1）。从图1可以看出类圆颗粒目标采集图具有以下典型特点：1）俯视图中颗粒目标排列密集，颗粒目标之间相互挤压存在一定随机形变；2）受光照及面阵CCD 相机自身特点的影响，采集图整体亮度不均，中心最亮向，四周亮度逐渐降低；3）图像对比度较低，导致颗粒边缘可识别性较低。这些特点给基于计算机视觉的类圆颗粒目标分割计数算法带来了巨大挑战。
1.2
图像增强
图像增强的目标是通过计算机图像处理技术改善图像质
量，有利于类圆颗粒目标的进一步分割处理。本文采用Jafar 等［8］
提出的分块直方图均衡化增强算法，该方法能有效增强采集图像，并对光照不均的采集图像具有很好的鲁棒性。该方法对于背景和前景太亮或太暗的颗粒目标采集图非常有效，能明显增强角点特征信息。全局直方图增强方法效果有限，难于应对中心区域较亮的密集颗粒目标图像（如图2（b ）），甚至出可能现褪化现象。从算法效果对比图2中可以看出，全局直方图均衡化没有明显改善嘴棒俯视图像质量，而分块局部均衡化能明显增强对比度，有效降低噪声干扰。
1.3
特征提取
本文角点定义为相邻嘴棒之间的间隙区域，该区域灰度
值小，且与目标区域对比度高（如图3中标注区域）。经大量成像实验析发现，采集图中大量嘴棒密集排列在一起，相互之间挤压变形、对比度低，且没有清晰的边缘信息，但都能稳定采集出角点信息。
形态学分析是建立在集合理论上的基础分析方法，以图像的形态特征为研究对象，最基本的形态学运
算是膨胀和腐蚀。基于膨胀与腐蚀可以组合出多种方法，该方法采用具有一定形态结构的元素实现对图像形状与结构的分析和处理［9］。通过分析大量嘴棒俯视图，嘴棒的角点具有灰度级低、区域面积比颗粒区域面积小等特点，结合闭运算特点，本文提出采用式（1）的算法能有效提出颗粒取角点特征。从角点提取效果图4（a ）可以看出，该方法能有效保留小于结构元素B 较暗的角点区域，且对角点特征进行反转。大部分角点近似三角形，因此结构元素B 采用圆形结构比方形能更好地近似角点形状。在嘴棒横截面中绝大部分的角点区域明显小于嘴棒，因此结构元素B 模板的直径不超过嘴棒直径可获得更理
想的角点特征。
BH =A -(A •B )
（1）
其中：A 表示待处理图像，B 表示对A 进行处理的结构元素，方形和圆形是常用结构元素。
2
嘴棒计数
从图4（a ）嘴棒特征图可以看出，每个嘴棒的角点特征以
近似正六边形顶点的方式环绕嘴棒分布，根据嘴棒直径d 1与对应嘴棒角点外截圆直径d 2的先验数据，本文提出一种归一化能量聚合函数方法重构嘴棒特征图（图4（b ））；然后，采用改进MSER 方法对嘴棒特征图进行棒特征区域分割；最后，采
用连通域标记方法实现对密集类圆形嘴棒精确计数。
图1
密集嘴棒俯视图及局部示意图
图2
直方图均衡化的效果对比
图3颗粒目标角点示意图
148
第S2期钱基德等：基于特征重构的类圆形密集嘴棒精确计数
2.1
特征重构
在角点特征图4（a ）中，已经消除大片连通域并仅保留嘴棒角点信息，提取的嘴棒角点呈现近似正六边形相互连接的网格，并且圆形嘴棒近似内切于特征角点组成正六边形这一特点，本文提出一种归一化能量聚合方法重构嘴棒特征，如式（2）。设角点特征图为I ，归一化能量图为E 。归一化能量聚合函数定义为：
E (i ，j )=1
∑
0≤D ≤d 2
I (x ，y )∑d 1≤D ≤d 2I (x ，y )（2）式中，D (x ，y )=|x -i |+|y -j |，表示(x ，
y )距离能量中心的距离；∑d 1≤D ≤d 2
I (x ，y )表示角点特征图在(x ，y )的能量；I (x ，y )表示角点特征图在(x ，y )处的灰度级，
1
∑
0≤D ≤d 2
I (x ，y )
为能量聚合函
数归一化项。
从归一化能量聚合函数的定义中可以看出，该能量函数能够使得角点六边形中心处得到最强的响应，而远离中心能量逐渐降低，最强能量响应位置也正是嘴棒的中心，从而实现基于角点特征的重构得到嘴棒特征。式（2）中归一化项具有以下几个作用：1）对能量图像有平滑作用，降低噪声干扰，有利于嘴棒分割；2）克服能量聚合可能产生小区域和孤立点的缺点；3）归一化项不仅满足类内相似度最大，而且满足类间相似度最小；4）基于局部的归一化能减少嘴棒横截面光照不均对嘴棒分割的影响，提高能量聚合算法的鲁棒性。
在具体实现过程中，该方法可转换成构造卷积模板完成，通过式（3）、（4）分别构建能量卷积模板和归一化能量卷积模板，因此式（2）嘴棒特征重构实现可以转换成式（5），最终得到归一化能量图如图4（b ）。
H (u ，v )={1，d 1≤D ≤d 2
0，其他
（3）
F (u ，v )={
1，0≤D ≤d 2
0，其他（4）
E (u ，v )=I *H (u ，v )
I *F (u ，v )
（5）
其中：
D 是D (u ，v )表示距离卷积模板中心的距离，H (u ，v )对应式（2）中的能量项，F (u ，v )对应式（2）中的能量归一化项。
2.2
基于MSER 的嘴棒分割计数
在归一化能量图（图4（b ））中区域分割是实现嘴棒准确计数的最后一步。在灰度图像中常用的快速阈值分割方法有OTSU ［10］，该方法是基于全局图像的最大类间方差分割法，对噪声和目标大小敏感，对嘴棒横截面存在亮度不均的情况并不能很好地分割出嘴棒区域。Matas 等［11］提出的最大稳
定极值区域（MSER ）方法在漫水过程中有局部稳定极值区域，嘴棒特征区域也是归一化能量图中的极值区域，因此本文对归一化能量图采用MSER 方法以有效分割出嘴棒。
根据算法原理［12］，基于MSER 方法的嘴棒阈值分割有如下特点：
1）稳定性。MSER 本质是在局部区域采用多个阈值对嘴棒进行分割，分割的候选嘴棒区域面积在一定范围都有很好的稳定性，这使嘴棒计数具有很高的准确性。
2）多尺度性。MSER 方法采用的是所有区域独立分析方法，对所有区域独立求解最大稳定极值，实现了多尺度的候选目标区域分割，符合嘴棒重构后特征区域尺度具有多尺度性
特点。
3）时间复杂度低。对于传统的Gabor 特征、主动轮廓［13］、水平集［14］等分割方法时间复杂度高，MSER 分割方法具有线性时间的复杂度，满足在线检测需求。
消除噪声是实现准确计数关键的一步，MSER 方法虽能很好地进行嘴棒分割，但它采用求解局部区域极值方法进行区域分割，只要满足极值条件，即使孤立点也是极值区域。因此，经实验统计分析可得到不同规格嘴棒最小面积阈值θ，对于每个极值区域Q k ，采用式（6）即可消除噪声干扰，最后采用式（7）完成嘴棒快速计数。
C (Q k )=
{
1，Q k ≥θ
0，Q k <θ
（6）Sum =∑C (Q k )
（7）
其中Q k 表示一个分割得到最大极值区域的面积。
3实验结果及分析
3.1
本文方法结果与分析
针对不同尺度的嘴棒，实验表明，基于本文所提方法能够高效完成数千支嘴棒的精确计数，且具有很
好的鲁棒性。本文方法在密集嘴棒计数的实验及实际应用中的主要步骤包括：1）使用面阵CCD 相机采集嘴棒横截面；2）针对不同规格的嘴棒，在嘴棒横截面中测量嘴棒直径d 1、角点外截圆直径d 2；3）采用分块直方图均衡化算法，增强嘴棒横截面；4）在增强的嘴棒横截面基础上，采用形态学方法提取角点特征；5）使用归一化能量聚合算法生成嘴棒的能量特征图；6）采用改进的MSER 方法提取嘴棒的特征图像；7）标记连通域，通过对连通区域计数来实现密集嘴棒的计数。
基于本文密集嘴棒计数算法研发的密集嘴棒高速计数设备如图5所示，图6分别展嘴棒俯视采集图中局部低对比度、高亮度、常规亮度及整盘嘴棒的计数标定结果，每盘包含数千只嘴棒。
为量化评估密集嘴棒的计数效果，每次计数准确率P i 按式（8）计算：
P i
=100%-|
|
X i -X i
X i
（8）式中：X i 表示本文方法对每盘嘴棒的计数结果；X i
表示每盘嘴
图4特征重构与分割
149
第40卷
计算机应用棒的实际数量。平均计数准确率-P 按式（9）计算：
-P =1
N ∑i =1
N
P i
（9）
式中N 表示计数次数。表1给出了本文方法针对4种不同规格（粗、细、带香线、彩）嘴棒计数的量化评估结果。实验以及量化结果表明，本文提出的密集嘴棒计数算法效率高、鲁棒性好、准确率高，能满足生产线的实时性要求，平均计数准确率达到99.95%。
表1
嘴棒计数准确率与耗时
嘴棒规格粗
细
带香线彩
次数500500500500
平均耗时/ms 49.32
48.9249.1650.22
准确率-P /%99.9899.9199.9599.94
3.2
与其他方法的对比分析
为了测试本文所提出的分割计数方法在进行密集嘴棒计数的有效性，本文还将该方法与方红萍［15］提出的基于标记控制的分水岭算法O OFSC 、刘莉莉［16］提出的基于局部极限腐蚀并在腐蚀中穿插条件膨胀寻分割线的方法进行对比。对于相同的采集图像，算法运行的实验主机硬件环境为：CPU i5-4590、内存4GB ，并且选用分割难度相对低的粗型嘴棒进行对比分析，实验结果如表2所示。
表2不同方法的实验结果
Tab.2
Experiment results of different methods 分割方法O OFSC 方法
［15］
刘莉莉方法［16］本文方法
次数100
100100
平均耗时/ms 345.00134.0049.16
准确率-P /%78.3668.9099.95
本文方法主要应用于密集堆叠、形变严重、成像对比度低
且数量多的嘴棒计数，由表2可以看出效果较好；O OFSC 方法［15］
主要应用于成像对比度高、刚性的研究对象钢材场景下的分
割计数，而刘莉莉［16］
所提的方法应用于一定程度粘连、研究对象分布相对稀疏的血液细胞分割计数。这两个方法解决的问题与本文的问题存在较大差异，所以表现效果不是很好。
4结语
本文提出的一种低对比度图像中基于特征重构的方法应用于密集类圆形颗粒计数，并应用于嘴棒工业生产中，有效解决了密集类圆颗粒嘴棒快速准确进行计数的难题。本文方法的核心在于有效地采用了密集类圆的角点信息，巧妙地利用归一化能量特征重构算法，将密集颗粒目标准确地分离成独立的目标核。预处理阶段的局部化直方图均衡化算法，以及后处理阶段的MSER 区域分割算法，都有效提升了最终的计数精度。经浙江某生产厂测试表明该方法能稳定地进行嘴棒的准确计数，有效提高车间生产效率，提升生产线的自动化水平，具有实际应用价值。参考文献（References ）
[1]
张栩源，王艳.用于灰度不均图像分割的自适应灰度拟合模型［J ］.计算机应用，2019，39（9）：2719-2725.[2]何坤，郑秀清，张永来.纹理模糊的图像分割［J ］.四川大学学报（工程科学版），2015，47（4）：111-117.[3]曹家梓，宋爱国.基于马尔科夫随机场的纹理图像分割方法研究［J ］.仪器仪表学报，2015，36（4）：776-786.[4]谢忠红，姬长英，郭小清，等.基于凹点搜索的重叠果实定位检测算法研究［J ］.农业机械学报，2011，42（12）：191-196.[5]陈英，李伟，张俊雄.基于图像轮廓分析的堆叠葡萄果粒尺寸检测［J ］.农业机械学报，2011，42（8）：168-172.
[6]ZHANG W ，JIANG X ，LIU Y.A method for recognizing overlapping elliptical bubbles in bubble image ［J ］.Pattern Recognition Letters ，2012，33（12）：1543-1548.[7]
张瑞华，吴谨.基于边缘链码信息的黏连细胞分割算法［J ］.北京理工大学学报，2013，33（7）：91-97.
[8]
JAFAR L ，YING H.
Multilevel component -based histogram
equalization for enhancing the quality of grayscale images ［C ］//Proceedings of the 2007IEEE International Conference on Electro/information Technology.Piscataway ：IE ：2007：563-568.[9]NOMURA S ，YAMANAKA K ，SHIOSE T ，et al.Morphological preprocessing method to thresholding degraded word images ［J ］.Pattern Recognition Letters ，2009，30（8）：729-744.[10]CHE X ，WANG L ，GUO X.An improved edge detection method
using adaptive threshold ［C ］//Transactions on Edutainment XII ，LNCS 9292.Berlin ：Springer ，2016：142-151.[11]MATAS J ，CHUM O ，URBAN M ，et al.Robust wide -baseline stereo from maximally stable extremal regions ［J ］.Image and
Vision Computing ，2004，22（10）：761-767.
[12]钱基德，陈斌，钱基业，等.基于机器视觉的液晶屏Mura 缺陷检测方法［J ］.计算机科学，2018，45（06）：302-306，319.
[13]WANG L ，CHANG Y ，WANG H ，et al.LAn active contour model based on local fitted images for image segmentation ［J ］.Information Sciences ，2017，418：61-73.
[14]ZHANG K ，LZHANG L ，LAM K ，et al.A level set approach to image segmentation with intensity inhomogeneity ［J ］.IEEE
Transactions on Cybernetics ，2017，46（2）：546-557.[15]方红萍.类圆形堆叠颗粒分割问题研究［D ］.武汉：武汉科技大学，2015.[16]
刘莉莉.类圆性颗粒图像分割技术研究［D ］.重庆：重庆大学，
局部直方图均衡化2009.
图5
高速嘴棒计数设备
图6密集嘴棒定位
150

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。