第26卷第11期2020年11月
计算机集成制造系统Vol.26No.11 ComputerIntegrated ManufacturingSystems NovG2020
DOI：10.13196/j.cims.2020.11.015
自主移动焊接机器人嵌入式视觉跟踪控制系统
杨国威1，王以忠1，王中任2+，刘海生2，肖光润2
(1天津科技大学电子信息与自动化学院，天津300222；
2.湖北文理学院机械工程学院，湖北襄阳441053)
摘要：为解决大型工件现场焊接空间受限和焊缝跟踪精度受干扰的问题，提出并设计了一种自主移动焊接机器人嵌入式视觉跟踪控制系统。系统紧凑、体积小，适应现场焊接作业。提出基于核相关滤波的焊缝跟踪算法，以解决焊接时的弧光干扰问题，实现实时、精确、可靠的焊缝跟踪。该算法通过生成大量的正负样本进行分类器训练，并映射到高斯核函数空间进行计算，来提高跟踪精度和可靠性；通过构建样本的循环矩阵和傅里叶变换来减少计算量，提高跟踪实时性。在ARM嵌入式系统中实施该自动跟踪算法，完成了对移动机器人的爬行和横摆控制，并实现了焊接过程的实时纠偏。通过对大型管道V型焊缝进行焊接实验表明，帧率达到10fps，焊缝轨迹跟踪准确，焊接表面平顺。
关键词：自主移动焊接机器人；嵌入式视觉控制；焊缝跟踪；核相关滤波；纠偏控制
中图分类号：TG409文献标识码：A
Embedded vision tracking control system for autonomous mobile welding robot
YANG GUowei1,WANG Yizhong1,WANG Zhongren2+,LIU Haisheng2,XIAO GUangrUn2
(1.College of Electronic Information and Automation,Tianjin University of Science and Technology,
Tianjin300222#China；
2.College of Mechanical Engineering,Hubii University of Arts and Science,Xiangyang441053,China)
Abstract：To solve the problem of limited space and disturbance of seam tracking accuracy when welding large work pieces anembeddedvisua0trackingcontro0system forautonomous mobie we0dingrobot wasproposedand de­signed which wassuitab0eforfie0d we0dingoperation withitscompactandsma0size.Aseamtrackinga0gorithm basedon Kerneizedcorre0ationfiterwasproposedtoso0vetheprob0emofarcinterferenceduringwe0dingandtore-aizerea-time accurateandreiab0eseamtracking.A0argenumberofpositiveandnegativesamp0esweretrain
edto constructc0assifiersand Gaussiankerne0function mapping wasusedtoimprovetrackingaccuracyandreiabiity.
Samp0ecycicmatrixandFouriertransform wereca0cu0atedtoreducetheamountofca0cu0ationandreaizetherea-timetracking.Theautomatictrackinga0gorithm wasimp0ementedintheembeddedsystembasedonARMtocontro0 thecrawingandyawofthemobierobotandreaizerea-timedeviationcorrectionin we0dingprocess.Thewe0ding experimentofV-shapedwe0dingseamfor0argepipeinewasconducted andtheframerateofthevisua0sensorcou0d reach10fps.Theproposedsystemcou0dcorrectthedeviationautomatica0ywiththemovementofthewe0dingrobot thetrackofthewe0dwasaccurate andthewe0dingsurfacewassmooth.
Keywords：autonomouswe0dingrobot；embeddedvisioncontro0；seamtracking；kerneizedcorre0ationfiter；rectify deviationcontro0
收稿日期：2019-02-18；修订日期：2019-06-03"Received18Feb.2019；accepted03June2019.
基金项目：国家自然科学基金青年科学基金资助项目(51805370)；*机电汽车”湖北省优势特学科幵
放基金资助项目(XKQ201809) Foundation items：Project supported by the Youth Program of National Natural Science Foundation,China(No.51805370),and the "Electromechanical Automobile"of Hubei Provincial Advantage and Characteristic Discipline Group Opening Foundation,China(No.
XKQ201809).
3050计算机集成制造系统第26卷
0引言
焊接过程中让焊接机器人自主感知焊接环境并实时调是动化的发展方向「1（。在工业现场的大中，固定器能移动而且限，导致焊操限，难以适应复杂大
的现动，主动器方法为解决、大、具有复杂空间
式的大实时难题提供路，自主移动器人的智能化成为的点和发展趋势。
为提动器人在现场焊接中的自主性和适应性，国内外学化移动器人的「4勺来解决现限问题，通过改
算法来解决精度扰的问题。在系统设计方面,Kermorgant设计了一种磁性动机器人，可应用于直结构的）等动器人研
一性化的视，以适应狭小复杂环境中度可变的需求。在提精度可靠性方面，针对
中视器受弧光、烟尘、飞溅等干扰而
精度的问题，员在像处理11（和制算法「12「⑷上，以的质量应性。度学术的发展，华南理大学等「15「16（提出基于深度分层特征的焊征提取方法，该方法提标多尺度层级的特征，克服一像素级特征的局限，从而能够在焊缝像信息中存在扰的情况下准确定
正则化残差
征点，其所设计的智能制器性r 局能力，能够平，提高了焊接的质量和可靠性。
然而，现有可靠的焊缝自动跟踪算法研究大多
成的制实现，限制动器人在复杂的应用。为提动器人在工业现的适应性，本文设计了一主移动焊器视制，以减少设备的复杂度积。为解决时的弧扰问题并实现应于计算能的实时、精、可靠的
缝跟踪，系统地提出了基于核相关滤波（Kernelized Correlation Filter，KCF）的焊缝跟踪算法。该算法通过训练大量的正负分类器并利斯核函数映射，以提高跟踪精度和可靠性，通过构建样本的循环变减少计算量，以提！
的实时性，并在中实施自动算法，从而控制移动机器摆，实现的实时纠偏。
1系统组成
1.1系统结构
以焊接大型管道为例，图1所示为本文采用的主动器视制，
主要主移动器人、视
制、工业相机、纟器成。移动器人为四器人，通过步进电机驱动进行爬行（#）、横摆（y）和上下个方向运动1），并将（#）和横摆（y）联动对
。工业相器组成的视器与一起安装在横摆运动的导［端，用于的信息。时，视！
制采算法从 像中提的信息，根的；
制焊移动实现。为提的便捷性和适应性，采用基于ARM Cortex-A8的嵌入式理器为视制系统的处理和控制核心。
视制GigE接口像，并利像处理算法提
信息，然出口动步电
来控制3个方向运动，同时485总线与L通信控制起弧主。
图1自主移动焊接机器人嵌入式视觉跟踪控制系统
1.2视觉传感器
2示为业相、器
成的视器，其利
较好的单
第11期杨国威等：自主移动焊接机器人嵌入式视觉跟踪控制系统3051
性、方向性和高亮度来凸显焊缝结构特征。线激平面与相轴的夹角为1，传感器与焊接工的为H。相机采集被信息调制的信号，根三角法原理，焊缝深度变化会引起，根据悄信号可以定位焊缝的信息，如果对平面标定，则可的深度信息。由于中被弧扰，采集的像会产生图像噪声，严重时会覆
的重要信息部分，导致征0 -设计时在视中设弧光，并采用金属外壳对视亍器主隔绝，以时被的损坏；成像光路采平
，以减少对成像误差的。器的夹持器绕横摆（y）方向旋调整熾器之间的角度，将与首特征点的距离控制在25mm〜30mm之间，使得焊器既不会太远而精度，也不会太近而受弧光影响。激光器弧光较弱的，时采器的，以减少弧对像信息的扰"
2初始焊缝特征提取
移动机器人自主焊接前，需要获取焊缝的初始
信息。根三理，口深度变化会导致所采集的像在焊缝边缘发生，图3a所示为V型猪
，像处理算法提的偏折点能够计算出的像像度，实度对相机成像标定，可以【像标实坐标之间的关系。因为化
中并未起弧，不受弧扰，条征比较，所以采便的匹配算法提"设计的3c示，利用模板匹配算法可分别确定焊缝左右两端的特征点，从而取得的像度，所提的征点3b所示。对所提的像度与实度标定计算，可以得出像的像分"3中的实度为
20mm，提取的像度为36像素，标定得到每个像素的分辨率为0.056mm。
a采集的焊缝激光条纹图像b焊缝特征提取
c焊缝条纹图匹配模版
图3线激光视觉传感原理与焊缝特征提取
为方便，在设定
标，以为中心，根据实际需要设定一定的目标，默认用100像素的方示的标，3b中的标记所示。
3焊缝视觉跟踪
3.1
制示4a示"时，视制采算法从器像中提的信息，制摆轴动，4b示的"为减少器动温引起的变形对产生的，时根的
制动对 实时"为质量，中的工艺参数，充的速度、横摆幅度和速度、的相对高度、焊在边缘处停滞的时延时间，
以及电流和电压等，在动中可根据焊接艺需要设定变"
3.2跟踪算法
动器起弧，像会弧
飞溅影响（如图5），针对每帧单一像，
利用特
3052计算机集成制造系统第26卷
a视觉焊缝跟踪示意图b焊尖部运动轨迹
图4焊缝跟踪原理图
征检测方法获取焊缝的位置和尺寸时，很容易影响
精度和可靠性，而且每帧都从中提征
时较长，会实时性。为此，采用基于KCF
的焊缝跟踪算法来提的精度、速度和可
靠性。算法6所示，具体步骤
如下：
(1)生成训练样本
KCF的标样本循环偏移得
到。以图*b矩形框所示的目标区域中心为特征点，
选取邻域大小为M X N(本文默认为100X100)区
域内的图像作为训练的正样本#,#(9"X1"9m X
N，对#进行循环偏移产生一系列负样本#i，
#i=P l#o(1)
式中P为n X n矩阵，i90,1,2,…，n—1，
0 10・，
0・，
1
P=:
:
::
00・，00
00・，10
(2)
#为#循环偏移，位后的训练样本，所有训练样本#i构成循环C(x)，
C(x)=[x0x】，…,Xi，…,x n—i(T o(3)
(2)高斯核空间的脊回归
是对集分类器训练的过程，目的是数来计算成为被跟标的概率。为提，利j 斯核函数
K(x,x r)=〈0丁(#),0(x，)〉=e8#2#8(4)将X映射到高斯核特征空间0(x)上，使映射后的样在中线性可分。，在高斯核特征I
数
n
f(x)=%#6(x,X j)o(5)
j=1回归的目的是到一个权重向量％9[#1,#2，…，#n(，使得式(6)的残差函数为最小值：
min%(f(x2)—y z)24'8%82。(6)
i
式中：y i为训练样本x i对应的回归值，y9[y i,y2，…y(T)为防止过拟合的正则化参数。
利用循环矩阵卷积性质，式(4)〜式(6)最优%值的解可(7)简化求解：
=。⑺式中:K为不同训练样本之间乘积的核函数K j9/ (i,X j)构成的核函数矩阵,&也是循环矩阵&为核函数矩阵K第1行元素组成的向量?为%，K#，y的傅里叶变换；，表示共辄o
!)快速检测
给定的焊缝图像目标区域七，其成为目标的概为
y'=%#I k(x z,x Q。(8)
i
X为焊缝目标区域X'通过循环移位i位得到的集合，选择概大的标为，用目标循环移动的：确
定动的位置。为计算循环移动后的I 成为标的概#核数循环
矩阵
K#=C&##')o(9)式中K#为K◎矩阵的第1行。利用K®和脊回归得到的重向量%得到
成为标的概为
X=f T((K®)%)(10)式中：f T为逆变换：X为检测的概率向量o 一帧的征点坐标由％最大元在的定为
(U t,s)=max®)。(11)式中UK为当前帧跟踪的标位置的列值血和行值So
a起弧后的焊缝图像1b起弧后的焊缝图像2
图5
起弧后受干扰的焊缝图像
第11期
杨国威等：自主移动焊接机器人嵌入式视觉跟踪控制系统3053
下一帧焊缝目标跟踪
斯空脊归
高核间回焊缝跟踪初始化
检测最优位置(均，几)
图6基于KCF 算法的焊缝跟踪流程
模型更新
(4)模型更新
为提 的适应性，跟踪过程中需要更新权重向量%
标
工，更 为：
= (1—$% —1 +%!；
(]2)
=
(1 — $ # — + $!。
式中：0V $V1为学习因子:％'和%—1表示当前帧和
上一帧更新获得的％；玄和#!—1表示当前帧和上一 帧更 得的目标
上所述,
断地采集图像，然后按照生成 、高斯核
的
、快速
、模
型更新的步骤 标 的 计算，基于
KCF 的 算法利用对目标 循环 产
生的大量
分类器，并利 斯核函
数计算 与目标 的相似度，从而提高回
归效果，同时利用式(7)和式(10)中的傅里叶变换在
频
分类器
，以降低计算量-
，基于KCF 的 算法能够对 征点
实时精
。
4实验结果与分析
4.1实验装置
本文实验搭建的自主移动焊接机器人自动焊接
系统实物 7所示。图中自主移动
器人在直径为250 mm 的管道上完成 实验，管道上V
的最大
为20 mm ；
视
器
距离管道表面的高度H  =150 mm，焊尖部与焊缝 征点的 为25 mm ；线激光器 弧光较弱的
660 nm 波长，滤光片为660 nm 士 15 nm 的窄带滤 光片；采用的工业相机为Basler  acA1300-60 gm，分
辨率为1 280X1 024，最高采集帧率为60 fps 。
图7自主移动焊接机器人实验装置与实际自主焊接过程
视觉控制系统处理器采用基于ARM  Cortex-
A8内核的AM335X 处理器，1G 内存。系统爬行
(#)、横摆(y )、上下移动(m ) 3个方向的重复定位精 度为0. 1 mm 。通过对ARM 的通用输出口进行脉
宽调制(Pulse  Width  Modulation ，PWM)来控制 3
方向的位移和速度，其中：将焊上下移动来调节
面的 上 下 ； 制
摆
4b 所示的
动，焊
的实时 制在 摆方向 。 设备 采 NBC-350
，
视 制采用Modbus  485 总线与
信
对
制 。
4.2软件功能
根据系统的视觉跟踪控制原理，本文方案搭建 的 视
制
的主要程序功能如下：
(1) 视觉传感功能
在ARM 嵌入式系统板上搭建Linux 操作系 统，通过编
像采集库来实时采集焊缝图
像；采用C+ +程序语言完成基于
匹配的初始征提 基于KCF 的 算法，并
:
界面应 序开发框架QT 实现图像采集 理的
可视化。基于QT 的自主 视 理 界面 8 示 ， 中 示 像 的 采 集 & 理
弧 像的 ，能准确实时 的
。
(2) 系统的焊接控制功能
的 制 界 面 9 示 ， 能 对
& 摆 & 上下 动 3
方向的

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。