1.本发明具体属于图像识别技术领域，特别涉及一种基于局部方向特征和关联矩阵的金属模具跟踪方法。
背景技术：2.有色金属工业是国民经济和国防、科学技术的基础工业之一，其中有色金属铸锭的生产过程是在朝向单一方向运动的生产流水线上放置等距间隔的多个金属模具，然后向模具中注入高温的液态有色金属，待冷却后即凝固成锭。而在冷却结晶过程中，与空气接触的液体表面将继续被氧化以形成氧化物浮渣。如果不及时清除，固态金属锭的质量将达不到标准。目前，固态金属锭的生产线上大多数排渣过程都由扒渣机器人执行，但是仅仅使用扒渣机器人按照固定的扒渣流程通常会导致扒渣效果不理想。近些年来，机器视觉技术广泛应用于工业检测中，为工业生产流程实现自动化检测。生产过程要素的智能感知与信息融合已成为趋势。
3.机器视觉就是将视觉信息作为输入，进而对这些输入信息进行处理，将识别的结果作为下一步动作的信息指南。机器视觉不仅适合大量重复劳作的生产线，也适用于较为精确的安装、检测与繁重体力的生产车间。采用机器视觉识别方法对金属浇铸过程进行定位，为扒渣机器人提供了金属锭的实时位置，有助于提高扒渣机器人的自适应能力，提高扒渣机器人的工作质量和效率。目前，常用的视觉处理算法有模板匹配、局部特征描述子等，这些大多针对形态确定，外观不会发生变化的单一目标，然而，由于复杂的工业环境，在精扒渣过程中金属模具的内部状态有很多种，故造成了应用的困难。因此，提出一种基于局部方向特征和关联矩阵的金属模具跟踪方法。该算法通过局部方向特征建立模板，匹配检测每一帧中目标模具的位置。进而，进行帧间关联，获取每一个模具的运动轨迹，并根据获取的深度信息将轨迹映射到三维空间，为机器人提供模具运行的三维轨迹。
技术实现要素：4.本发明的目的在于针对模具内含不同状态金属时定位跟踪困难的问题，提出一种基于局部方向特征和关联矩阵的金属模具跟踪方法，获取模具在空间中的运动轨迹，最终在工业金属模具跟踪领域获得较高的准确率、可靠性和实时性，为工业机器人的工作提供技术支撑。
5.为了实现上述技术目的，本发明的技术方案是，
6.一种基于局部方向特征和关联矩阵的金属模具跟踪方法，包括以下步骤：
7.s1：采集生产线上多个单一模具的图像数据，并提取各个模具图像的相同特征，从而建立用于跟踪模具的模具模板；
8.s2：从生产线上获取待检测的模具的图像，然后计算模具图像的图像特征向量与模具模板向量的相似度，筛选出满足条件的目标点，进而通过非极大值抑制和x空间矫正得到目标模具的位置；
9.s3：将目标模具进入检测范围开始跟踪到脱离检测范围的检测过程划分为四个状态，由帧间数据关系获取目标帧间的关联矩阵，结合关联矩阵完成目标模具状态的跳转，进而进行目标模具的id标注和跟踪；
10.s4：输出当前帧目标模具的id及状态和位置，将处于跟踪状态的目标模具坐标转化到三维空间中，为机器人提供操作坐标点。
11.所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，所述的步骤s1包括：
12.s101：以固定位置的相机建立相机坐标系{oc}，然后通过相机采集生产线上多个单一模具的图像数据，并建立模具的像素坐标系和相机坐标系之间的转换关系：
[0013][0014]
其中，u0和v0是图像平面中心，f是相机的焦距，(xc,yc,zc)表示相机坐标系下模具的坐标，(u,v)为模具的像素坐标；
[0015]
s102：选取清晰的模具图像，再利用5
×
5的卷积核进行高斯滤波去除噪声点，然后提取模具外轮廓梯度方向特征，采用sobel算子提取图像的梯度；
[0016]
s103：对各个模具图像横向即x轴上轮廓的梯度方向特征进行滤波和拟合，从而建立模具的特征模板：
[0017]
md(x,y)＝(m
dx
(x,y),m
dy
(x,y))
t
[0018]
其中，(x,y)表示像素坐标，md(x,y)表示模板图像的梯度集合，m
dx
(x,y)表示模板图像x方向的梯度集合，m
dy
(x,y)表示模板图像y方向的梯度集合，上标t表示矩阵转置。
[0019]
所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，所述的步骤s101中，在采集生产线上多个单一模具的图像数据时，对同一个模具需要采集在不同内部状态下的图像，其中内部状态包括空、溢出和标准三种状态；所述的步骤s102中，选取清晰的模具图像时，是要选择包括空、溢出和标准三种状态下的清晰的模具图像。
[0020]
所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，所述的步骤s2包括：
[0021]
s201：从生产线上获取待检测的模具的图像即搜索图像，并提取得到与模具模板对应的图像梯度集合，然后通过搜索图像与模具模板中对应单位向量之间的内积s(x，y)来作为相似度：
[0022][0023]
其中，(t
x
,ty)表示位于特征线段上的点梯度方向向量在x轴和y轴上的投影，n表示特征线段上点的个数；rd(x,y)表示搜索图像的梯度集合；
[0024]
将计算出的s(x，y)值大于预设阈值的搜索图像中的点作为候选点；
[0025]
s202：在得到候选点后进行非极大值抑制，对于图像上以局部聚集形式出现的候
选点，以半径为预设大小的圆框选出每个聚集堆，提取出每个聚集堆相似度s最高的一个点(x'，y')作为模具的检测结果，根据检测结果即得到检测框；
[0026]
s203：对模具的检测框进行矫正:将在x轴上即生产线运动方向上，偏离其他检测结果大于预设阈值的检测结果删除。
[0027]
所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，所述的步骤s201中，提取搜索图像的图像梯度集合包括以下步骤：
[0028]
rd(x,y)＝(r
dx
(x,y),r
dy
(x,y))
t
[0029]
rd(x,y)表示搜索图像的梯度集合，r
dx
(x,y)表示搜索图像x方向的梯度集合，r
dy
(x,y)表示搜索图像y方向的梯度集合，上标t表示矩阵转置。
[0030]
所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，所述的步骤s3中，目标模具进入检测范围开始跟踪到脱离检测范围的检测过程划分为四个状态，是通过以下方式进行的：
[0031]
目标模具的四个状态包括激活、已跟踪、丢失和失活；每当在图像中新检测到一个模具时，则将该模具作为目标模具，并进入“激活”状态；进入“激活”状态的目标模具如果继续从后续图像中被检测到，则状态转换为“已跟踪”，并为目标模具标注id；如果进入“激活”或“已跟踪”的目标模具不再从后续图像中被检测到，则将状态转换为“丢失”；如果处于“丢失”状态的目标模具在经历预设的丢失时间后仍未被检测到，则进入“失活”状态，并认为该目标模具已经离开检测范围；如果处于“丢失”状态的目标模具在经历预设的丢失时间内重新被检测到，则将该目标模具的状态转换为进入“丢失”状态前的状态。
[0032]
所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，所述的步骤s3中，目标模具的id标注和跟踪包括：
[0033]
所述的步骤s3中，目标模具的id标注和跟踪包括：
[0034]
s301：在获得两帧图像检测结果后，建立数据关联矩阵，这里以n表示前一帧中检测的模具与处于丢失状态的模具，m表示当前帧检测的模具，通过表达式计算a
ij
来表示n与m之间的匹配值：
[0035][0036]
其中，n表示n中模具个数，m表示m中模具个数；数据关联矩阵是用来表征目标相似度的n
×
m阶矩阵,a
ij
取值范围为-∞～1，β表示速度补偿值，即取前5帧中的速度平均值作为后5帧中速度的预测值，β的初始值为0，yi表示n中第i个模具的纵坐标，ti表示n中第i个模具的帧数；yj表示m中第j个模具的纵坐标，tj表示m中第j个模具的帧数；
[0037]
s302：对于目标i，在a
i1
～a
im
选取相似度最大值a
imax
为匹配结果；匹配后进行状态转移判断；激活和已跟踪状态的目标会进行相似度判断，处于丢失状态的目标会进行相似度判断和丢失时间判断；根据判断的结果完成状态的转化，判断条件如下式所示：
[0038][0039]
其中，相似度阈值为l，时间阈值为t；相似度匹配成功为lt，匹配失败为lf，未超出最大丢失时间为tt，超出最大丢失时间为tf。
[0040]
所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，所述的步骤s4中，处于跟踪状态的目标模具坐标转化到三维空间的转换公式为：
[0041][0042]
其中，(xc,yc,zc)表示金属模具在相机坐标系下的位置，u0和v0是图像平面中心，(f
x
,fy)表示相机在x方向和y方向上的焦距，(x,y)为模具检测到的像素坐标。
[0043]
一种电子设备，包括：
[0044]
一个或多个处理器；
[0045]
存储装置，用于存储一个或多个程序，
[0046]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现前述的方法。
[0047]
一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现前述的方法。
[0048]
本发明的技术效果在于，提出了一种结合局部方向特征匹配的方法来进行模具定位，有效的解决了金属模具内含不同状态金属时定位困难的问题，其次，为金属模具设立四个状态子空间，利用数据关联矩阵结合模具当前所处状态空间完成数据关联，完成模具id的标注和跟踪。两者结合的跟踪方法可以同时检测多个模具，提取出多个模具的运行轨迹，其在准确率、可靠性和实时性上均有一定优势。最后，将获得的模具轨迹映射到三维空间，提供给工业扒渣机器人完成扒渣动作。
附图说明
[0049]
图1为本发明实施例中所述金属模具视觉检测及跟踪方法的流程示意图。
[0050]
图2为本发明实施例中所述采集到的锌锭生产线上的图像。
[0051]
图3a)为本发明实施例中所设计的模具轮廓模型图；b)为锌锭模具的局部特征提取图。
[0052]
图4a)为本发明实施例中设计的目标状态转移图；b)为本发明所设计的状态转移条件图。
[0053]
图5为本发明实施例在锌锭生产线上的金属模具跟踪效果图。
具体实施方式
[0054]
下面结合具体实施例，并参照附图，对本发明作进一步详细说明。
[0055]
参见图1，本实施例以图2所示采集的几帧锌锭金属模具图为例，本实施例所提供的基于局部方向特征和关联矩阵的金属模具跟踪方法包括以下步骤：
[0056]
s1：如图2所示，金属模具内部包含着多种状态，即空、溢出和标准，空即模具内没有金属溶液，溢出是指金属模具内的金属溶液高出金属模具的可容纳上限，标准是金属模具内金属溶液的容量处于预设的正常范围。采集生产线上多个单一模具图像数据，并对同一个模具需要采集在不同内部状态下的图像，然后对图像进行去噪，进而提取图像梯度，构建梯度图像，提取这些模具的局部相同方向特征，对相同方向特征进行分析，滤波，拟合，以局部特征向量配置模具模板。
[0057]
具体来说，步骤s1包括：
[0058]
s101：首先安装工业相机并建立笛卡尔空间坐标系即相机坐标系{oc}，相机保持固定位置不变，充分采集生产线上的金属模具图像数据，建立图像坐标系。
[0059]
s102：在选取清晰且属于不同状态的模具图像后，首先利用高斯滤波去除噪声点，然后提取模具外轮廓梯度方向特征，采用sobel算子提取图像的梯度。
[0060]
s103：由图3a)所示，针对模具八条外部轮廓依次分析，通过检测发现不同模具的ab段和fe段在梯度方向上具有明显的相似性，这是由于模具与模具之间留有间隙，故横向轮廓在梯度方向上普遍存在相似的特性。而对于其他6条边梯度方向特性比较模糊，ab段上的点存在梯度方向垂直向上的特征，fe段上的点存在梯度方向垂直向下的特征，如图3b)所示。以此进行滤波和拟合，选取金属模具上边缘的特征为方向垂直向上的单位向量，下边缘的特征为方向垂直向下的单位向量。由ab段和fe段及其他6条线段的对应关系建立金属模具的模板特征图像，待匹配的原图像也采用相同的卷积核进行高斯滤波，并用sobel算子提取图像梯度，记录图像的梯度集合。
[0061][0062]
其中，md(x,y)表示模板图像的梯度集合，rd(x,y)表示搜索图像的梯度集合。(x,y)表示像素坐标，md(x,y)表示模板图像的梯度集合，rd(x,y)表示搜索图像的梯度集合，m
dx
(x,y)表示模板图像x方向的梯度集合，m
dy
(x,y)表示模板图像y方向的梯度集合，上标t表示矩阵转置。
[0063]
s2：基于模具特征分布的高度一致性，利用统计学技术中相关参数计算当前图像特征向量与模板向量的相似度，筛选出满足条件的目标点，进而通过非极大值抑制和x空间矫正确定得到目标模具的位置。
[0064]
s201：相似性度量是基于模板图像和搜索图像中对应单位向量之间的内积来定义的，定义为s(x,y)。表示搜索图像中位置(x,y)处的点与模板图像之间的相似度,经过归一化后s的取值为0～1。针对局部梯度方向特征的匹配结果需要设定一个阈值，当阈值设置较高，会出现检测不到的情况；当设置较低，会出现太多的干扰项影响模具的检测。经过多次实验确定，当s＞0.9时候选点表现最好，故本实施例中选取匹配阈值为0.9。
[0065][0066]
其中，(t
x
,ty)表示位于特征线段上的点梯度方向向量在x轴和y轴上的投影，n表示特征线段上点的个数。
[0067]
s202：在得到候选点后进行非极大值抑制，非极大值抑制是在一定的局部范围内，选取相似度最高的点作为模具的检测结果。本实施例中的局部范围选为10个像素点坐标，即以半径为10个像素点的圆框选出每个聚集堆，提取出每个聚集堆相似度s最高的一个点(x
′
,y
′
)作为模具的检测结果。
[0068][0069]
s203：x轴矫正是考虑到生产线的运动方向垂直于y轴的运动方向，故理论上所有模具的x轴坐标具有非常高的相似性。根据这一因素，对模具的检测框进行矫正，针对x坐标明显偏离的设定为异常检测，将其删除，本实施例中将偏离其他模具检测结果20个像素点以上作为异常检测的阈值。
[0070]
s3：将模具的检测过程划分为四个状态子空间，由帧间数据关系获取目标帧间的关联矩阵，结合关联矩阵完成模具id状态的跳转，进而进行标注和跟踪，有效应对遮挡和误检的情况。
[0071]
s301：由图4a)所示，目标模具的四个状态包括激活、已跟踪、丢失和失活。每当在图像中新检测到一个模具时，则将该模具作为目标模具，并进入“激活”状态。进入“激活”状态的目标模具如果继续从后续图像中被检测到，则状态转换为“已跟踪”，并为目标模具标注id。如果进入“激活”或“已跟踪”的目标模具不再从后续图像中被检测到，例如因为被遮挡或其他原因而从摄像机视野中消失，则将状态转换为“丢失”。如果处于“丢失”状态的目标模具在经历预设的丢失时间后仍未被检测到，则进入“失活”状态。如果处于“丢失”状态的目标模具在经历预设的丢失时间内重新被检测到，则将该目标模具的状态转换为进入“丢失”状态前的状态。其中“失活”是任何目标的终端状态，标注id的目标进入此状态表示目标已离开拍摄范围。
[0072]
s302：在获得两帧图像检测结果后，建立数据关联矩阵，数据关联矩阵是用来表征目标相似度的n
×
m阶矩阵,n与m分别表示前后两帧的目标检测数量。这里以n表示前一帧中检测的模具与处于丢失状态的模具，m表示当前帧检测的模具，通过表达式计算a
ij
来表示n与m之间的匹配值：
[0073][0074]
其中，n表示n中模具个数，m表示m中模具个数；数据关联矩阵是用来表征目标相似度的n
×
m阶矩阵,a
ij
取值范围为-∞～1，β表示速度补偿值，即取前5帧中的速度平均值作为后5帧中速度的预测值，β的初始值为0，yi表示n中第i个模具的纵坐标，ti表示n中第i个模具的帧数；yj表示m中第j个模具的纵坐标，tj表示m中第j个模具的帧数；
[0075]
s303：对于目标xi，在a
i1
～a
im
选取相似度最大值a
imax
为匹配结果。匹配后进行状态转移判断，由附图4b)所示。激活和已跟踪状态会进行相似度判断，处于丢失状态会进行相似度判断和丢失时间判断。根据判断的结果完成状态的转化，判断条件如下式所示：
[0076][0077]
其中，相似度阈值为l，时间阈值为t。相似度匹配成功为lt，匹配失败为lf，未超出最大丢失时间为tt，超出最大丢失时间为tf。
[0078]
s4：输出当前帧模具的id及其状态和位置，如附图5所示。将处于跟踪状态的模具坐标转化到三维空间中，为机器人提供操作坐标点。转换公式即：
[0079][0080]
其中，(x,y,z)表示金属模具在相机坐标系下的位置。(u0,v0)表示像素坐标系，(x,y)表示图像坐标系，(f
x
,fy)表示相机在x方向和y方向上的焦距。
[0081]
根据本发明的实施例，本发明还提供了一种电子设备和一种计算机可读介质。
[0082]
其中电子设备，包括：
[0083]
一个或多个处理器；
[0084]
存储装置，用于存储一个或多个程序，
[0085]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现前述的方法。
[0086]
具体使用中，用户能够通过作为终端设备的电子设备并基于网络来与同样作为电子设备的服务器进行交互，实现接收或发送消息等功能。终端设备一般是设有显示装置、基于人机界面来使用的各种电子设备，包括但不限于智能手机、平板电脑、笔记本电脑和台式电脑等。其中终端设备上根据需要可安装各种具体的应用软件，包括但不限于网页浏览器软件、即时通信软件、社交平台软件、购物软件等。
[0087]
服务器是用于提供各种服务的网络服务端，本实施例所提供的方法一般由服务器执行，在实际运用中，在满足必要条件下，终端设备亦可直接执行。
[0088]
类似的，本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种销量预测方法。
[0089]
至此，已经结合附图所示描述了本发明的技术方案。在本实例中，首先，对多个单一的锌锭模具图像进行高斯滤波并提取出模具的局部方向特征。其次，由局部方向特征建立锌锭模具模板，在实际采集的图像中通过相似性度量确定满足条件的目标点，进而通过非极大值抑制和x轴矫正确定得到锌锭模具的位置。通过帧间数据关系获取目标帧间的关联矩阵，结合关联矩阵完成模具id的标注和跟踪。最后，将获得的锌锭模具轨迹映射到三维空间。本发明提出的算法在工业模具识别与检测领域获得了较高的准确率、可靠性和实时
性，体现了本发明在工业领域下的优越性。
技术特征：1.一种基于局部方向特征和关联矩阵的金属模具跟踪方法，其特征在于，包括以下步骤：s1：采集生产线上多个单一模具的图像数据，并提取各个模具图像的相同特征，从而建立用于跟踪模具的模具模板；s2：从生产线上获取待检测的模具的图像，然后计算模具图像的图像特征向量与模具模板向量的相似度，筛选出满足条件的目标点，进而通过非极大值抑制和x空间矫正得到目标模具的位置；s3：将目标模具进入检测范围开始跟踪到脱离检测范围的检测过程划分为四个状态，由帧间数据关系获取目标帧间的关联矩阵，结合关联矩阵完成目标模具状态的跳转，进而进行目标模具的id标注和跟踪；s4：输出当前帧目标模具的id及状态和位置，将处于跟踪状态的目标模具坐标转化到三维空间中，为机器人提供操作坐标点。2.根据权利要求1所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，其特征在于，所述的步骤s1包括：s101：以固定位置的相机建立相机坐标系{o
c
}，然后通过相机采集生产线上多个单一模具的图像数据，并建立模具的像素坐标系和相机坐标系之间的转换关系：其中，u0和v0是图像平面中心，f是相机的焦距，(x
c
,y
c
,z
c
)表示相机坐标系下模具的坐标，(u,v)为模具的像素坐标；s102：选取清晰的模具图像，再利用5
×
5的卷积核进行高斯滤波去除噪声点，然后提取模具外轮廓梯度方向特征，采用sobel算子提取图像的梯度；s103：对各个模具图像横向即x轴上轮廓的梯度方向特征进行滤波和拟合，从而建立模具的特征模板：m
d
(x,y)＝(m
dx
(x,y),m
dy
(x,y))
t
其中，(x,y)表示像素坐标，m
d
(x,y)表示模板图像的梯度集合，m
dx
(x,y)表示模板图像x方向的梯度集合，m
dy
(x,y)表示模板图像y方向的梯度集合，上标t表示矩阵转置。3.根据权利要求2所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，其特征在于，所述的步骤s101中，在采集生产线上多个单一模具的图像数据时，对同一个模具需要采集在不同内部状态下的图像，其中内部状态包括空、溢出和标准三种状态；所述的步骤s102中，选取清晰的模具图像时，是要选择包括空、溢出和标准三种状态下的清晰的模具图像。4.根据权利要求2所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，其特征在于，所述的步骤s2包括：s201：从生产线上获取待检测的模具的图像即搜索图像，并提取得到与模具模板对应
的图像梯度集合，然后通过搜索图像与模具模板中对应单位向量之间的内积s(x，y)来作为相似度：其中，(t
x
,t
y
)表示位于特征线段上的点梯度方向向量在x轴和y轴上的投影，n表示特征线段上点的个数；r
d
(x,y)表示搜索图像的梯度集合；将计算出的s(x，y)值大于预设阈值的搜索图像中的点作为候选点；s202：在得到候选点后进行非极大值抑制，对于图像上以局部聚集形式出现的候选点，以半径为预设大小的圆框选出每个聚集堆，提取出每个聚集堆相似度s最高的一个点(x'，y')作为模具的检测结果，根据检测结果即得到检测框；s203：对模具的检测框进行矫正:将在x轴上即生产线运动方向上，偏离其他检测结果大于预设阈值的检测结果删除。5.根据权利要求4所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，其特征在于，所述的步骤s201中，提取搜索图像的图像梯度集合包括以下步骤：r
d
(x,y)＝(r
dx
(x,y),r
dy
(x,y))
t
r
d
(x,y)表示搜索图像的梯度集合，r
dx
(x,y)表示搜索图像x方向的梯度集合，r
dy
(x,y)表示搜索图像y方向的梯度集合，上标t表示矩阵转置。6.根据权利要求1所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，其特征在于，所述的步骤s3中，目标模具进入检测范围开始跟踪到脱离检测范围的检测过程划分为四个状态，是通过以下方式进行的：目标模具的四个状态包括激活、已跟踪、丢失和失活；每当在图像中新检测到一个模具时，则将该模具作为目标模具，并进入“激活”状态；进入“激活”状态的目标模具如果继续从后续图像中被检测到，则状态转换为“已跟踪”，并为目标模具标注id；如果进入“激活”或“已跟踪”的目标模具不再从后续图像中被检测到，则将状态转换为“丢失”；如果处于“丢失”状态的目标模具在经历预设的丢失时间后仍未被检测到，则进入“失活”状态，并认为该目标模具已经离开检测范围；如果处于“丢失”状态的目标模具在经历预设的丢失时间内重新被检测到，则将该目标模具的状态转换为进入“丢失”状态前的状态。7.根据权利要求6所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，其特征在于，所述的步骤s3中，目标模具的id标注和跟踪包括：s301：在获得两帧图像检测结果后，建立数据关联矩阵，这里以n表示前一帧中检测的模具与处于丢失状态的模具，m表示当前帧检测的模具，通过表达式计算a
ij
来表示n与m之间的匹配值：其中，n表示n中模具个数，m表示m中模具个数；数据关联矩阵是用来表征目标相似度的n
×
m阶矩阵,a
ij
取值范围为-∞～1，β表示速度补偿值，即取前5帧中的速度平均值作为后5帧中速度的预测值，β的初始值为0，y
i
表示n中第i个模具的纵坐标，t
i
表示n中第i个模具的
帧数；y
j
表示m中第j个模具的纵坐标，t
j
表示m中第j个模具的帧数；s302：对于目标i，在a
i1
～a
im
选取相似度最大值a
imax
为匹配结果；匹配后进行状态转移判断；激活和已跟踪状态的目标会进行相似度判断，处于丢失状态的目标会进行相似度判断和丢失时间判断；根据判断的结果完成状态的转化，判断条件如下式所示：其中，相似度阈值为l，时间阈值为t；相似度匹配成功为lt，匹配失败为lf，未超出最大丢失时间为tt，超出最大丢失时间为tf。8.根据权利要求1所述的一种基于局部方向特征和关联矩阵的金属模具跟踪方法，其特征在于，所述的步骤s4中，处于跟踪状态的目标模具坐标转化到三维空间的转换公式为：其中，(x
c
,y
c
,z
c
)表示金属模具在相机坐标系下的位置，u0和v0是图像平面中心，(f
x
,f
y
)表示相机在x方向和y方向上的焦距，(x,y)为模具检测到的像素坐标。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
技术总结本发明公开了一种基于局部方向特征和关联矩阵的金属模具跟踪方法，包括特征提取，目标定位，目标跟踪三部分。首先，对多个单一模具图像进行高斯滤波并提取出模具的局部方向特征。其次，由局部方向特征建立模具模板，在实际图像中通过相似性度量确定满足条件的目标点，进而通过非极大值抑制确定得到目标模具的位置。通过帧间数据关系获取目标帧间的关联矩阵，结合关联矩阵完成模具ID的标注和跟踪。最后，将获得的模具轨迹映射到三维空间。本发明提出的算法在工业模具跟踪领域获得了较高的准确率、可靠性和实时性，体现了本发明在该场景下的适用性和优越性，可以为工业机器人的工作提供技术支撑。作提供技术支撑。作提供技术支撑。
技术研发人员：徐德刚 朱家明 朱睿 吴杰
受保护的技术使用者：中南大学
技术研发日：2022.02.21
技术公布日：2022/7/5
