一种基于多线阵相机车轮踏面拼接方法与流程

allin2023-03-24  54



1.本发明属于数字图像处理领域,特别涉及一种基于多线阵相机车轮踏面图像拼接方法,并应用于轨道交通工程化产品中。


背景技术:

2.随着科学技术的发展,数字图像处理技术已经渗入到社会生产和生活的各个方面,尤其是轨道交通行业,以工业摄像机为代表的检测产品出现在轨道交通领域,代替了许多人工劳力,降低了企业的人力成本,提高了作业效率。其中,实现列车车轮踏面的缺陷自动检测产品是各高铁、城轨、机车等轨道领域面临的迫切需求,车轮踏面拼接作为车轮踏面缺陷自动检测系统的一部分,是系统实现的前提。
3.目前,大部分车轮踏面检测设备都是采用面阵相机来获取车轮踏面图像数据,面阵相机获取的踏面图像质量较低,环境因素影响大,不利于后续车轮踏面图像的拼接处理。
4.专利号为cn201710305046公开了一种火车车轮踏面缺陷在线图像检测系统及方法,该方法采用面阵相机进行机车车轮踏面的拍摄,获取图像质量较低,光源等环境因素干扰大,造成图像踏面区域的提取难度大,后续拼接亮度差异大、拼接效果不稳定,无法胜任全天候工作任务(面阵相机获取的数据,其处理方式与线阵相机差异较大,特别是在踏面区域提取和踏面图像校正方面,线阵相机采用的方法更加稳定,图像质量更高。所以该现有专利的拼接方法步骤并不适用本发明)。
5.专利号为cn201210245403公开了一种基于线阵相机拍摄的图像拼接方法和装置,该方法采用单个线阵相机进行移动式拍摄来获取指定目标的扫描图像,而采用单个线阵相机的硬件方案不符合本发明要求。


技术实现要素:

6.针对上述已有的拼接方法的不足,本发明目的在于提出一种基于多线阵相机车轮踏面拼接方法。
7.本发明为解决上述技术问题采用以下技术方案:
8.一种基于多线阵相机车轮踏面拼接方法,其特征在于,所述方法包括:
9.图像采集;
10.踏面区域提取:在踏面区域两侧各找出至少三个点才能完成踏面区域边界的拟合,在原始图像的首、尾及中间部分进行寻点,采用三级定位方法结合多项式拟合技术进行踏面区域图像的提取;
11.踏面图像校正:根据线阵相机的精度为s毫米/像素,车轮踏面实际物理宽度为w毫米,那么校正后的踏面宽度变为w=w/s像素,同理可得到校正后的踏面高度为h像素;
12.图像配准;
13.亮度校正:根据图像配准的配准参数,计算各相邻相机之间的重叠区域,通过重叠区域图像计算各踏面图像的亮度校正系数,将配准后的图像乘以各自的校正系数,即可得
到亮度校正后的踏面图像;
14.图像融合拼接:在亮度校正后的踏面图像的基础上对各相邻踏面图像的重叠区域进行融合,采用基于距离权重的线性融合方法,融合之后重叠区域自然过渡,,融合之后将各相邻踏面图像进行拼接,即可得到一幅完整的车轮踏面图像。
15.进一步地,所述踏面区域提取:
16.首先,通过原始图像确定踏面图像边界的初始位置,以左边界为例,记为pos_c,包含顶部、中部和底部三个点,pos_c={pos_c1、pos_c2、pos_c3};右边界与左边界的处理方式相同;
17.其次,在初始位置pos_c的基础上进行范围的扩充,扩充范围记为range,在[pos_c-range,pos_c+range]的范围内进行踏面边界点的搜索;
[0018]
最后,根据设置的条件及上述搜索范围确定踏面边界的位置,记为pos_j,通过多项式拟合技术对踏面边界点位置pos_j进行拟合,即可计算得到的完整的踏面边界,记左边界为lb,右边界为rb;通过踏面边界除去非踏面区域,那么就可以提取出车轮的踏面图像,记为tread_img。
[0019]
更进一步地,所述pos_j:提取[pos_c-range,pos_c+range]范围内的图像,并进行对比度拉伸;统计对比度拉伸后的图像的直方图,获取自适应阈值;根据自适应阈值分割拉伸后的图像;统计图像中有连续三个符合要求的点,即为所要计算的踏面边界点pos_j。
[0020]
进一步地,所述踏面图像校正:根据步骤二提取的踏面区域图像tread_img,记tread_img的横坐标为x,纵坐标为y,依次提取tread_img的每一行,按照公式(1)进行横坐标校正,并将其校正到w的宽度,那么处理后的图像就变换成长方形踏面图像,记校正后的图像为correct_img,correct_img的横坐标为x,纵坐标为y,
[0021]
式(1)中,x为校正前图像坐标,x为校正后的图像坐标,x∈[1,w];
[0022]
再对纵坐标进行校正,将纵坐标y按照公式y=c*y变换成y,y∈[1,h],c为校正系数(记校正前踏面图像tread_img的高度为h_t,校正后图像为correct_img的高度为h,那么校正系数c=h/h_t);
[0023]
至此完成踏面图像的校正,记校正后的图像为所述correct_img。
[0024]
进一步地,所述亮度校正:以相邻踏面图像img1与img2为例进行说明:
[0025]
(1)提取重叠区域图像:通过所述图像配准处理后的配准图像分别为reg_img1和reg_img2,可得reg_img1中重叠区域图像为r(1,2),reg_img2中重叠区域图像为r(2,1);
[0026]
(2)按照公式(2)分别计算r(1,2)和r(2,1)的强度平均值i
ij
和i
ji

[0027][0028]
式(2)中,r、g和b分别表示彩色图像的红、绿和蓝分量的强度值,n
ij
表示重叠部分r(i,j)的像素数量;
[0029]
(3)按照亮度补偿误差函数e对校正系数g求导,得式(4),并令导数为0,即可得到关于gi的线性方程组,再解算此方程组得到关于校正系数gi的值;
[0030][0031][0032]
式(3)中,σn和σg分别表示误差和增益的标准差,n表示参与计算的图像数目;
[0033]
(4)对配准后的图像进行亮度校正,将reg_img1和reg_img2分别乘以校正系数g1和g2,即可得到亮度校正后的踏面图像,分别记为lum_img1和lum_img2,同理可计算其它相邻图像的亮度校正图。
[0034]
进一步地,所述踏面图像配准:通过样板轮进行标定配准,在样板轮上贴一圈带有刻度的黑白棋盘格,然后模拟实际过车状态在轨道上进行滚动,获取带有标记物的车轮踏面图像,作为标定配准的基准图,通过特征点提取和匹配可计算出各相邻相机之间的配准参数,后续过车数据将通过配准参数进行计算处理,获取配准后的踏面图像数据,记为reg_img。
[0035]
进一步地,所述踏面图像融合拼接:在亮度校正后的踏面图像lum_img的基础上对各相邻踏面图像的重叠区域进行融合,采用基于距离权重的线性融合方法,见公式(5)
[0036][0037]
公式(5)中,c表示融合之后的图像,a,b是待融合图像,width表示图像融合的宽度,i∈[1,width]表示当前的像素位置。
[0038]
本发明的基于多线阵相机车轮踏面拼接方法,通过多个线阵相机扫描获取同一个列车车轮不同部分的踏面图像,采用基于三级定位的踏面图像提取技术,能够将同一车轮的多个线阵踏面图像自动、高效、稳定地合成一幅全景车轮踏面图像,利用亮度校正技术,使得拼接后的图像在视觉亮度上保持一致,生成的全景车轮踏面图像不但满足客户全方位查看列车车轮踏面状态的需求,也为后续实现车轮踏面缺陷分析报警提供数据支撑。
附图说明
[0039]
图1是本发明的总体流程图;
[0040]
图2是本发明的相机布局示意图;
[0041]
图3是本发明的踏面原始图;
[0042]
图4是本发明的踏面提取图;
[0043]
图5是本发明的踏面校正图;
[0044]
图6是本发明的拼接合成图;
具体实施方式
[0045]
下面结合附图和实施例对本发明做进一步的说明。
[0046]
参照图1所示,本实施例的基于多线阵相机车轮踏面拼接方法依次包括图像采集、
踏面提取、图像校正、图像配准、亮度校正以及图像融合拼接这六个步骤。
[0047]
步骤一、图像采集。
[0048]
踏面图像采集设备安装在列车出入库咽喉段的轨道两旁,根据车轮大小选择安装设备数量(每个采集设备采集的车轮的大小是一定的,车轮越大,需要的采集设备数量就越多)。在本实施例中采用8个(即4对)采集模组安装在动车检测棚内,轨道一边安装4个采集模组,设备布局如图2所示,显示了轨道左边的设备布局方式,右边的布局方式和左边一样。
[0049]
采集模组中包含有线阵相机和光源。采集模组安装在轨边并与轨边保持安全距,采集模组不能高于轨面高度,采集模组与轨道之间的角度大概在5度左右。
[0050]
根据轮子大小来设置采集模组之间的安装距离,比如采集动车轮对数据,采集模组之间距离约为800mm,如果是机车轮对,采集模组之间的距离约为1000mm。
[0051]
由于车轮图像采集设备固定成像的特点,将采集到的车轮图像按照采集设备的布局和拍摄顺序进行编号,通过tcp协议传输到服务器中进行存储,便于后续的图像处理和分析,采集到的原始图像如图3所示。
[0052]
步骤二、踏面区域提取。
[0053]
由于采用线阵相机获取车轮踏面图像,采集到的原始图像不但有踏面区域还有非踏面区域的干扰,故要对原始图像进行处理,提取车轮踏面区域。
[0054]
如图3所示,为图2中1号设备采集模组采集到的原始图像,记为img1。另,2号设备采集模组采集到的原始图像,记为img2,3号设备采集模组采集到的原始图像,记为img3,4号设备采集模组采集到的原始图像,记为img4。
[0055]
由于车轮踏面与相机之间的距离是变化的,距离近时踏面所占像素数较多,距离远时踏面所占像素数较少,故线阵相机采集到的踏面区域图像呈弧线形状,需要在踏面区域两侧各精确地找出至少三个点才能完成踏面区域边界的拟合,通过实验本发明在原始图像的首、尾及中间部分进行寻点,采用三级定位方法结合多项式拟合技术进行踏面区域图像的提取。
[0056]
首先,通过每个相机采集到的原始图像,确定踏面图像边界的初始位置。以提取踏面原始图像img1的左边边界为例,先在img1的顶部、中部和底部分别确定踏面边界的初始位置,分别记为pos_c1、pos_c2、pos_c3,有pos_c={pos_c1、pos_c2、pos_c3};
[0057]
其次,由于每一列车经过检测设备时会产生振动,导致相机采集到的踏面图像初始位置会发生轻微变化,故需要在初始位置pos_c的基础上进行范围的扩充,扩充范围记为range,然后在[pos_c-range,pos_c+range]的范围内进行踏面边界点的搜索,在本实施例中,range取值为400;
[0058]
最后,根据设置的条件及上述搜索范围精确定位踏面边界的位置,记为pos_j={pos_j1、pos_j2、pos_j3},具体地,以图像img1的顶部为例:
[0059]
(1)提取[pos_c1-range,pos_c1+range]范围内的图像,记为img1up;
[0060]
(2)对图像img1up进行对比度拉伸,使得踏面图像的边界更加明显,拉伸后的图像记为img1upc;
[0061]
(3)计算img1up的均值,记为meanup;
[0062]
(4)将图像img1up进行二值化处理,阈值为meanup,二值化后的图像记为img1upbw;
[0063]
(5)在[pos_c1-range,pos_c1+range]范围内,根据踏面图像边界梯度特征,只要图像img1upbw中有连续三个符合要求的点,即为所要计算的踏面边界点pos_j1,同理,按上述方法可计算出pos_j2,pos_j3;
[0064]
按照上述三级定位方法可精确计算出踏面边界点,该方法不但可以全局调整寻点范围,也可以局部调整寻点范围,适用性较高。最后采用多项式拟合技术对踏面边界点位置pos_j进行拟合,通过实验,在本实施例中选择二项式拟合即可计算得到的完整的踏面边界,记左边界为lb。同理,可计算出踏面的右边界,为为rb。通过踏面边界除去非踏面区域,即可提取出车轮的踏面区域图像,记为tread_img,如图4所示。
[0065]
步骤三、踏面图像校正。
[0066]
线阵相机在拍摄扫描过程中,由于车轮踏面与相机之间的距离是变化的,距离近时踏面所占像素数较多,距离远时踏面所占像素数较少,所以车轮踏面拍摄出来的图像呈弧线形状,需要校正成规则的长方形形状,便于后续图像处理。
[0067]
根据线阵相机的精度为s毫米/像素,车轮踏面实际物理宽度为w毫米,那么校正后的踏面宽度变为w=w/s像素,同理,车轮踏面采集长度为h毫米,可计算得到校正后的踏面高度为h=h/s像素。
[0068]
根据步骤二提取的踏面图像tread_img,记tread_img的横坐标为x,纵坐标为y,依次提取tread_img的每一行,按照公式(1)进行横坐标校正,并将其插值校正到w的宽度,那么处理后的图像就变换成长方形踏面图像,记校正后的图像为correct_img,correct_img的横坐标为x,纵坐标为y。
[0069][0070]
式(1)中,x为校正前图像坐标,x为校正后的图像坐标,x∈[1,w],。
[0071]
再对纵坐标进行校正,将纵坐标y按照公式y=c*y变换成y,y∈[1,h],c为校正系数(记校正前踏面图像tread_img的高度为h_t,校正后图像为correct_img的高度为h,那么校正系数c=h/h_t)。
[0072]
至此完成踏面图像的校正,记校正后的图像为correct_img,如图5所示为校正后进行90度旋转的图像。
[0073]
步骤四、踏面图像配准。
[0074]
由于采用多个线阵相机,其焦距相同且安装位置固定,故各位置的线阵相机所采集到的车轮踏面图像在世界坐标系中相对不变,相邻两组相机中只存在仿射变换且变换参数相对固定。本实施例通过样板轮进行标定配准,在样板轮上贴一圈带有刻度的黑白棋盘格,然后模拟实际过车状态在轨道上进行滚动,获取带有标记物的车轮踏面图像,作为标定配准的基准图,通过特征点提取和匹配可计算出各相邻相机之间的配准参数,后续过车数据将通过配准参数进行计算处理,获取配准后的踏面图像数据,记为reg_img。
[0075]
步骤五、亮度校正。
[0076]
采用多个线阵相机进行图像数据拼接,每个相机之间存在不同程度的亮度差异,导致拼接后的图像在视觉上看起来十分不自然,对后续的图像分析处理也存在干扰。为了解决此问题,本实施例将根据步骤四获取的配准参数,计算各相邻相机之间的重叠区域,通过重叠区域图像计算各踏面图像的亮度校正系数,将配准后的图像reg_img乘以各自的校
正系数,即可得到亮度校正后的踏面图像,记为lum_img。
[0077]
具体地,以相邻踏面图像img1与img2为例进行说明:
[0078]
(1)提取重叠区域图像。通过步骤四处理后的配准图像分别为reg_img1和reg_img2,可得reg_img1中重叠区域图像为r(1,2),reg_img2中重叠区域图像为r(2,1)。
[0079]
(2)按照公式(2)分别计算r(1,2)和r(2,1)的强度平均值i
ij
和i
ji
[0080][0081]
式(2)中,r、g和b分别表示彩色图像的红、绿和蓝分量的强度值,n
ij
表示重叠部分r(i,j)的像素数量。
[0082]
(3)按照亮度补偿误差函数e对校正系数g求导,并令导数为0,即可得到关于gi的线性方程组,再解算此方程组得到关于校正系数gi的值。
[0083][0084][0085]
式(3)中,σn和σg分别表示误差和增益的标准差,n表示参与计算的图像数目,在本实施例中,σn=100,σg=0.01,n=2。
[0086]
(4)对配准后的图像进行亮度校正,将reg_img1和reg_img2分别乘以校正系数g1和g2,即可得到亮度校正后的踏面图像,分别记为lum_img1和lum_img2,同理可计算其它相邻图像的亮度校正图。
[0087]
步骤六、踏面图像融合拼接。
[0088]
多个线阵相机采集踏面图像数据,各踏面图像之间会存在部分重叠区域,重叠区域的大小可通过步骤四计算出来。本实施例将在踏面图像lum_img的基础上对各相邻踏面图像的重叠区域进行融合,采用基于距离权重的线性融合方法,具体见公式(5)
[0089][0090]
公式(5)中,c表示融合之后的图像,a,b是待融合图像,width表示图像融合的宽度,i∈[1,width]表示当前的像素位置。
[0091]
从图6来看融合之后重叠区域自然过渡,视觉效果更佳。将融合之后各相邻踏面图像进行拼接,即可得到一幅完整的车轮踏面图像,如图6所示为4张原始图像经过处理后合成的全景踏面图像。
[0092]
本发明已以较佳实施例公开如上,但它们并不是用来限定本发明,任何熟悉此技艺这,在不脱离本发明之精神和范围内,自当可作各种变化或者润饰,因此本发明的保护范围应当以本发明的权利要求保护范围所界定的为准。

技术特征:
1.一种基于多线阵相机车轮踏面拼接方法,其特征在于,所述方法包括:图像采集;踏面区域提取:在踏面区域两侧各找出至少三个点才能完成踏面区域边界的拟合,在原始图像的首、尾及中间部分进行寻点,采用三级定位方法结合多项式拟合技术进行踏面区域图像的提取;踏面图像校正:根据线阵相机的精度为s毫米/像素,车轮踏面实际物理宽度为w毫米,那么校正后的踏面宽度变为w=w/s像素,同理可得到校正后的踏面高度为h像素;图像配准;亮度校正:根据图像配准的配准参数,计算各相邻相机之间的重叠区域,通过重叠区域图像计算各踏面图像的亮度校正系数,将配准后的图像乘以各自的校正系数,即可得到亮度校正后的踏面图像;图像融合拼接:在亮度校正后的踏面图像的基础上对各相邻踏面图像的重叠区域进行融合,采用基于距离权重的线性融合方法,融合之后重叠区域自然过渡,,融合之后将各相邻踏面图像进行拼接,即可得到一幅完整的车轮踏面图像。2.如权利要求1所述的一种基于多线阵相机车轮踏面拼接方法,其特征在于,所述踏面区域提取:首先,通过原始图像确定踏面图像边界的初始位置,以左边界为例,记为pos_c,包含顶部、中部和底部三个点,pos_c={pos_c1、pos_c2、pos_c3};右边界与左边界的处理方式相同;其次,在初始位置pos_c的基础上进行范围的扩充,扩充范围记为range,在[pos_c-range,pos_c+range]的范围内进行踏面边界点的搜索;最后,根据设置的条件及上述搜索范围确定踏面边界的位置,记为pos_j,通过多项式拟合技术对踏面边界点位置pos_j进行拟合,即可计算得到的完整的踏面边界,记左边界为lb,右边界为rb;通过踏面边界除去非踏面区域,那么就可以提取出车轮的踏面图像,记为tread_img。3.如权利要求2所述的一种基于多线阵相机车轮踏面拼接方法,其特征在于,所述pos_j:提取[pos_c-range,pos_c+range]范围内的图像,并进行对比度拉伸;统计对比度拉伸后的图像的直方图,获取自适应阈值;根据自适应阈值分割拉伸后的图像;统计图像中有连续三个符合要求的点,即为所要计算的踏面边界点pos_j。4.如权利要求2所述的一种基于多线阵相机车轮踏面拼接方法,其特征在于,所述踏面图像校正:根据步骤二提取的踏面区域图像tread_img,记tread_img的横坐标为x,纵坐标为y,依次提取tread_img的每一行,按照公式(1)进行横坐标校正,并将其校正到w的宽度,那么处理后的图像就变换成长方形踏面图像,记校正后的图像为correct_img,correct_img的横坐标为x,纵坐标为y,式(1)中,x为校正前图像坐标,x为校正后的图像坐标,x∈[1,w],;
再对纵坐标进行校正,将纵坐标y按照公式y=c*y变换成y,y∈[1,h],c为校正系数:记校正前踏面图像tread_img的高度为h_t,校正后图像为correct_img的高度为h,那么校正系数c=h/h_t;至此完成踏面图像的校正,记校正后的图像为所述correct_img。5.如权利要求1-4任意一项所述的一种基于多线阵相机车轮踏面拼接方法,其特征在于,所述亮度校正:以相邻踏面图像img1与img2为例进行说明:(1)提取重叠区域图像:通过所述图像配准处理后的配准图像分别为reg_img1和reg_img2,可得reg_img1中重叠区域图像为r(1,2),reg_img2中重叠区域图像为r(2,1);(2)按照公式(2)分别计算r(1,2)和r(2,1)的强度平均值i
ij
和i
ji
;式(2)中,r、g和b分别表示彩色图像的红、绿和蓝分量的强度值,n
ij
表示重叠部分r(i,j)的像素数量;(3)按照亮度补偿误差函数e对校正系数g求导,得式(4),并令导数为0,即可得到关于g
i
的线性方程组,再解算此方程组得到关于校正系数g
i
的值;的值;式(3)中,σ
n
和σ
g
分别表示误差和增益的标准差,n表示参与计算的图像数目;(4)对配准后的图像进行亮度校正,将reg_img1和reg_img2分别乘以校正系数g1和g2,即可得到亮度校正后的踏面图像,分别记为lum_img1和lum_img2,同理可计算其它相邻图像的亮度校正图。6.如权利要求1-4任意一项所述的一种基于多线阵相机车轮踏面拼接方法,其特征在于,所述踏面图像配准:通过样板轮进行标定配准,在样板轮上贴一圈带有刻度的黑白棋盘格,然后模拟实际过车状态在轨道上进行滚动,获取带有标记物的车轮踏面图像,作为标定配准的基准图,通过特征点提取和匹配可计算出各相邻相机之间的配准参数,后续过车数据将通过配准参数进行计算处理,获取配准后的踏面图像数据,记为reg_img。7.如权利要求1-4任意一项所述的一种基于多线阵相机车轮踏面拼接方法,其特征在于,所述踏面图像融合拼接:在亮度校正后的踏面图像lum_img的基础上对各相邻踏面图像的重叠区域进行融合,采用基于距离权重的线性融合方法,见公式(5)公式(5)中,c表示融合之后的图像,a,b是待融合图像,width表示图像融合的宽度,i∈[1,width]表示当前的像素位置。

技术总结
本发明公开了一种基于多线阵相机车轮踏面拼接方法,所述方法包括图像采集、踏面区域提取、图像校正、图像配准、亮度校正、图像融合拼接多个步骤。本发明的基于多线阵相机车轮踏面拼接方法,通过多个线阵相机扫描获取同一个列车车轮不同部分的踏面图像,采用基于三级定位的踏面图像提取技术,能够将同一车轮的多个线阵踏面图像自动、高效、稳定地合成一幅全景车轮踏面图像,利用亮度校正技术,使得拼接后的图像在视觉亮度上保持一致,生成的全景车轮踏面图像不但满足客户全方位查看列车车轮踏面状态的需求,也为后续实现车轮踏面缺陷分析报警提供数据支撑。报警提供数据支撑。


技术研发人员:郭其昌 梅劲松 吴松野 王干 李祥勇 董智源 张兆贵
受保护的技术使用者:南京拓控信息科技股份有限公司
技术研发日:2022.04.11
技术公布日:2022/7/5
转载请注明原文地址: https://www.8miu.com/read-7612.html

最新回复(0)