本发明涉及动态称重,尤其涉及一种基于路侧相机的车辆动态称重及多参量检测方法及系统。
背景技术:
1、随着交通行业的蓬勃发展,交通流量不断攀升,伴随而来的是车辆超载和超限运输问题的日益突出。当车辆超出荷载限制时,会对路面铺装和桥梁结构造成严重伤害,导致这些基础设施的病害发生率显著增加,从而大幅缩短了它们的使用寿命。传统的交通视频监控系统在捕捉车辆的外观特征和运动学信息方面表现出色,能够识别车型尺寸、速度以及进行轨迹跟踪,但它们却无法直接测量车辆的重量,在路侧相机视角下,车辆由远及近时局部特征变化剧烈,抓取的稳定特征容易丢失。
2、在现有的fbg阵列的车辆动态称重系统中,无法在复杂交通场景下对于多辆车同时称重,由于车辆识别能力不足,无法准确将车辆特征与车重信息进行准确匹配,导致无法全面监测道路交通,降低交通管理效率。
3、因此,寻找一种既能够对多辆车同时进行称重,又能够提高车辆动态称重准确性的方法,是本领域技术人员亟待解决的技术问题。
技术实现思路
1、有鉴于此,本发明提出了一种基于路侧相机的车辆动态称重及多参量检测方法及系统,其能够结合车辆动态称重系统获取的参数和交通检测网络提取的车辆特征信息,获得更加全面和精准的车辆参量,实现车辆动态参量的实时监测和分析,提高了车辆状态评估的准确性和可靠性。
2、本发明的技术方案是这样实现的:
3、一方面,本发明提供了一种基于路侧相机的车辆动态称重及多参量检测方法,包括以下步骤:
4、s1、在监测道路安装车辆动态称重系统,根据车辆动态称重系统获取车辆动态称重参数;
5、s2、构建并训练锁定车辆稳定特征的交通检测网络;交通检测网络包括特征提取模块、特征融合模块和特征锁定模块,其中特征锁定模块对融合特征进行检测和解析,并进行车辆特征锁定;
6、s3、获取监测道路上路侧相机捕获的车辆行驶实时动态画面,将车辆行驶实时动态画面输入至交通检测网络进行车辆特征锁定,得到车辆特征信息;
7、s4、根据车辆特征信息与车辆动态称重参数进行融合,得到车辆参量;所述车辆参量包括车型、车轴、车长、颜色特征、车辆重量数据。
8、在以上技术方案的基础上,优选的,所述交通检测网络为:
9、特征提取模块包括第一卷积层、第一特征池化单元和四个特征提取单元,四个特征提取单元分别为第一特征提取单元、第二特征提取单元、第三特征提取单元和第四特征提取单元,其中四个特征提取单元的结构相同,通道数不同;
10、特征融合模块包括第二特征池化单元和四个特征融合单元,四个特征融合单元分别为第一特征融合单元、第二特征融合单元、第三特征融合单元和第四特征融合单元;
11、特征锁定模块包括检测单元、解析单元和锁定单元,对融合特征进行检测并判断是否满足解析要求,若满足解析要求则进行车辆特征锁定。
12、在以上技术方案的基础上,优选的,所述特征提取单元包括五个卷积层和第一聚合层,五个卷积层分别为第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层,其中第二卷积层包括尺寸为3×3、步长为2的卷积核、relu激活函数层和批归一化层,第四卷积层和第五卷积层的尺寸不同,第六卷积层和第三卷积层的结构相同。
13、在以上技术方案的基础上,优选的,所述第一特征池化单元包括第七卷积层、2个最大池化层和第二聚合层,其中,第七卷积层的卷积核为1x1,步长为1,2个最大池化层包括第一最大池化层和第二最大池化层,第一最大池化层与第二聚合层之间跳跃连接,第一特征池化单元的池化操作为:
14、将特征提取单元的特征图输入至第七卷积层进行卷积操作,得到特征图y1;
15、将特征图y1输入至第一最大池化层进行第一次池化操作,得到特征图y2;
16、将特征图y2输入至第二最大池化层进行第二次池化操作,得到特征图y3;
17、将特征图y2和特征图y3输入至第二聚合层进行聚合,得到第一特征池化单元的特征图。
18、在以上技术方案的基础上,优选的,所述第二特征池化单元包括第八卷积层、2个最大池化层和第四聚合层,其中,第八卷积层的卷积核为1x1,步长为1,2个最大池化层包括第三最大池化层和第四最大池化层,第八卷积层和第三聚合层之间跳跃连接,第三最大池化层与第四聚合层之间跳跃连接,第四最大池化层与第三聚合层之间跳跃连接,,第二特征池化单元的池化操作为:
19、将第一特征池化单元的特征图输入至第八卷积层进行卷积操作,得到特征图x1;
20、将特征图x1输入至第三最大池化层进行第一次池化操作,得到特征图x2;
21、将特征图x2输入至第四最大池化层进行第二次池化操作,得到特征图x3;
22、将特征图x1、特征图x2和两个特征图x3输入至第四聚合层进行聚合,得到第二特征池化单元的特征图。
23、更进一步优选的,训练过程包括:
24、s21、获取监测道路上路侧相机捕获的车辆行驶动态视频序列,将所述车辆行驶动态视频序列进行抽帧得到视频图像序列,将视频图像序列依次输入至交通检测网络;
25、s22、利用特征提取模块对视频图像序列分别进行特征提取,得到五个不同尺度的特征序列{fi},i=1,2,3,4,5;
26、s23、利用特征融合模块对五个不同尺度的特征序列{fi}分别进行特征融合,得到融合特征序列{pj},j=1,2,3,4;
27、s24、利用特征锁定模块对融合特征序列{pj}进行解析和检测,检测单元对融合特征序列{pj}分别进行车辆特征检测,得到车辆特征序列,若车辆特征序列中的车辆特征满足解析模块的解析要求,则对车辆特征进行锁定,得到车辆特征信息。
28、在以上技术方案的基础上,优选的,步骤s22具体包括:
29、s221、使用第一卷积层对视频图像序列中的任一视频图像进行处理,得到特征图f1;
30、s222、将特征图f1输入至第一特征提取单元进行第一次特征提取,得到特征图f2;
31、s223、将特征图f2输入至第二特征提取单元进行第二次特征提取,得到特征图f2’;
32、s224、将特征图f2’输入至第一特征池化单元进行池化,得到特征图f3;
33、s225、将特征图f3输入至第三特征提取单元进行第三次特征提取,得到特征图f4;
34、s226、将特征图f4输入至第四特征提取单元进行第四次特征提取,得到特征图f5;
35、s227、重复步骤s221-s226直至视频图像序列中的所有视频图像均进行特征提取,得到五个不同尺度的特征序列{fi}。
36、在以上技术方案的基础上,优选的,步骤s23具体包括:
37、s231、将特征图序列{f5}中的任一特征图输入至第二特征池化单元进行池化操作,得到特征图fp;
38、s232、将特征图f4与特征图fp输入至第四特征融合单元进行第一次特征融合,得到特征图p1;
39、s233、将特征图p1与特征图f3输入至第三特征融合单元进行第二次特征融合,得到特征图p2;
40、s234、将特征图p2与特征图f2输入至第二特征融合单元进行第三次特征融合,得到特征图p3;
41、s235、将特征图p3与特征图f1输入至第一特征融合单元进行第四次特征融合,得到特征图p4;
42、s236、重复步骤s231-s235直至特征图序列{f5}中的所有特征图均进行特征融合,得到融合特征序列{pj}。
43、在以上技术方案的基础上,优选的,所述训练还包括:
44、以lvfl函数作为分类损失函数,以ldfl函数作为回归损失函数,构建交通检测网络的联合损失函数,联合损失函数的计算公式如下:
45、loss=α×lvfl+β×ldfl;
46、其中,α和β表示各损失函数的权重系数;
47、分类损失函数的计算公式如下:
48、
49、其中,p表示预测概率,q表示真实类别标签,是图像前景背景的损失权重,τ是各样本数据的权重;
50、回归损失函数的计算公式如下:
51、ldfl(si,si+1)=-((gi+1-g)log(si)+(g-gi)log(si+1));
52、
53、其中,si表示类别的预测概率,g表示真实值,gi和gi+1是真实值g左右两个预测值,i表示边界框的索引。
54、另一方面,本发明提供了一种基于路侧相机的车辆动态称重及多参量检测系统,采用上述所述的车辆动态称重及多参量检测方法,包括:
55、称重参数获取模块,其配置为在监测道路安装车辆动态称重系统,根据车辆动态称重系统获取车辆动态称重参数;
56、网络构建训练模块,其配置为构建并训练锁定车辆稳定特征的交通检测网络;
57、车辆特征获取模块,其配置为获取监测道路上路侧相机捕获的车辆行驶实时动态画面,将车辆行驶实时动态画面输入至交通检测网络锁定车辆特征,得到车辆特征信息;
58、多参数检测模块,其配置为根据车辆特征信息与车辆动态称重参数进行融合,得到车辆参量。
59、本发明的车辆动态称重及多参量检测方法相对于现有技术具有以下有益效果:
60、(1)通过将车辆行驶动态画面输入交通检测网络实现实时的车辆特征锁定和参量分析,得到车辆特征信息,结合车辆动态称重系统获取的参数和交通检测网络提取的车辆特征信息,获得更加全面和精准的车辆参量,实现了车辆动态参量的实时监测和分析,提高了车辆状态评估的准确性和可靠性;
61、(2)通过使用特征提取模块有效提取车辆图像的多维特征信息,同时4个不同通道的特征提取单元可以捕获车辆不同方面的特征,通过特征融合模块将特征提取模块输出的多维特征信息进行有效融合,利用特征锁定模块对融合后的车辆特征信息进行检测和判断,实现对车辆特征信息的有效锁定。
1.一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,包括以下步骤:
2.如权利要求1所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,所述交通检测网络为:
3.如权利要求2所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,所述特征提取单元包括五个卷积层和第一聚合层,五个卷积层分别为第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层,其中第二卷积层包括尺寸为3×3、步长为2的卷积核、relu激活函数层和批归一化层,第四卷积层和第五卷积层的尺寸不同,第六卷积层和第三卷积层的结构相同。
4.如权利要求3所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,所述第一特征池化单元包括第七卷积层、2个最大池化层和第二聚合层,其中,第七卷积层的卷积核为1x1,步长为1,2个最大池化层包括第一最大池化层和第二最大池化层,第一最大池化层与第二聚合层之间跳跃连接,第一特征池化单元的池化操作为:
5.如权利要求4所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,所述第二特征池化单元包括第八卷积层、2个最大池化层和第四聚合层,其中,第八卷积层的卷积核为1x1,步长为1,2个最大池化层包括第三最大池化层和第四最大池化层,第八卷积层和第三聚合层之间跳跃连接,第三最大池化层与第四聚合层之间跳跃连接,第四最大池化层与第三聚合层之间跳跃连接,第二特征池化单元的池化操作为:
6.如权利要求2所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,训练过程包括:
7.如权利要求6所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,步骤s22具体包括:
8.如权利要求7所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,步骤s23具体包括:
9.如权利要求1所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,所述训练还包括:
10.一种基于路侧相机的车辆动态称重及多参量检测系统,其特征在于,采用如权利要求1-9任一项所述的车辆动态称重及多参量检测方法,包括: