本公开涉及数字信号处理,更具体地,涉及一种多普勒速度场信息解算神经网络、装置及方法。
背景技术:
1、朝向或远离相机径向运动的物体会改变反射光的频率,影响光生电荷量的积分。利用调制光多普勒效应作为光电积分还原机理,通过正交频率解调可测量获得发射光与反射光之间的多普勒频移量。基于多普勒效应的速度场成像需要通过计算还原速度和方向信息,并抑制背景光干扰。因此,用于速度场成像的图像传感器需要配备专用的多普勒速度解算处理器。这类成像系统多用于机器视觉,其产生的速度场图像将输入边缘型智能视觉处理器进行神经网络计算并输出认知结果。
2、在实现本公开构思的过程中,发明人发现相关技术中至少存在如下缺陷:多普勒速度解算方法与神经网络计算在数据流和算子需求上具有较大差别,导致边缘型智能视觉处理器难以兼容两者。
技术实现思路
1、有鉴于此,本公开提供了一种多普勒速度场信息解算神经网络、装置及方法,通过采用神经网络结构的计算方式代替传统多普勒速度场解算的解算方法,以解决因传统多普勒速度场解算方法造成的速度场图像信号处理器专用性强、难以复用,且硬件开销大的问题。
2、本公开的第一个方面提供了一种多普勒速度场信息解算神经网络,神经网络的结构包括:多个具有特征与信息整合功能的基本模块,用于对来自速度场图像传感器的多普勒速度场原始成像数据进行解算处理,得到解算后的速度特征数据,每个基本模块包括多个用于视觉信息处理的神经网络计算层,其中,神经网络被配置为能够与其它用于视觉信息处理的神经网络进行级联。
3、根据本公开的实施例,多个神经网络计算层之间依次连接。
4、根据本公开的实施例,任意一个神经网络计算层能够跨过一个或多个神经网络计算层与其它神经网络计算层进行连接。
5、根据本公开的实施例,神经网络被配置为能够与视觉任务主干网络级联,形成级联神经网络,级联神经网络用于根据多普勒速度场原始成像数据进行视觉任务处理,输出认知结果。
6、根据本公开的实施例,视觉任务包括目标分类、目标检测、目标追踪和目标分割中的至少一个。
7、本公开的第二个方面提供了一种多普勒速度场信息解算装置,装置配置有上述的多普勒速度场信息解算神经网络。
8、本公开的第三个方面提供了一种多普勒速度场信息解算方法,包括:利用多普勒速度场信息解算装置,对来自速度场图像传感器的多普勒速度场原始成像数据进行解算处理,得到解算后的速度特征数据,其中,多普勒速度场信息解算装置内部配置有上述的多普勒速度场信息解算神经网络。
9、根据本公开的实施例,神经网络被配置为能够与视觉任务主干网络级联,形成级联神经网络,级联神经网络用于根据多普勒速度场原始成像数据进行视觉任务处理,输出认知结果,其中,级联神经网络的训练方法包括:收集利用传统计算视觉方法获得的多普勒速度场解算后复原图像,以获得训练标签;将训练标签输入级联神经网络进行训练,并获得级联神经网络的输出;当级联神经网络的输出与真实的多普勒速度场解算后复原图像之间的误差大于规定阈值时,将误差沿训练路径进行反向传播并更新级联神经网络的权重,直至级联神经网络的输出与真实的多普勒速度场解算后复原图像之间的误差小于等于规定阈值。
10、根据本公开的实施例,收集利用传统计算视觉方法获得的多普勒速度场解算后复原图像,以获得训练标签包括:根据多普勒速度场解算后复原图像,计算每个像素获取的速度信息;根据速度信息,生成训练标签。
11、根据本公开的实施例,速度信息的计算方式为:
12、
13、
14、其中,v表示速度信息,c表示光速,δf表示发射光与反射光之间的多普勒频移量,f1表示低频采样频率,f2表示高频采样频率,a0、a1、a2和a3表示速度场图像传感器输出的四相采样数据。
15、与现有技术相比,本公开提供的多普勒速度场信息解算神经网络、装置及方法,至少具有以下有益效果:
16、(1)本公开提供的多普勒速度场信息解算神经网络、装置及方法,通过采用神经网络结构的计算方式代替传统多普勒速度场解算的解算方法,并能够实现相同的解算效果,以兼容支持神经网络计算的面向边缘型智能视觉处理器,避免使用专用的多普勒速度解算处理器,提高系统硬件复用率。
17、(2)本公开提供的多普勒速度场信息解算神经网络、装置及方法,可部署于边缘视觉处理器中的具有神经网络处理功能的计算硬件,避免使用定制化、专用性强的图像信号处理器,降低硬件开销。
1.一种多普勒速度场信息解算神经网络,其特征在于,所述神经网络的结构包括:
2.根据权利要求1所述的神经网络,其特征在于,多个神经网络计算层之间依次连接。
3.根据权利要求2所述的神经网络,其特征在于,任意一个神经网络计算层能够跨过一个或多个神经网络计算层与其它神经网络计算层进行连接。
4.根据权利要求2或3所述的神经网络,其特征在于,所述神经网络被配置为能够与视觉任务主干网络级联,形成级联神经网络,所述级联神经网络用于根据所述多普勒速度场原始成像数据进行视觉任务处理,输出认知结果。
5.根据权利要求4所述的神经网络,其特征在于,所述视觉任务包括目标分类、目标检测、目标追踪和目标分割中的至少一个。
6.一种多普勒速度场信息解算装置,其特征在于,所述装置配置有如权利要求1~5任一项所述的多普勒速度场信息解算神经网络。
7.一种多普勒速度场信息解算方法,其特征在于,包括:
8.根据权利要求7所述的方法,其特征在于,所述神经网络被配置为能够与视觉任务主干网络级联,形成级联神经网络,所述级联神经网络用于根据所述多普勒速度场原始成像数据进行视觉任务处理,输出认知结果,其中,所述级联神经网络的训练方法包括:
9.根据权利要求8所述的方法,其特征在于,所述收集利用传统计算视觉方法获得的多普勒速度场解算后复原图像,以获得训练标签包括:
10.根据权利要求9所述的方法,其特征在于,所述速度信息的计算方式为: