本发明涉及快递分拣,具体而言,涉及一种快递分拣方法及装置。
背景技术:
1、随着网购用户的日益增多,快递物流行业为用户提供了很大便利。目前在快递行业中,快递的条码识别,不同目的地快递的分流都已经实现了自动化,形成了一条效率较高且成熟的产业链。
2、但在对快递的条形码识别之前,仍然需要人工将散落的无序堆叠的快递放到传输线上。不仅人工成本高,而且人工分拣快递导致分拣的效率达到不到要求。
3、目前,解决人工分拣满、成本高的方式一般是使用机械臂代替人工,通过rgbd(即结合rgb(红绿蓝)彩色图像和深度信息的相机)相机识别无序堆叠的快递,使用图像识别技术进行快递识别。通过rgbd相机的深度图提取无序堆叠的所有快递的点云,对所有快递点云进行编序,通过人工设计分拣逻辑选择适合机械臂抓取的目标快递序号,并对目标快递点云进行平面分割,计算平面的位姿,最终引导机械臂进行抓取。该方法存在逻辑耗时长,逻辑通用性差,快递分割平面难度大,分割不准确的问题,最终导致机械臂达到的位置出现偏移,影响分拣的效率。
4、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本发明实施例提供了一种快递分拣方法及装置,以至少解决相关技术中用于识别无序堆叠的快递的方式存在快递分割平面分割不准确,导致用于进行快递分拣的机械臂的分拣可靠性较低的技术问题。
2、根据本发明实施例的一个方面,提供了一种快递分拣方法,包括:获取目标快递堆叠场景中的目标快递图像,其中,所述目标快递堆叠场景是多个快递堆叠在一起形成的场景,所述多个快递是需要进行分拣的快递,所述目标快递图像是目标快递的图像,所述目标快递是所述多个快递中当前需要进行分拣的快递;将所述目标快递图像输入至位姿预测模型中,以利用所述位姿预测模型对所述目标快递图像进行特征提取,以得到所述目标快递的目标快递点云数据,其中,所述位姿预测模型是使用多组训练数据通过机器学习预先训练得到的模型,所述多组训练数据中的每一组均包括:样本快递图像和与所述样本快递图像对应的位姿预测结果;在所述位姿预测模型中对所述目标快递点云数据进行处理,得到所述目标快递的位姿预测结果;根据所述位姿预测结果控制快递分拣部件对所述目标快递进行分拣。
3、可选地,获取目标快递堆叠场景中的目标快递图像,包括:在接收到快递分拣指令后,根据所述快递分拣指令确定当前需要进行分拣的所述目标快递;触发所述目标快递堆叠场景的预定范围内设置的图像采集部件对所述目标快递图像采集,得到所述目标快递图像。
4、可选地,在将所述目标快递图像输入至位姿预测模型中,以利用所述位姿预测模型对所述目标快递图像进行特征提取,以得到所述目标快递的目标快递点云数据之前,该快递分拣方法,还包括:确定样本快递堆叠场景,其中,所述样本快递堆叠场景是所述多组训练数据的数据获取对象;获取各所述样本快递堆叠场景下的样本快递图像和所述样本快递图像对应的样本位姿预测结果;对包括所述样本快递图像和所述样本位姿预测结果的所述多组训练数据进行训练,得到所述位姿预测模型。
5、可选地,获取各所述样本快递堆叠场景下的样本快递图像和所述样本快递图像对应的样本位姿预测结果,包括:利用各所述样本快递场景的预定范围内的图像采集部件采集各所述样本快递场景的样本彩色图像和所述样本彩色图像对应的样本深度图像;根据所述样本彩色图像得到各所述样本快递场景中的样本快递的快递掩膜;通过所述快递掩膜和所述样本彩色图像得到所述快递掩膜映射到的样本三维点云数据;为各所述样本三维点云数据分配样本快递标签,其中,所述样本快递标签是所有所述样本快递中最适合抓取的样本快递的标签和所述最适合抓取的样本快递的真实位姿;根据所述样本快递标签得到所述样本位姿预测结果。
6、可选地,将所述目标快递图像输入至位姿预测模型中,以利用所述位姿预测模型对所述目标快递图像进行特征提取,以得到所述目标快递的目标快递点云数据,包括:在所述位姿预测模型中对所述目标快递图像进行特征提取,得到所述目标快递的初始快递点云数据;对所述初始快递点云数据进行特征融合得到512维度的第一快递点云数据;对所述第一快递点云数据进行线性层降维处理,得到256维度的第二快递点云数据;对所述第二快递点云数据进行复制,得到复制后的所述第二快递点云数据;将复制后的所述第二快递点云数据进行拆分,得到两个所述第二快递点云数据;将两个所述第一快递点云数据中的一个进行线性层降维处理得到100维度的第三快递点云数据,并将两个所述第一快递点云数据中的另外一个进行线性层降维处理得到128维度的第四快递点云数据;确定所述第三快递点云数据和所述第四快递点云数据为所述目标快递点云数据。
7、可选地,在所述位姿预测模型中对所述目标快递点云数据进行处理,得到所述目标快递的位姿预测结果,包括:对所述第三快递点云数据进行处理,得到所述第三快递点云数据的分布概率;对所述第四快递点云数据进行处理,得到6维度的第五快递点云数据;根据所述分布概率得到所述目标快递的目标快递标签;根据所述第五快递点云数据的前3维得到所述目标快递相对于所述快递分拣部件的三维坐标信息,并根据所述第五快递点云数据的后3维得到所述目标快递相对于所述快递分拣部件的欧拉角;根据所述三维坐标信息和所述欧拉角得到所述目标快递的所述位姿预测结果。
8、可选地,根据所述位姿预测结果控制快递分拣部件对所述目标快递进行分拣,包括:根据所述位姿预测结果生成控制指令;将所述控制指令发送至所述快递分拣部件,以利用所述快递分拣部件按照所述控制指令对所述目标快递进行分拣。
9、根据本发明实施例的另一方面,还提供了一种快递分拣装置,包括:第一获取模块,用于获取目标快递堆叠场景中的目标快递图像,其中,所述目标快递堆叠场景是多个快递堆叠在一起形成的场景,所述多个快递是需要进行分拣的快递,所述目标快递图像是目标快递的图像,所述目标快递是所述多个快递中当前需要进行分拣的快递;第一处理模块,用于将所述目标快递图像输入至位姿预测模型中,以利用所述位姿预测模型对所述目标快递图像进行特征提取,以得到所述目标快递的目标快递点云数据,其中,所述位姿预测模型是使用多组训练数据通过机器学习预先训练得到的模型,所述多组训练数据中的每一组均包括:样本快递图像和与所述样本快递图像对应的位姿预测结果;第二处理模块,用于在所述位姿预测模型中对所述目标快递点云数据进行处理,得到所述目标快递的位姿预测结果;分拣模块,用于根据所述位姿预测结果控制快递分拣部件对所述目标快递进行分拣。
10、可选地,所述第一获取模块,包括:第一确定单元,用于在接收到快递分拣指令后,根据所述快递分拣指令确定当前需要进行分拣的所述目标快递;第一处理单元,用于触发所述目标快递堆叠场景的预定范围内设置的图像采集部件对所述目标快递图像采集,得到所述目标快递图像。
11、可选地,该快递分拣装置,还包括:确定模块,用于在将所述目标快递图像输入至位姿预测模型中,以利用所述位姿预测模型对所述目标快递图像进行特征提取,以得到所述目标快递的目标快递点云数据之前确定样本快递堆叠场景,其中,所述样本快递堆叠场景是所述多组训练数据的数据获取对象;第二获取模块,用于获取各所述样本快递堆叠场景下的样本快递图像和所述样本快递图像对应的样本位姿预测结果;训练模块,用于对包括所述样本快递图像和所述样本位姿预测结果的所述多组训练数据进行训练,得到所述位姿预测模型。
12、可选地,所述第二获取模块,包括:采集单元,用于利用各所述样本快递场景的预定范围内的图像采集部件采集各所述样本快递场景的样本彩色图像和所述样本彩色图像对应的样本深度图像;第一获取单元,用于根据所述样本彩色图像得到各所述样本快递场景中的样本快递的快递掩膜;第二获取单元,用于通过所述快递掩膜和所述样本彩色图像得到所述快递掩膜映射到的样本三维点云数据;分配单元,用于为各所述样本三维点云数据分配样本快递标签,其中,所述样本快递标签是所有所述样本快递中最适合抓取的样本快递的标签和所述最适合抓取的样本快递的真实位姿;第三获取单元,用于根据所述样本快递标签得到所述样本位姿预测结果。
13、可选地,所述第一处理模块,包括:特征提取单元,用于在所述位姿预测模型中对所述目标快递图像进行特征提取,得到所述目标快递的初始快递点云数据;特征融合单元,用于对所述初始快递点云数据进行特征融合得到512维度的第一快递点云数据;第二处理单元,用于对所述第一快递点云数据进行线性层降维处理,得到256维度的第二快递点云数据;复制单元,用于对所述第二快递点云数据进行复制,得到复制后的所述第二快递点云数据;拆分单元,用于将复制后的所述第二快递点云数据进行拆分,得到两个所述第二快递点云数据;第三处理单元,用于将两个所述第一快递点云数据中的一个进行线性层降维处理得到100维度的第三快递点云数据,并将两个所述第一快递点云数据中的另外一个进行线性层降维处理得到128维度的第四快递点云数据;确定单元,用于确定所述第三快递点云数据和所述第四快递点云数据为所述目标快递点云数据。
14、可选地,所述第二处理模块,包括:第四处理单元,用于对所述第三快递点云数据进行处理,得到所述第三快递点云数据的分布概率;第五处理单元,用于对所述第四快递点云数据进行处理,得到6维度的第五快递点云数据;第四获取单元,用于根据所述分布概率得到所述目标快递的目标快递标签;第五获取单元,用于根据所述第五快递点云数据的前3维得到所述目标快递相对于所述快递分拣部件的三维坐标信息,并根据所述第五快递点云数据的后3维得到所述目标快递相对于所述快递分拣部件的欧拉角;第六获取单元,用于根据所述三维坐标信息和所述欧拉角得到所述目标快递的所述位姿预测结果。
15、可选地,所述分拣模块,包括:生成单元,用于根据所述位姿预测结果生成控制指令;第六处理单元,用于将所述控制指令发送至所述快递分拣部件,以利用所述快递分拣部件按照所述控制指令对所述目标快递进行分拣。
16、根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,所述程序执行上述中任意一项所述的快递分拣方法。
17、根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的快递分拣方法。
18、根据本发明实施例的另一方面,还提供了一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时执行上述中任意一项所述的快递分拣方法。
19、在本发明实施例中,获取目标快递堆叠场景中的目标快递图像,其中,目标快递堆叠场景是多个快递堆叠在一起形成的场景,多个快递是需要进行分拣的快递,目标快递图像是目标快递的图像,目标快递是多个快递中当前需要进行分拣的快递;将目标快递图像输入至位姿预测模型中,以利用位姿预测模型对目标快递图像进行特征提取,以得到目标快递的目标快递点云数据,其中,位姿预测模型是使用多组训练数据通过机器学习预先训练得到的模型,多组训练数据中的每一组均包括:样本快递图像和与样本快递图像对应的位姿预测结果;在位姿预测模型中对目标快递点云数据进行处理,得到目标快递的位姿预测结果;根据位姿预测结果控制快递分拣部件对目标快递进行分拣。通过本发明提供的技术方案,达到了设计可以包括多个数据与标签的全新数据集,并利用点云特征提取方法对不同快递的点云进行特征提取,同时,通过位姿预测神经网络模型posenet,对不同快递的点云的特征进行融合,输入多个候选目标的点云,最终由位姿预测模块输出目标快递的id与位姿的目的,从而实现了代替人工逻辑与位姿计算,输入通过rgbd相机的深度图提取的所有快递点云,由神经网络直接输出目标快递的序号与目标快递的位姿的技术效果,提高了快递分拣的准确性与可靠性,进而解决了相关技术中用于识别无序堆叠的快递的方式存在快递分割平面分割不准确,导致用于进行快递分拣的机械臂的分拣可靠性较低的技术问题。
1.一种快递分拣方法,其特征在于,包括:
2.根据权利要求1所述的快递分拣方法,其特征在于,获取目标快递堆叠场景中的目标快递图像,包括:
3.根据权利要求1所述的快递分拣方法,其特征在于,在将所述目标快递图像输入至位姿预测模型中,以利用所述位姿预测模型对所述目标快递图像进行特征提取,以得到所述目标快递的目标快递点云数据之前,还包括:
4.根据权利要求3所述的快递分拣方法,其特征在于,获取各所述样本快递堆叠场景下的样本快递图像和所述样本快递图像对应的样本位姿预测结果,包括:
5.根据权利要求1所述的快递分拣方法,其特征在于,将所述目标快递图像输入至位姿预测模型中,以利用所述位姿预测模型对所述目标快递图像进行特征提取,以得到所述目标快递的目标快递点云数据,包括:
6.根据权利要求1所述的快递分拣方法,其特征在于,在所述位姿预测模型中对所述目标快递点云数据进行处理,得到所述目标快递的位姿预测结果,包括:
7.根据权利要求1至6中任一项所述的快递分拣方法,其特征在于,根据所述位姿预测结果控制快递分拣部件对所述目标快递进行分拣,包括:
8.一种快递分拣装置,其特征在于,包括:
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,所述程序执行权利要求1至7中任意一项所述的快递分拣方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的快递分拣方法。
11.一种计算机程序产品,包括计算机指令,其特征在于,所述计算机指令被处理器执行时执行权利要求1至7中任意一项所述的快递分拣方法。