本公开的实施例涉及计算机，具体涉及基于机械臂的物品抓取方法、电子设备和可读介质。
背景技术：
1、随着机械制造数字化、智能化的发展，机器人、机械臂在生活中得到了广泛应用。基于机械臂的物品抓取，是利用机械臂在环境中抓取与物品查找信息对应的物品的一项技术。目前，在对物品进行抓取时，通常采用的方式为：根据采集的各个预设非重叠角度下的图像集匹配对应物品查找信息的物品所在的图像，根据物体所在的图像，对空间中的物体进行抓取。
2、然而，当采用上述方式抓取与物品查找信息对应的物品时，经常会存在如下技术问题：
3、第一，根据采集的各个预设非重叠角度下的图像集匹配对应物品查找信息的物品所在的图像，根据物体所在的图像，对空间中的物体进行抓取，如果物体查找信息对应的物体在非重叠角度下两张图像的边界区域中各占一部分，一张图像中可能只包含了物体的一部分图像特征信息，而缺失了另一部分的图像特征信息，增加了匹配的难度，可能会匹配不到与物品查找信息对应的物品所在的图像，导致机械臂抓取失败，需要重新采集图像集和重新抓取对应物品查找信息的物品，造成了计算机算力资源的浪费。
4、继续地，在采用技术方案来解决上述技术问题一的过程中，往往又会伴随着如下技术问题：在抓取查找物品之前，需要确定环境中的各个目标物体中每个目标物体所对应的目标物品截取图像。确定环境中的各个目标物体中每个目标物体所对应的目标物品截取图像的解决方案一般是：从每个目标物体对应的物品掩码图组中随机地选取一张物品掩码图，根据选取的物品掩码图以及与选取的物品掩码图对应的全景图像，生成目标物品截取图像。然而，上述常规解决方案从每个目标物体对应的物品掩码图组中随机地选取一张物品掩码图，根据选取的物品掩码图以及与选取的物品掩码图对应的全景图像，生成目标物品截取图像，依然存在如下问题：
5、第二，从每个目标物体对应的物品掩码图组中随机地选取一张物品掩码图，根据选取的物品掩码图以及与选取的物品掩码图对应的全景图像，生成目标物品截取图像。随机地选取一张物品掩码图并没有考虑目标物体在物品掩码图中的绝对面积以及物品占物品掩码图画面的面积，当目标物体在物品掩码图中的绝对面积较小，以及目标物品占物品掩码图画面的面积比例也较小时，生成的目标物品截图与物品查找信息的相似度可能较低而导致误匹配，进而增加了查找物品抓取失败的次数。
6、该背景技术部分中所公开的以上信息仅用于增强对本公开构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
2、本公开的一些实施例提出了基于机械臂的物品抓取方法、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。
3、第一方面，本公开的一些实施例提供了一种基于机械臂的物品抓取方法，该方法包括：控制装载深度摄像头的机械臂进行全旋转，以采集全景图像信息序列，其中，上述全景图像信息序列中的每个全景图像信息包括全景图像与像素点深度信息集，上述全景图像信息对应有机械臂末端坐标位姿信息，上述像素点深度信息集中的一个像素点深度信息与上述全景图像中的一个全景像素点对应；基于上述全景图像信息序列，生成对应上述全景图像信息序列的检测物品像素信息组序列，其中，上述检测物品像素信息组序列中的一个检测物品像素信息组与上述全景图像信息序列中的一个全景图像信息对应；对上述检测物品像素信息组序列进行目标跟踪处理，得到各个目标物品对应的各个追踪物品像素信息组，其中，上述各个追踪物品像素信息组中的每个追踪物品像素信息组对应一个目标物品标识；基于上述全景图像信息序列与上述检测物品像素信息组序列，生成物品掩码图组序列；获取机械臂末端与上述深度摄像头的外参信息；基于上述外参信息、上述各个追踪物品像素信息组和对应上述检测物品像素信息组序列的各个机械臂末端坐标位姿信息，生成上述各个目标物品在世界坐标系下的各个三维形心坐标信息；基于上述全景图像信息序列、上述物品掩码图组序列与上述各个追踪物品像素信息组，生成对应上述各个目标物品的各个目标物品截取图像，其中，上述各个目标物品截取图像中的每个目标物品截取图像对应一个目标物品标识；响应于接收到用户输入的物品查找信息，将上述物品查找信息与上述各个目标物品截取图像的各个相似度确定为各个查找相似度；基于上述各个查找相似度和上述各个三维形心坐标信息，控制上述机械臂抓取对应上述物品查找信息的查找物品。
4、第二方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
5、第三方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
6、本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的基于机械臂的物品抓取方法，减少了计算机算力资源的浪费。具体来说，造成计算机算力资源的浪费的原因在于：根据采集的各个预设非重叠角度下的图像集匹配对应物品查找信息的物品所在的图像，根据物体所在的图像，对空间中的物体进行抓取，如果物体查找信息对应的物体在非重叠角度下两张图像的边界区域中各占一部分，一张图像中可能只包含了物体的一部分图像特征信息，而缺失了另一部分的图像特征信息，增加了匹配的难度，可能会匹配不到与物品查找信息对应的物品所在的图像，导致机械臂抓取失败，需要重新采集图像集和重新抓取对应物品查找信息的物品，造成了计算机算力资源的浪费。基于此，本公开的一些实施例的基于机械臂的物品抓取方法，首先，控制装载深度摄像头的机械臂进行全旋转，以采集全景图像信息序列，其中，上述全景图像信息序列中的每个全景图像信息包括全景图像与像素点深度信息集，上述全景图像信息对应有机械臂末端坐标位姿信息，上述像素点深度信息集中的一个像素点深度信息与上述全景图像中的一个全景像素点对应。由此，可以采集表征存在重叠角度的全景图像信息序列。然后，基于上述全景图像信息序列，生成对应上述全景图像信息序列的检测物品像素信息组序列，其中，上述检测物品像素信息组序列中的一个检测物品像素信息组与上述全景图像信息序列中的一个全景图像信息对应。由此，可以得到全景图像信息序列中每个前景图像信息对应的检测物品像素信息组。上述检测物品像素信息组可以表示一个全景图像中的各个物品。接着，对上述检测物品像素信息组序列进行目标跟踪处理，得到各个目标物品对应的各个追踪物品像素信息组，其中，上述各个追踪物品像素信息组中的每个追踪物品像素信息组对应一个目标物品标识。由此，可以得到对应各个目标物品标识的各个追踪物品像素信息组。然后，基于上述全景图像信息序列与上述检测物品像素信息组序列，生成物品掩码图组序列。由此，可以得到用于生成各个三维形心坐标信息的物品掩码图组序列。之后，获取机械臂末端与上述深度摄像头的外参信息。由此，可以得到用于生成各个三维形心坐标信息的外参信息。接着，基于上述外参信息、上述各个追踪物品像素信息组和对应上述检测物品像素信息组序列的各个机械臂末端坐标位姿信息，生成上述各个目标物品在世界坐标系下的各个三维形心坐标信息。由此，可以生成环境中各个目标物体在世界坐标系下的各个三维形心坐标信息。基于上述全景图像信息序列、上述物品掩码图组序列与上述各个追踪物品像素信息组，生成对应上述各个目标物品的各个目标物品截取图像，其中，上述各个目标物品截取图像中的每个目标物品截取图像对应一个目标物品标识。由此，可以得到用于与物品查找信息匹配的各个目标物品截取图像。之后，响应于接收到用户输入的物品查找信息，将上述物品查找信息与上述各个目标物品截取图像的各个相似度确定为各个查找相似度。由此，可以得到用于抓取查找物品的各个相似度。基于上述各个查找相似度和上述各个三维形心坐标信息，控制上述机械臂抓取对应上述物品查找信息的查找物品。由此，可以利用机械臂抓取查找物品。也因为采用了通过控制装载深度摄像头的机械臂进行全旋转，采集表征存在重叠角度的全景图像信息序列。在全景图像信息序列、机械臂末端与上述深度摄像头的外参信息和各个机械臂末端坐标位姿信息的基础上生成了环境中各个目标物体在世界坐标系下的各个三维形心坐标信息。在全景图像信息序列的基础上生成了用于与物品查找信息匹配的各个目标物品截取图像。最后，在查找信息与各个目标物品截取图像的各个查找相似度和各个三维形心坐标信息的基础上控制机械臂抓取对应上述物品查找信息的查找物品。在全景图像信息序列的基础上生成了用于与物品查找信息匹配的各个目标物品截取图像，减少了匹配的难度，减少了机械臂抓取失败的概率，减少了重新采集图像集和重新抓取对应物品查找信息的物品的次数，减少了计算机算力资源的浪费。
1.一种基于机械臂的物品抓取方法，包括：
2.根据权利要求1所述的方法，其中，所述基于所述全景图像信息序列，生成对应所述全景图像信息序列的检测物品像素信息组序列，包括：
3.根据权利要求1所述的方法，其中，所述检测物品像素信息组序列中的每个检测物品像素信息包括各个像素点信息，所述各个像素点信息中的一个像素点信息对应像素点深度信息集中的一个像素点深度信息；以及所述基于所述全景图像信息序列与所述检测物品像素信息组序列，生成物品掩码图组序列，包括：
4.根据权利要求3所述的方法，其中，所述各个像素点信息中的每个像素点信息包括像素点位置信息和像素值信息，所述各个追踪物品像素信息组中的一个追踪物品像素信息与所述检测物品像素信息组序列中的一个检测物品像素信息对应；以及所述基于所述外参信息、所述各个追踪物品像素信息组和对应所述检测物品像素信息组序列的各个机械臂末端坐标位姿信息，生成所述各个目标物品在世界坐标系下的各个三维形心坐标信息，包括：
5.根据权利要求4所述的方法，其中，所述基于所述更新像素点位置信息、所述参考坐标位姿信息、所述外参信息，将所述更新像素点位置信息转换成所述更新像素点位置信息在世界坐标系下的位置信息作为空间像素点位置信息，包括：
6.根据权利要求4所述的方法，其中，所述基于所确定的各个初始形心坐标信息，生成对应所述目标物体的形心坐标信息，包括：
7.一种电子设备，包括：
8.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1至6中任一所述的方法。
