1.本发明涉及多模态融合和机器人抓取的技术领域，具体地，涉及基于视触融合的机器人及其抓取系统和方法，尤其涉及一种基于视触融合的机器人抓取系统及方法。
背景技术：2.随着人工智能技术的发展，智能机器人也开始逐步进入大众视野。一直以来，人们都希望机器人能真正的像人一样能和环境进行交互，因此，机器人的对外界环境的感知就成了智能机器人领域的热点问题。近几年来，得益于计算机视觉和自然语言技术的飞速发展，机器人在处理视觉，听觉和文本信息这几类问题都取得了很大的进步。目标检测，人脸识别，语音导航等任务在已经在机器人得到了充分地运用。但是，在机器人触觉领域，目前的研究确少之又少，一方面是因为触觉信息在整个机器人对外界环境的感知中只占了比较少的一部分，触觉信息在大部分机器人的操作中并不是必须的，另一方面也和触觉信息自身数据结构有关，传统的触觉传感器大部分是采用电信号作为输出，这使得整个机器人操作的过程中不便于处理。
3.作为机器人末端操作的关键性问题，机器人抓取任务就和机器人触觉感知密切相关。最开始的机器人抓取任务中，对于物体的抓取完全是通过固定的指令控制机器人手末端，以固定的方式抓取物体。但是这种方式很明显忽略了抓取过程中物体的状态信息和物体本身的材质信息，由于不同物体材质不同，有的物体材质坚硬，有的物体材质柔软，如果在抓取的时候都采用相同的力，可能会导致物体损坏，并且，物体在被抓取的过程中，其是否滑动是我们最为关注的，利用物体在抓取过程中的是否滑动的状态信息对机器手末端进行控制，能够保证整个过程抓取过程的稳定性。随着机器人感知技术的发展，触觉信息开始被用于机器人抓取任务之中，用于感知抓取过程中机器手和物体之间的压力变化，但之前的触觉传感器大都是压电传感器，压电传感器通过感受接触面的形变将压力信号转变为电信号，通过电信号进一步对机器手末端进行控制。但电信号的在抓取过程中的处理需要经过一系列的转换，这对控制机器手进行实时的调整又是不利的。
4.最近几年，多模态融合技术在迅速发。不同模态信息之间存在着信息的互补，在各种任务中利用不同模态信息相互融合，可能会取得比单独利用某个模态信息更好的效果。由此自然想到将视觉信息引入机器人抓取任务中，视觉模态提供抓取过程中物体外部整体图像信息，触觉模态提供抓取过程中机器人和物体接触面的局部信息，进一步通过神经网络实现两个模态信息的融合，利用融合的信息实现机器人对物体的稳定抓取。
5.在公开号为cn113696186a的专利文献中公开了复杂的环境条件下，基于视触融合的机械臂自主移动抓取方法，主要包括对目标位置的趋近控制和对环境信息的反馈控制。可见光与深度图像基于深度网络完成对目标的识别定位，并调整移动机械不断趋近目标物体；根据传感器模块与外界环境及目标物体的接触力信息，调整机械臂位姿；同时选取目标物体的最佳位姿与合适的抓取力大小，有效防止了机械臂的碰撞损害与失稳，并且减少了被抓物体的严重形变。
技术实现要素：6.针对现有技术中的缺陷，本发明的目的是提供一种基于视触融合的机器人及其抓取系统和方法。
7.根据本发明提供的一种基于视触融合的机器人抓取系统，包括：机器人灵巧手平台，触觉传感器，外部视觉相机，内部计算单元；
8.所述机器人灵巧手平台与所述触觉传感器和所述外部视觉相机相连接；所述触觉传感器和所述外部视觉相机获取视觉信息和触觉信息，所述视觉信息和所述触觉信息相融合并进入内部计算单元，预测出机器人灵巧手平台抓取过程中物体滑动的概率。
9.优选地，所述机器人灵巧手平台包括机器人机械臂和机械灵巧手，所述机械灵巧手安装在所述机器人机械臂的末端，对物体进行抓取。
10.优选地，所述机器人机械臂的自由度至少为6个，所述机械灵巧手的自由度至少为3个。
11.优选地，所述外部视觉相机包括usb外部摄像机，所述usb外部摄像机安装在机器人机械臂末端和机械灵巧手的上方，所述usb外部摄像机获取视觉信息，并通过usb端口将视觉信息送入内部计算单元。
12.优选地，所述触觉传感器黄与机械灵巧手的内侧，所述触觉传感器采用基于光学信号的触觉传感器，基于光学信号的触觉传感器直接输出阵列信息，利用卷积神经网络提取特征。
13.本发明还提供一种基于视触融合的机器人抓取方法，所述方法应用上述中的基于视触融合的机器人抓取系统，所述方法包括如下步骤：
14.步骤s1：获取网络训练数据；
15.步骤s2：训练网络数据；
16.步骤s3：利用抓取过程中物体的滑动概率进行反馈控制。
17.优选地，所述步骤s1中的整个网络模型首先需要通过训练，训练数据来自于多次抓取实验，通过在多个常见物体进行多次抓取实验，usb外部摄像机和触觉传感器分别获得抓取过程重点的视觉图像和触觉图像，手动标记抓取过程中物体的状态信息，获得整个网络的训练数据。
18.优选地，所述步骤s2由步骤s1获取的视觉图像和触觉图像经过预处理之后分别送入卷积神经网络提取图像特征，预处理先要将图像的归一化，之后通过随机翻转，平移等数据增强操作，最后需要将图像裁剪到网络指定的输入大小，采用transformer作为融合特征的训练网络，在transformer网络之后，经过一个全连接层，全连接层的输出通过softmax函数，预测输出物体滑动的概率。
19.优选地，所述步骤s3在抓取过程中，usb外部摄像机获得视觉图像和触觉传感器获得的触觉图像分别送入步骤s2所训练好的模型之中，得到当下物体滑动的概率，以该概率作为控制信号，调整末端灵巧手对物体的抓握的控制。
20.本发明还提供一种机器人，所述机器人使用上述中的基于视触融合的机器人抓取系统。
21.与现有技术相比，本发明具有如下的有益效果：
22.1、本发明在抓取过程中，引入视觉图像信息作为辅助，通过视觉和触觉信息的融
合，比传统指利用触觉信息的机器人抓取更加准确；
23.2、本发明对物体抓取过程中物体滑动概率的预测采用了深度神经网络端到端的方式，不需要对于触觉模态信息进行大量的处理，更加简单高效；
24.3、本发明神经网络对于信息处理更快，通过神经网络预测抓取过程中物体的滑动概率，进而控制机器人灵巧手的抓握姿态，提高了整个机器人抓取的过程的实时性。
附图说明
25.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
26.图1为本发明的系统示意图；
27.图2为本发明的主要装置安装示意图；
28.图3为本发明的预测滑动概率的算法流程图；
29.图4为本发明采用的vgg-16网络结构图。
具体实施方式
30.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
31.针对现有的机器人抓取过程中的缺陷，本发明的目的是提供一种基于视触融合的机器人及其抓取系统和方法，用于实现机器人灵活高效的抓取。如图1所示，该机器人系统的主要部分有机器人灵巧手平台，触觉传感器，外部视觉相机，内部计算单元。机器人灵巧手平台包括机器人机械臂和机械灵巧手、外部视觉相机包括usb外部摄像机。
32.该方法是在抓机器人抓取过程中，视觉信息和触觉信息融合之后的产生的特征信息被送入神经网络，预测出抓取过程中物体滑动的概率。其中，视觉信息是由安装在机器人灵巧手上的usb外部摄像机获得，触觉信息由安装在机器人灵巧手内测的触觉传感器获得。
33.机器人机械臂要求的自由度至少为6个，可以采用市面上常见的具有六自由度的消费级别的ur5机械臂。机械灵巧手要求的自由度至少为3个，可以采用具有六自由度灵巧手eagle shoal。其中，机械灵巧手安装在所述机器人机器臂的末端，可以实现日常大部分常见物体的抓取。
34.usb外部摄像机安装在机器人机械臂末端和机械灵巧手的上方，在抓取过程中，可以实时拍摄所抓取物体的图像，然后通过usb端口将图像送入计算单元，外部视觉相机可以直接采用能够获取视觉图像的普通网络摄像机。
35.触觉传感器安装于机械灵巧手的内侧，用于获得物体抓取过程中的接触点的各种信息。需要特别指出的是，在本发明中采用的触觉传感器是基于光学特性的触觉传感器，通过感受接触物体表面的形变输出高分辨率的触觉图像。该触觉图像和视觉图像数据结构相似，都是数字矩阵，因此可以利用卷积神经网络进行处理，提取触觉信息特征，基于光学信号的触觉传感器可以直接输出阵列信息，方便之后利用卷积神经网络提取特征。目前，该类触觉传感器包括但不限于gelsight传感器，omnitact传感器等，触觉传感器采用基于光学
信号的gel sight传感器。gel sight触觉传感器通过感受接触物体表面的形变直接输出光学阵列信息，使得触觉模态信息与视觉模态信息有相同的结构形式，更加容易处理。
36.本发明实施例还公开了一种基于视触融合的机器人抓取方法，主要过程在于，视觉相机获取视觉图像和触觉传感器获得的触觉图像分别送入卷积神经网络提取特征，两个模态的特征信息融合之后送入transfomer网络，预测输出当前的状态，即滑动的概率，根据滑动的概率对灵巧手和机械臂进行控制，实现机器人对于物体的稳定性抓取。
37.模型建立：
38.自行进行多次抓取实验，同时记录抓取过程中视觉相机的图像信息i和触觉传感器的触觉信息t，并且观察抓取过程中物体的状态并且做好标注。将获取到图像信息先进行一定的预处理。预处理先要将图像的归一化，之后通过随机翻转，平移等数据增强操作，最后需要将图像裁剪到网络指定的输入大小，并且将图像信息i和触觉信息t分别放入与训练好的卷积神经网络(如vgg，resnet，googlenet等)提取特征，得到特征feauter1和feature2。所获得的两个特征进行特征融合，之后再一起作为新的输入送入transformer网络。通过训练，网络可以预测出当前物体滑动的一个概率。将网络预测的物体滑动概率用作反馈控制信号输入到机械灵巧手，机械手通过改变手指相应的抓握力度和与物体的接触面积，实时地对抓取过程进行调整，从而使得物体抓取过程稳定。
39.具体来说，整个过程有以下步骤：
40.步骤s1：获取网络训练数据。整个网络模型首先需要通过训练才能用于实际运用，训练数据来自于多次抓取实验。通过在多个常见物体进行多次抓取实验，usb外部摄像机和触觉传感器分别获得抓取过程重点的视觉图像和触觉图像，同时，手动标记抓取过程中物体的状态信息。从而获得整个网络的训练数据。特别地，抓取过程中物体的状态有成功抓到物体并且过程中有滑动，但物体没有掉落；成功抓到物体但过程中物体掉落；没有抓到物体。将对应的状态运用独热编码，作为训练数据的标签。
41.步骤s2：训练网络数据。由步骤s1获取的视觉图像和触觉图像经过预处理之后分别送入卷积神经网络提取图像特征。预处理先要将图像的归一化，之后通过随机翻转，平移等数据增强操作，最后需要将图像裁剪到网络指定的输入大小。在本实施例中，采用的卷积神经网络包括但不限于预训练好的提取图像特征的卷积神经网络，比如vgg-16,resnet,dense net等。在本实施例中，采用vgg-16网络作为特征提取网络。vgg-16网络由13个卷积层和3个全连接层组成，每个卷积层中采用3x3的卷积核，第2，第4，第7，第10和第13个卷积层之后都由一个池化层，用于减小特征图的大小，之后连续三层为全连接层，最后一层为softmax函数的输出层。具体实施过程中，摒弃vgg-16最后的输出层和所有全连接层，其他网络层全部保留用于提取视觉图像和触觉图像的特征，将提取的视觉特征和触觉特征分别记为f
img
和f
tac
，之后将两个特征进行特征融合，获得融合特征向量f
mix
。即融合的特征向量用下面的公式表示：
[0042][0043]
特别的，本发明网络结构中的特征融合(上述等式中的)指的特征向量的连接，即直接将触觉特征向量连接到视觉特征向量特征之上，形成新的融合特征向量。
[0044]
由于整个抓取过程为一个时序过程，一般处理时序序列问题都会采用lstm网络，即长短时记忆模型。本发明提出的方法采用transformer网络替代lstm网络。transformer
是2017年提出的可用于处理时序系列问题的网络模型，与lstm模型相比，transformer主要的特点是运用了自我注意力机制来捕捉全局的上下文关系，从而建立对于远距离的依赖，以此来提取更强有力的特征。并且，由于transformer的对于时间片t的计算并不依赖t-1时刻的计算，其每个时刻的计算都运用了全局的信息，因此，transformer具有更高的模型并行能力，比lstm模型的速度更快，因此，采用transformer作为融合特征的训练网络。在transformer网络之后，会再经过一个全连接层，全连接层的输出通过softmax函数，就能预测输出物体滑动的概率。
[0045]
步骤s3：利用抓取过程中物体的滑动概率进行反馈控制。抓取过程中，usb外部摄像机获得视觉图像和触觉传感器获得的触觉图像分别送入步骤s2所训练好的模型之中，得到当下物体滑动的概率。以该概率作为控制信号，调整末端灵巧手对物体的抓握的控制。灵巧手对物体的控制可以通过控制灵巧手与物体的接触面积和灵巧手指的弯曲程度实现。从最简单的角度出发，可以设计一个滑动阈值，当输出的概率大于该滑动阈值时，认为物体即将滑落，需要增大机械灵巧手与物体的接触面积或者灵巧手的握力，从而可以在抓取过程实现物体实时的稳定性抓取。
[0046]
本发明的装置包括由机械臂和灵巧手组成的机器人灵巧手平台，usb网络相机，基于光学信号的触觉传感器以及用于深度神经网络模型的计算单元。本发明把视觉信息引入机器人抓取过程中，利用深度神经网络对视觉模态信息和触觉模态信息进行融合，端到端的预测输出物体的滑动概率，进而实时对机器人末端的灵巧手进行控制，实现灵活高效稳定的抓取。
[0047]
本发明还提供一种机器人，所述机器人使用上述中的基于视触融合的机器人抓取系统。
[0048]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0049]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。
技术特征：1.一种基于视触融合的机器人抓取系统，其特征在于，包括：机器人灵巧手平台，触觉传感器，外部视觉相机，内部计算单元；所述机器人灵巧手平台与所述触觉传感器和所述外部视觉相机相连接；所述触觉传感器和所述外部视觉相机获取视觉信息和触觉信息，所述视觉信息和所述触觉信息相融合并进入内部计算单元，预测出机器人灵巧手平台抓取过程中物体滑动的概率。2.根据权利要求1所述的基于视触融合的机器人抓取系统，其特征在于，所述机器人灵巧手平台包括机器人机械臂和机械灵巧手，所述机械灵巧手安装在所述机器人机械臂的末端，对物体进行抓取。3.根据权利要求2所述的基于视触融合的机器人抓取系统，其特征在于，所述机器人机械臂的自由度至少为6个，所述机械灵巧手的自由度至少为3个。4.根据权利要求1所述的基于视触融合的机器人抓取系统，其特征在于，所述外部视觉相机包括usb外部摄像机，所述usb外部摄像机安装在机器人机械臂末端和机械灵巧手的上方，所述usb外部摄像机获取视觉信息，并通过usb端口将视觉信息送入内部计算单元。5.根据权利要求1所述的基于视触融合的机器人抓取系统，其特征在于，所述触觉传感器黄与机械灵巧手的内侧，所述触觉传感器采用基于光学信号的触觉传感器，基于光学信号的触觉传感器直接输出阵列信息，利用卷积神经网络提取特征。6.一种基于视触融合的机器人抓取方法，其特征在于，所述方法应用如权利要求1-5任一项所述的基于视触融合的机器人抓取系统，所述方法包括如下步骤：步骤s1：获取网络训练数据；步骤s2：训练网络数据；步骤s3：利用抓取过程中物体的滑动概率进行反馈控制。7.根据权利要求6所述的基于视触融合的机器人抓取方法，其特征在于，所述步骤s1中的整个网络模型首先需要通过训练，训练数据来自于多次抓取实验，通过在多个常见物体进行多次抓取实验，usb外部摄像机和触觉传感器分别获得抓取过程重点的视觉图像和触觉图像，手动标记抓取过程中物体的状态信息，获得整个网络的训练数据。8.根据权利要求6所述的基于视触融合的机器人抓取方法，其特征在于，所述步骤s2由步骤s1获取的视觉图像和触觉图像经过预处理之后分别送入卷积神经网络提取图像特征，预处理先要将图像的归一化，之后通过随机翻转，平移等数据增强操作，最后需要将图像裁剪到网络指定的输入大小，采用transformer作为融合特征的训练网络，在transformer网络之后，经过一个全连接层，全连接层的输出通过softmax函数，预测输出物体滑动的概率。9.根据权利要求6所述的基于视触融合的机器人抓取方法，其特征在于，所述步骤s3在抓取过程中，usb外部摄像机获得视觉图像和触觉传感器获得的触觉图像分别送入步骤s2所训练好的模型之中，得到当下物体滑动的概率，以该概率作为控制信号，调整末端灵巧手对物体的抓握的控制。10.一种机器人，其特征在于，所述机器人使用如权利要求1-5任一项所述的基于视触融合的机器人抓取系统。
技术总结本发明提供了一种基于视触融合的机器人及其抓取系统和方法，机器人系统包含多自由度的机械臂与多自由度的机械手本体，同时有安装在机器手上的视觉相机和触觉传感器，用于获得两个模态的信息。视觉与触觉感知融合算法利用采集的视觉信息获取目标物体的外部轮廓信息，触觉信息获取目标物体的表面形貌与质地软硬等信息，通过预处理后利用卷积神经网络提取视觉信息的特征和触觉信息的特征，两个模态特征信息融合之后获得的新的特征用于预测物体抓取过程中的滑动概率。通过滑动概率实时调整机器手与物体的接触面积和物体表面的受力大小，在整个过程中保证机器手总以合适的力对物体进行稳定抓取。进行稳定抓取。进行稳定抓取。
技术研发人员：李智军 廖朴金 李国欣
受保护的技术使用者：中国科学技术大学
技术研发日：2022.04.20
技术公布日：2022/7/5
