1.本发明属于人机协作与预防人机碰撞技术领域，具体涉及一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统及方法。
背景技术：2.协作机器人就是指机器人与人可以在生产线上协同作战，充分发挥机器人的效率及人类的智能。这种机器人不仅性价比高，而且安全方便，能够极大地促进制造企业的发展。在工业机器人应用场景下，作业人员需要间歇或连续与机器人紧密合作，例如为机器人补料、与机器人进行分工合作、更换程序和检查运行状态等。人机协作对于提高制造灵活性以适应高混合、小批量、多品种生产至关重要。而人机协作必然要求人类与机器人共处同一空间，此时可靠、灵活、智能的人机安全防护技术显得尤为重要。现有技术中人机协作时，大多利用摄像头技术对协同作业的人员进行实时定位，运用深度学习摄像头作为获取图片的工具时，需要进行繁琐的学习过程，并且采集到的图片进行识别需要进行较长时间的数据处理过程，实时性较差，而运用多目摄像头进行视觉识别以实现人机协作时只能分时监控机器人的运动区域，使用不方便。另外，基于光纤的安全垫具有精度高、安装简便、节能环保等特点，其运用在工业机器人的安全防护领域，通常只作为一个触点开关的效果，不能很好地对人机之间的位置、距离进行准确识别。由于没有针对机器人与作业人员的运动信息进行综合标定与协作安全碰撞预测的有效手段，急需综合考虑机器人与作业人员的位置与运动信息，实现一种高效、安全的人机协作时预防碰撞的系统及方法，促进人机共融发展。
技术实现要素：3.本发明的目的在于克服现有技术的不足，本发明提供了一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统，可以精确地对作业人员的空间位置进行定位，能够准确获取作业人员的人体轮廓信息，提升人机协作碰撞预测准确性，可降低人机碰撞事故的发生率，促进人机共融发展。
4.本发明为了实现上述目的，采用如下技术方案：
5.一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统，包括定位识别垫、红外摄像头、图像处理器、控制器和碰撞预警装置；其中：
6.所述定位识别垫铺设在机器人的运动区域，用于定位识别作业人员在该运动区域内所处位置的平面坐标数据；
7.所述红外摄像头用于采集所述运动区域内作业人员的红外图像数据，并对其拍摄到的空间位置进行立体定位，
8.所述图像处理器用于将采集到的平面坐标数据和红外图像数据进行融合后得到关于作业人员身体轮廓线、身体厚度和身高的的融合图像数据并发送至所述控制器；
9.所述控制器用于处理所述融合图像数据，实时计算出作业人员与机器人在所述运
动区域内的位置，并实时检测作业人员与机器人之间的最小距离，当最小距离小于设定的阈值时，则控制预警碰撞装置发出碰撞预警提示，并控制机器人停止运动。
10.作为本发明的进一步改进，所述定位识别垫包括弹性保护层以及设置在所述弹性保护层内的上层导电板、下层导电板和隔离垫片；所述隔离垫片设置在所述上层导电板和下层导电板之间，所述上层导电板的下表面设有多个微型传感器，该多个微型传感器互相分离且在纵向和横向方向上呈矩阵状排列。
11.作为本发明的进一步改进，所述碰撞预警装置包括警报灯和警报语音提示器。
12.本发明还提供一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的方法，所述方法包括如下步骤：
13.s1：在机器人的运动区域铺设定位识别垫，定位识别垫内设置有矩阵分布的多个微型传感器，建立基于定位识别垫的定位识别垫平面坐标系，作业人员踩在定位识别垫上时，根据提前对微型传感器的坐标进行标定，定位识别垫识别出作业人员的位置，得出该位置在机器人运动坐标系下的三维坐标(x,y,z)；
14.s2：在定位识别垫的正面、侧面和正上方(x轴、y轴、z轴方向上)分别安装红外摄像头，采用红外摄像头发射红外激光，分别采集作业人员的正面、侧面和从正上方往下的图像，经过处理，得出作业人员的身体轮廓线、身体厚度和身高的信息，并且对所述红外摄像机能够抓拍到的空间位置进行立体定位，建立以任一所述红外摄像头为中心点的红外摄像头坐标系；
15.s3：将操作人员的身体轮廓线信息和其在定位识别垫的坐标数据在图像处理器下进行融合，得出作业人员的身高、轮廓和身体厚度参数；再以作业人员的脚底为中心建立人体基坐标系，从下到上，取作业人员身体轮廓的两个特征点，得到距离一定的、有限的对应坐标点(x1,y1,z1)，
……
，(xn,yn,zn)，其中，n为有限整数；
16.s4：由于所铺设的定位安全垫位于机器人的运动空间中，需要对安全垫在机器人运动坐标系下进行位置的标定，定位安全垫上每一个点在机器人运动坐标系下都有唯一对应的直角坐标点(x,y,z)，根据作业人员任一时刻所处的位置，得出此时在机器人运动坐标系下的坐标(x,y,z)，以此时作业人员的脚底为中心的点作为作业人员根据自身建立的人体坐标系的原点(0,0,0)，步骤s3所求出的有限个特征点的坐标转换到机器人运动坐标系的坐标点为(x1,y1,z1)＝(x1,y1,z1)+(x,y,z),
……
，(xn,yn,zn)＝(xn,yn,zn)+(x,y,z)；
17.s5：基于机器人的操作系统，根据机器人各个轴电机编码器反馈回来的信息，以及机器人的正向运动学方程求出此时机器人末端的坐标(x,y,z)；
18.s6：步骤s5中机器人执行器坐标(x,y,z)和步骤s4中机器人运动坐标系下的真实坐标(x1,y1,z1)到(xn,yn,zn)，将机器人执行器坐标和步骤s4中有限个特征点在机器人运动坐标系下的真实坐标分别输入到控制器中，通过控制器计算两点之间的距离d，即，进行求解得到(x,y,z)与(x1,y1,z1)，
……
，(xn,yn,zn)的距离d1,
……
,dn,其中，n为有限整数；
19.s7：判断人机协作中作业人员的安全等级，控制所述机器人的运动，实现机器人和作业人员之间的安全协作。
20.作为本发明的进一步改进，所述步骤s7中判断人机协作中作业人员的安全等级的具体过程为：
21.将步骤s6所得到的距离d得与预先设定的分级安全距离d1、d2和d3分别进行比较，
其中，d1＞d2＞d3；
22.当所述作业人员与机器人之间的距离d大于d1时，视作业人员处于安全状态，
23.当所述作业人员与机器人之间的距离d＜d1时，视作业人员处于相对危险状态，进行警报灯闪烁；
24.当所述作业人员与机器人之间的距离d＜d2时，视作业人员处于相对危险状态，警报语音提示器进行警报语音提示；
25.当所述作业人员与机器人之间的距离d＜d3时，视作业人员处于危险状态，机器人停止运动，避免出现异常碰撞事故。
26.与现有技术相比，本发明具有以下有益效果：
27.1.本发明基于红外摄像头与定位识别垫的人机协作系统，一方面通过红外摄像头与定位识别垫可以对空间位置进行精确定位，并通过获得的作业人员的人体轮廓信息，通过融合计算获取作业人员的位置信息，将作业人员的位置与机器人末端的位置信息进行转化比较，实现人机碰撞风险的在线准确预测，相比直接通过摄像机识别人体，识别精度更高；针对机器人与作业人员之间的距离，采取不同的保障安全方式，提高了在工业环境下的人机安全性。
28.2.本发明将定位识别垫覆盖在机器人的运动区域地面上，能对运动全区域进行实时安全监控和识别，提高人机协作的安全防护能力，利用定位识别垫采集作业人员的位置坐标，速度快，不需要经过图片的采集和其它繁琐的过程，实时性较好；
29.3.本发明利用红外摄像头，能直接收集到作业人员的身高和轮廓等信息，不需要进行深度学习，实用性强；
30.4.本发明只利用简单的数学方法进行换算，运用到数学中坐标的换算和低维矩阵的运算，运算简单，运行时间较短，实时性较高。
31.5.赋予机器人视觉和触觉，采用红外摄像头与定位识别垫两种传感器配合的人机协作的安全系统，能够提高人机协作的冗余度，可实现区域分级报警任务。
附图说明
32.图1是本发明一种基于红外摄像头与定位识别垫的人机协作系统的结构框图；
33.图2本发明定位识别垫的结构示意图；
34.图3是本发明定位识别垫内部的微型传感器的排列方式示意图；
35.其中，附图中标记为：1-弹性保护层，2-上层导电板，3-下层导电板，4-隔离垫片。
具体实施方式
36.下面结合附图与实施例对本发明作进一步说明。需要说明的是，本发明的具体实施例只是为了能更清楚的描述技术方案，而不能作为本发明保护范围的一种限制。
37.请参阅图1-图3，一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统，包括定位识别垫、红外摄像头、图像处理器、控制器和碰撞预警装置；定位识别垫和红外摄像头分别与图像处理器的输入端连接，图像处理器的输出端与控制器的输入端连接，控制器的输出端连接碰撞预警装置，控制器的输出端还连接机器人的控制系统，其中：
38.定位识别垫铺设在机器人的运动区域，覆盖机器人手部末端运动时所到达的区
域，用于定位识别作业人员在该运动区域内所处位置的平面坐标数据；
39.红外摄像头用于采集运动区域内作业人员的红外图像数据，并对其拍摄到的空间位置进行立体定位，
40.图像处理器用于将采集到的平面坐标数据和红外图像数据进行融合后得到关于作业人员身体轮廓线、身体厚度和身高的的融合图像数据并发送至控制器；
41.控制器用于处理融合图像数据，实时计算出作业人员与机器人在运动区域内的位置，并实时检测作业人员与机器人之间的最小距离，当最小距离小于设定的阈值时，则控制预警碰撞装置发出碰撞预警提示，并控制机器人停止运动。
42.控制器采用stm32单片机制成，运用c语言等编程语言实现在人体身高和宽度信息上进行等距采集和输出有限的坐标点，用于处理融合图像数据，处理运动区域内的定位识别垫平面坐标系、人体基坐标系、红外摄像头坐标系、机器人运动坐标系之间的相互关系，控制机器人的运动；同时，控制器根据作业人员与机器人之间的位置状态进行预测，判断作业人员与机器人是否有碰撞的危险，并以此决策出是否启动碰撞预警装置进行碰撞预警。
43.如图2-图3所示，定位识别垫包括弹性保护层1以及设置在弹性保护层1内的上层导电板2、下层导电板3和隔离垫片4；隔离垫片4设置在上层导电板2和下层导电板3之间，上层导电板2的下表面设有多个微型传感器，该多个微型传感器互相分离且在纵向和横向方向上呈矩阵状排列。当人踩在弹性保护层1上面，使得上层导电板2下压，接触下层导电板3，形成一个回路，内部的微型传感器工作，由于密密麻麻的微型传感器成矩阵式排列，无论哪个传感器有信号传出，都能准确地识别其相应的位置，到达定位和清楚识别所在的坐标。
44.作为本发明的进一步改进，碰撞预警装置包括警报灯和警报语音提示器。
45.本发明还提供一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的方法，此人机协作的方法是基于机器人操作系统(ros)实现的，方法包括如下步骤：
46.s1：在机器人的运动区域铺设定位识别垫，定位识别垫内设置有矩阵分布的多个微型传感器，建立基于定位识别垫的定位识别垫平面坐标系，作业人员踩在定位识别垫上时，根据提前对微型传感器的坐标进行标定，定位识别垫识别出作业人员的位置，得出该位置在机器人运动坐标系下的三维坐标(x,y,z)；
47.s2：在定位识别垫的正面、侧面和正上方，分别安装红外摄像头，采用红外摄像头发射红外激光，分别采集作业人员的正面、侧面和从正上方往下的图像，经过处理，图像处理器通过获取多相机的参数，经过多视立体匹配，空间点坐标同名匹配获得空间点云图，再经过点云的压缩匹配，由点云构造三角图，实现立体建模、交互式测量，得出作业人员的身体轮廓线、身体厚度和身高的信息，并且对红外摄像机能够抓拍到的空间位置进行立体定位，建立以任一红外摄像头为中心点的红外摄像头坐标系；在使用红外摄像头前，会先对红外摄像头进行标定，把定位识别垫作为摄像机的标定点，便于将定位识别垫的坐标和图像处理器拍摄到的图片坐标联系起来，再者对三个红外摄像头还要进行参照物的标定，参照物到摄红外像头距离一定，参照物的长度一定，经过红外摄像头拍摄的照片，就能识别出人的身高、宽度和厚度；
48.s3：将操作人员的身体轮廓线信息和其在定位识别垫的坐标数据在图像处理器下进行融合，得出作业人员的身高、轮廓和身体厚度参数；再以作业人员的脚底为中心建立人体基坐标系，从下到上，取作业人员身体轮廓的特征点，该特征点的选取可以为：在控制器
下通过编程实现从下到上和宽度方向上取身体轮阔点，在高度方向上每20cm取一个特征点，高度方向上最后的轮廓点不够20cm也取最后的轮廓点作为轮廓坐标点；在作业人员的宽度方向上以每5cm的距离取人的轮廓坐标点，宽度方向上最后的轮廓点不够5cm也取该最后的轮廓点作为轮廓坐标点，得到距离一定的、有限的对应坐标点(x1,y1,z1)，
……
，(xn,yn,zn)，其中，n为有限整数；
49.s4：由于所铺设的定位安全垫位于机器人的运动空间中，需要对安全垫在机器人运动坐标系下进行位置的标定，定位安全垫上每一个点在机器人运动坐标系下都有唯一对应的直角坐标点(x,y,z)，根据作业人员任一时刻所处的位置，得出此时在机器人运动坐标系下的坐标(x,y,z)，以此时作业人员的脚底为中心的点作为作业人员根据自身建立的人体坐标系的原点(0,0,0)，步骤s3所求出的有限个特征点的坐标转换到机器人运动坐标系的坐标点为(x1,y1,z1)＝(x1,y1,z1)+(x,y,z),
……
，(xn,yn,zn)＝(xn,yn,zn)+(x,y,z)；
50.s5：基于机器人的操作系统，根据机器人各个轴电机编码器反馈回来的信息，以及机器人的正向运动学方程求出此时机器人末端的坐标(x,y,z)；
51.s6：步骤s5中机器人执行器坐标(x,y,z)和步骤s4中有限个特征点在机器人运动坐标系下的真实坐标(x1,y1,z1)到(xn,yn,zn)，将机器人执行器坐标和步骤s4中有限个特征点在机器人运动坐标系下的真实坐标分别输入到控制器中，通过控制器计算两点之间的距离d，即，进行求解得到(x,y,z)与(x1,y1,z1)，
……
，(xn,yn,zn)的距离d1,
……
,dn,其中，n为有限整数；
52.s7：判断人机协作中作业人员的安全等级，控制机器人的运动，实现机器人和作业人员之间的安全协作。
53.其中，步骤s7中判断人机协作中作业人员的安全等级的具体过程为：
54.将步骤s6所得到的距离d得与预先设定的分级安全距离d1、d2和d3分别进行比较，其中，d1＞d2＞d3；
55.当作业人员与机器人之间的距离d大于d1时，视作业人员处于安全状态，
56.当作业人员与机器人之间的距离d＜d1时，视作业人员处于相对危险状态，进行警报灯闪烁；
57.当作业人员与机器人之间的距离d＜d2时，视作业人员处于相对危险状态，警报语音提示器进行警报语音提示；
58.当作业人员与机器人之间的距离d＜d3时，视作业人员处于危险状态，机器人停止运动，避免出现异常碰撞事故。
59.本发明基于红外摄像头与定位识别垫的人机协作系统及方法，一方面通过红外摄像头与定位识别垫可以对空间位置进行精确定位，并通过获得的作业人员的人体轮廓信息，通过融合计算获取作业人员的位置信息，将作业人员的位置与机器人末端的位置信息进行转化比较，实现人机碰撞风险的在线准确预测，相比直接通过摄像机识别人体，识别精度更高；针对机器人与作业人员之间的距离，采取不同的保障安全方式，提高了在工业环境下的人机协作的安全性。
60.上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。
技术特征：1.一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统，其特征在于，包括定位识别垫、红外摄像头、图像处理器、控制器和碰撞预警装置；其中：所述定位识别垫铺设在机器人的运动区域，用于定位识别作业人员在该运动区域内所处位置的平面坐标数据；所述红外摄像头用于采集所述运动区域内作业人员的红外图像数据，并对其拍摄到的空间位置进行立体定位，所述图像处理器用于将采集到的平面坐标数据和红外图像数据进行融合后得到关于作业人员身体轮廓线、身体厚度和身高的的融合图像数据并发送至所述控制器；所述控制器用于处理所述融合图像数据，实时计算出作业人员与机器人在所述运动区域内的位置，并实时检测作业人员与机器人之间的最小距离，当最小距离小于设定的阈值时，则控制预警碰撞装置发出碰撞预警提示，并控制机器人停止运动。2.根据权利要求1所述的一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统，其特征在于，所述定位识别垫包括弹性保护层以及设置在所述弹性保护层内的上层导电板、下层导电板和隔离垫片；所述隔离垫片设置在所述上层导电板和下层导电板之间，所述上层导电板的下表面设有多个微型传感器，该多个微型传感器互相分离且在纵向和横向方向上呈矩阵状排列。3.根据权利要求1所述的一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统，其特征在于，所述碰撞预警装置包括警报灯和警报语音提示器。4.一种如权利要求1-3任一所述的基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的方法，其特征在于，所述方法包括如下步骤：s1：在机器人的运动区域铺设定位识别垫，定位识别垫内设置有矩阵分布的多个微型传感器，建立基于定位识别垫的定位识别垫平面坐标系，作业人员踩在定位识别垫上时，根据提前对微型传感器的坐标进行标定，定位识别垫识别出作业人员的位置，得出该位置在机器人运动坐标系下的三维坐标(x,y,z)；s2：在定位识别垫的正面、侧面和正上方分别安装红外摄像头，采用红外摄像头发射红外激光，分别采集作业人员的正面、侧面和从正上方往下的图像，经过处理，得出作业人员的身体轮廓线、身体厚度和身高的信息，并且对所述红外摄像机能够抓拍到的空间位置进行立体定位，建立以任一所述红外摄像头为中心点的红外摄像头坐标系；s3：将操作人员的身体轮廓线信息和其在定位识别垫的坐标数据在图像处理器下进行融合，得出作业人员的身高、轮廓和身体厚度参数；再以作业人员的脚底为中心建立人体基坐标系，从下到上，取作业人员身体轮廓的两个特征点，得到距离一定的、有限的对应坐标点(x1,y1,z1)，
……
，(x
n
,y
n
,z
n
)，其中，n为有限整数；s4：由于所铺设的定位安全垫位于机器人的运动空间中，需要对安全垫在机器人运动坐标系下进行位置的标定，定位安全垫上每一个点在机器人运动坐标系下都有唯一对应的直角坐标点(x,y,z)，根据作业人员任一时刻所处的位置，得出此时在机器人运动坐标系下的坐标(x,y,z)，以此时作业人员的脚底为中心的点作为作业人员根据自身建立的人体坐标系的原点(0,0,0)，步骤s3所求出的有限个特征点的坐标转换到机器人运动坐标系的坐标点为(x1,y1,z1)＝(x1,y1,z1)+(x,y,z),
……
，(x
n
,y
n
,z
n
)＝(x
n
,y
n
,z
n
)+(x,y,z)；s5：基于机器人的操作系统，根据机器人各个轴电机编码器反馈回来的信息，以及机器
人的正向运动学方程求出此时机器人末端的坐标(x,y,z)；s6：步骤s5中机器人执行器坐标(x,y,z)和步骤s4中有限个特征点在机器人运动坐标系下的真实坐标(x1,y1,z1)到(x
n
,y
n
,z
n
)，将机器人执行器坐标和步骤s4中有限个特征点在机器人运动坐标系下的真实坐标分别输入到控制器中，通过控制器计算两点之间的距离d，即，进行求解得到(x,y,z)与(x1,y1,z1)，
……
，(x
n
,y
n
,z
n
)的距离d1,
……
,dn,其中，n为有限整数；s7：判断人机协作中作业人员的安全等级，控制所述机器人的运动，实现机器人和作业人员之间的安全协作。5.根据权利要求1所述的基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的方法，其特征在于，所述步骤s7中判断人机协作中作业人员的安全等级的具体过程为：将步骤s6所得到的距离d得与预先设定的分级安全距离d1、d2和d3分别进行比较，其中，d1＞d2＞d3；当所述作业人员与机器人之间的距离d大于d1时，视作业人员处于安全状态；当所述作业人员与机器人之间的距离d＜d1时，视作业人员处于相对危险状态，控制器控制所述警报灯闪烁；当所述作业人员与机器人之间的距离d＜d2时，视作业人员处于相对危险状态，控制器控制所述警报语音提示器发出警报语音提示；当所述作业人员与机器人之间的距离d＜d3时，视作业人员处于危险状态，机器人停止运动，避免出现人机碰撞事故。
技术总结本发明属于人机协作与预防人机碰撞技术领域。一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统，包括定位识别垫、红外摄像头、图像处理器、控制器和碰撞预警装置；定位识别垫用于定位识别作业人员在该运动区域内所处位置的平面坐标数据；红外摄像头用于采集作业人员的红外图像数据，图像处理器用于将平面坐标数据和红外图像数据进行融合处理；控制器用于实时计算出作业人员与机器人在运动区域内的位置，并实时检测作业人员与机器人之间的最小距离，当最小距离小于设定的阈值时，则控制预警碰撞装置发出碰撞预警提示。本发明可以精确地对空间位置进行定位，能够准确获取作业人员的人体轮廓信息，提升人机协作碰撞预测准确性，可降低人机碰撞事故发生率。可降低人机碰撞事故发生率。可降低人机碰撞事故发生率。
技术研发人员：林义忠 杜柳明 谢震鹏 易雨晴
受保护的技术使用者：广西大学
技术研发日：2022.04.19
技术公布日：2022/7/5
