1.本发明属于电子信息技术领域，更具体而言，涉及一种基于人体骨骼的三维区域入侵检测方法和系统。
背景技术：2.目前常用通过图像处理方式，进行电动扶梯的区域入侵检测的2种方式如下。
3.二维拌线方式：通过识别图像的人体位置，计算人移动轨迹是否与拌线相交，来判断平面二维空间是否存在入侵的情况，这种方式相对计算量少，不需要进行人体骨骼识别，目前最为常用。
4.但是这种方式，不适合在具备景深的三维空间判断。如下图，人体手臂实际上并没有越过扶手区域，但是和拌线相交了。由于拌线有景深，所以不能通过简单的拌线相交方式来判断，否则存在很多误判情况。
5.此外，当人体没有移动时候，只是伸展躯干，就不存在移动轨迹，也无法做到人体躯干是否和拌线相交的判断。
6.三维空间算法：通过识别人体骨骼的三维空间，计算是否与三维的平面空间相交，判断三维空间内是否存在入侵的情况。
7.如下图，输入一个平面图片，通过ai算法得出人体骨骼的三维空间坐标，再把整个图片拍摄的内容进行三维空间映射后，才能进行入侵的判断。
8.这种入侵判断方式比较准确，但是其ai算法计算量特别大，不利于低成本部署。
9.所以本案解决的实质性问题在于：如何提高电梯入侵的精确性、智能性的同时，降低服务器计算量。
技术实现要素：10.本发明的主要目的在于提供一种基于人体骨骼的三维区域入侵检测方法，本发明的方法实现了准确的、迅速的、智能的告警。
11.同时，本发明还提供了一种基于人体骨骼的三维区域入侵检测系统。
12.根据本发明的第一方面，提供了一种基于人体骨骼的三维区域入侵检测方法，所述方法适用于具有规则高度的边栏的入侵检测的场景，包括如下步骤：步骤1：当人体进入到摄像区域后，识别人体骨骼，得到骨骼信息，所述骨骼信息中标注了多个位置点；步骤2：当人体移动到边栏一侧时，获取第一图像，计算边栏和人体的不同高度的两个位置点的高度关系；步骤3：在人体沿边栏移动的过程中，获取第二图像，根据高度关系、所述两个位置点，确定边栏上与人体保持相同水平高度的点；
步骤4：在边栏上经步骤3所确定的点上绘制一条铅垂线，判断人体骨骼是否与铅垂线相交，若相交，则发出告警。
13.本发明中具有规则高度的边栏的入侵检测的场景可包括如下场景：1.如下所述的电动扶梯的翻越扶手、以及肢体其他部分的入侵检测；2.具有恒定高度的栏杆的人体翻越预警，比如大桥栏杆的翻越、江边栏杆的翻越的预警；3.具有恒定高度的围墙的人体翻越警告。
14.以下以场景1进行展开描述。
15.在上述的基于人体骨骼的三维区域入侵检测方法中，包括如下步骤：步骤1：当人体进入到摄像区域后，识别人体骨骼，得到骨骼信息，所述骨骼信息中标注了多个位置点；步骤2：当人体进入到电动扶梯时，获取第一图像，计算扶手和人体的不同高度的两个位置点的高度关系；步骤3：在电动扶梯运行的过程中，获取第二图像，根据高度关系、所述两个位置点，确定扶手上与人体保持相同水平高度的点；步骤4：在扶手上经步骤3所确定的点上绘制一条铅垂线，判断人体骨骼是否与铅垂线相交，若相交，则发出告警。
16.在上述的基于人体骨骼的三维区域入侵检测方法中，所述骨骼信息中的位置点包括：四肢上的关节、髋关节、肩关节、头部以及五官所对应的点中的三个或多个。
17.在上述的基于人体骨骼的三维区域入侵检测方法中，所述骨骼信息经人体姿势算法计算得到。
18.在上述的基于人体骨骼的三维区域入侵检测方法中，所述电动扶梯的上端入口和下端入口均设置用于感应是否有物体位于电动扶梯的踏板上的传感器；当所述传感器检测到有物体在电动扶梯的上端入口或下端入口时，进行步骤2。
19.在上述的基于人体骨骼的三维区域入侵检测方法中，所述步骤2具体为：步骤21：当人体进入到电动扶梯时，获取第一图像；步骤22：从第一图像中绘制出代表扶手的线条、两个位置点；步骤23：沿两个位置点分别做水平线，并在两条水平线之间作一根垂线；步骤24：平移步骤23所得的垂线以使扶手的线条和垂线相交，得到一个交点，确定交点距离垂线上端的距离、交点距离垂线下端的距离的比例；所述比例即为高度关系。
20.在上述的基于人体骨骼的三维区域入侵检测方法中，所述步骤3具体为：步骤31：在电动扶梯运行的过程中，获取第二图像；步骤32：从第二图像中绘制出代表扶手的线条、两个位置点；步骤33：沿两个位置点分别做水平线，并在两条水平线之间作一根垂线；步骤34：按照高度关系确定垂线上的点，并沿垂线上的点作水平线，所述水平线与代表扶手的线条的交点即为扶手上与人体保持相同水平高度的点。
21.此外，本发明还提供了一种实现如上所述的方法的系统，包括摄像头、服务器，所述摄像头的摄像区域覆盖至少部分边栏；所述服务器包括如下模块：
人体姿势识别模块：用于识别人体骨骼；图像分析模块：用于根据摄像头获取的图像，计算扶手和人体的不同高度的两个位置点的高度关系、确定扶手上与人体保持相同水平高度的点，判断人体骨骼是否与铅垂线相交；告警模块：用于在人体骨骼是否与铅垂线相交时，发出告警。
22.本发明上述技术方案中的一个技术方案至少具有如下优点或有益效果之一：本发明的方法采用人体关键关节与扶手的相对位置关系，反推任意时刻的人所处位置所对应的扶手，对扶手上的点标注铅垂线，就可以判断是否存在电梯入侵的风险，及时发出告警，同时该方法并不涉及背景的ai计算，可有效的降低数据处理量，提高处理速度，实现了准确的、迅速的、智能的告警。
23.同时，本发明还提供了一种基于人体骨骼的电动扶梯三维区域入侵检测系统。
附图说明
24.下面结合附图和实施例对本发明进一步地说明；图1是本发明的实施例1的步骤2和步骤3的示意图；图2是本发明的实施例1的步骤4的铅垂线的标定示意图；图3是本发明的实施例1的应用场景图；图4是本发明的实施例1的流程图；图5是本发明的实施例2的结构框图。
具体实施方式
25.下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
26.实施例1参照图1至图4所示，一种基于人体骨骼的三维区域入侵检测方法，包括如下步骤：步骤1：当人体进入到摄像区域后，识别人体骨骼，得到骨骼信息，所述骨骼信息中标注了多个位置点；摄像区域要涵盖电动扶梯，在人进入摄像区域后，可先期进行人体骨骼识别和跟踪，也可以在步骤2的同时进行人体骨骼的识别。
27.本发明的人体骨骼的识别方法为人体姿势算法。
28.本发明不限于人体姿势算法，各种算法都能给出对应关键位置，如肩骨、髋骨等位置。验证过程中使用过openpose和alphapose算法。
29.alphapose主页在https://github.com/mvig-sjtu/alphapose，论文在https://arxiv.org/abs/1612.00137。
30.openpose主页在https://github.com/cmu-perceptual-computing-lab/openpose，论文在https://arxiv.org/abs/1611.08050。
31.在实际应用中，人体在电动扶梯上最容易出现的状况是：手、脚、躯干等探出电梯扶手之外，这种情况下要求电梯能够快速识别并采用紧急的处理措施，所以本发明的位置
点建议包括：四肢上的关节、髋关节、肩关节、头部以及五官所对应的点；这样在步骤4的判断中，可以尽可能的全面的识别出手、脚或头是否处于危险状态。
32.但是在步骤2和步骤3中一般采用的2个位置点不会涉及到胳膊上的关节，因为人体并不是绝对无动作的，胳膊的动作会影响步骤2和步骤3的判断。
33.作为优选地，所述电动扶梯的上端入口和下端入口均设置用于感应是否有物体位于电动扶梯的踏板上的传感器；当所述传感器检测到有物体在电动扶梯的上端入口或下端入口时，进行步骤2。这里的传感器可以红外传感器、设置在踏板之上的重力传感器等。
34.步骤2：当人体进入到电动扶梯时，获取第一图像，计算扶手和人体的不同高度的两个位置点的高度关系；本步骤中以及步骤3中的位置点建议采用髋关节和肩关节；这两个关节和四肢连接，位置固定且易于识别。
35.本步骤具体包括如下子步骤：步骤21：当人体进入到电动扶梯时，获取第一图像；步骤22：从第一图像中绘制出代表扶手的线条、两个位置点；由于扶手的特征较为明显，所以根据现有的图像识别技术，可较为容易的识别出扶手的线条；在一些应用环境中，如果摄像头是固定的或者不是经常转动，那么可以在采集的所有图像中预先标示出扶手的位置，这样在每次进行新的图像获取的时候就无需重新进行扶手的识别和绘制。
36.步骤23：沿两个位置点分别做水平线，并在两条水平线之间作一根垂线；步骤24：平移步骤23所得的垂线以使扶手的线条和垂线相交，得到一个交点，确定交点距离垂线上端的垂直距离、交点距离垂线下端的垂直距离的比例；所述比例即为高度关系。
37.在一些应用场景中，可以不用平移步骤23中的垂线，如上所述，在摄像头是固定的或者不是经常转动的场景下，电梯的入口处的扶手的位置时固定的，那么就相当于上述的交点在画面中是不变的，在这种情况下，直接从预先在画面中标定的点做水平线以和垂线相交，就可得到上述的比例。
38.参考图1，图1示出了另外一种电梯的扶手的标定的方法，即标定扶手的两个端部，根据扶手的两个端部的连线确定扶手的线条。
39.步骤3：在电动扶梯运行的过程中，获取第二图像，根据高度关系、所述两个位置点，确定扶手上与人体保持相同水平高度的点；参考步骤2，将步骤2反向操作即可。具体来说，包括如下子步骤：步骤31：在电动扶梯运行的过程中，获取第二图像；步骤32：从第二图像中绘制出代表扶手的线条、两个位置点；步骤33：沿两个位置点分别做水平线，并在两条水平线之间作一根垂线；步骤34：按照高度关系确定垂线上的点，并沿垂线上的点作水平线，所述水平线与代表扶手的线条的交点即为扶手上与人体保持相同水平高度的点。
40.参考图1中的标号3，其示出了根据垂线上的点与位置点的高度关系可以确定扶手上的点。
41.步骤4：在扶手上经步骤3所确定的点上绘制一条铅垂线，判断人体骨骼是否与铅
垂线相交，若相交，则发出告警。本处的告警包括但不限于发出声、光警报，在告警之后可以自动采用紧急停机的措施并通知运维人员。
42.图2示出了铅垂线，该铅垂线即为图2中的黑线。
43.图3示出了本发明的方法应用电动扶梯的具体场景图。
44.通过上述方法，可以精确的、快速的进行入侵判断并告警。
45.本实施例的方法能够实现基于以下的现实情况：1.摄像头拍摄图片具有很长景深，正常情况下警戒线都会和人体相交和遮挡。
46.2.扶手和地面有高端差，扶手有挡板。挡板以下都是不可跨域的部分，只需要检测挡板以上的3d空间入侵情况。
47.3.区域入侵都是人引起的，人体四肢具有连通和完整性，不会单独脱离躯干存在手、脚的入侵情况。
48.本案特别适用于长景深的情况，其无需绘制背景图像，完全依赖于扶手和人体骨骼识别，通过结合2d人体骨骼和警戒拌线（上述的铅垂线的确定），实现3d空间的入侵检测，同时避免采用运算量大的3d算法，达到同样的效果。
49.本发明根据实施的任务，对比现有技术有点有：1.克服2d警戒线方式的不足，实现3d空间的入侵检测。
50.2.避免使用运算过大的3d骨骼算法，采用运算量较小的2d骨骼识别算法，结合计算机图形学的简单算法，进行低成本部署。
51.3通过动态计算人体骨骼相对警戒线的位置，从而更准确判断入侵情况。
52.4.根据扶手高度在关键骨骼点相对距离，可以克服人体有部分没有拍摄到的情况下，依然能做出判断。
53.5.本方案不限身高和年龄。
54.6.通过这套系统的设计，可以满足目前需求，并具备相当的经济价值。
55.同时本系统可扩展延伸到其他的应用场景，如河堤和桥面栏杆、舞台区域等敏感区域的3d空间入侵判断。
56.实施例2参考图5，一种实现实施例1所述的方法的系统，包括摄像头1、服务器2，所述摄像头的摄像区域覆盖电动扶梯；所述服务器包括如下模块：人体姿势识别模块21：用于识别人体骨骼；图像分析模块22：用于根据摄像头获取的图像，计算扶手和人体的不同高度的两个位置点的高度关系、确定扶手上与人体保持相同水平高度的点，判断人体骨骼是否与铅垂线相交；告警模块23：用于在人体骨骼是否与铅垂线相交时，发出告警以及实现电梯停机。
57.本系统的工作过程为：摄像头不断的获取图像，图像发送给人体姿势识别模块、图像分析模块；人体姿势识别模块识别出人体骨骼，并将骨骼信息发送给图像分析模块，图像分析模块在人体进入到电梯初始阶段，计算扶手和人体的不同高度的两个位置点的高度关系；当人随扶梯运行的过程中，确定扶手上与人体保持相同水平高度的点，判断人体骨骼是否与铅垂线相交，并
在存在相交的情况时，将计算结果发送给告警模块，在人体骨骼是否与铅垂线相交时，告警模块发出告警以及实现电梯停机。
技术特征：1.一种基于人体骨骼的三维区域入侵检测方法，其特征在于，所述方法适用于具有规则高度的边栏的入侵检测的场景，包括如下步骤：步骤1：当人体进入到摄像区域后，识别人体骨骼，得到骨骼信息，所述骨骼信息中标注了多个位置点；步骤2：当人体移动到边栏一侧时，获取第一图像，计算边栏和人体的不同高度的两个位置点的高度关系；步骤3：在人体沿边栏移动的过程中，获取第二图像，根据高度关系、所述两个位置点，确定边栏上与人体保持相同水平高度的点；步骤4：在边栏上经步骤3所确定的点上绘制一条铅垂线，判断人体骨骼是否与铅垂线相交，若相交，则发出告警。2.根据权利要求1所述的基于人体骨骼的三维区域入侵检测方法，其特征在于，所述边栏为电动扶梯的扶手；所述方法具体为：步骤1：当人体进入到摄像区域后，识别人体骨骼，得到骨骼信息，所述骨骼信息中标注了多个位置点；步骤2：当人体进入到电动扶梯时，获取第一图像，计算扶手和人体的不同高度的两个位置点的高度关系；步骤3：在电动扶梯运行的过程中，获取第二图像，根据高度关系、所述两个位置点，确定扶手上与人体保持相同水平高度的点；步骤4：在扶手上经步骤3所确定的点上绘制一条铅垂线，判断人体骨骼是否与铅垂线相交，若相交，则发出告警。3.根据权利要求1或2所述的基于人体骨骼的三维区域入侵检测方法，其特征在于，所述骨骼信息中的位置点包括：四肢上的关节、髋关节、肩关节、头部以及五官所对应的点中的三个或多个。4.根据权利要求1或2所述的基于人体骨骼的三维区域入侵检测方法，其特征在于，所述骨骼信息经人体姿势算法计算得到。5.根据权利要求2所述的基于人体骨骼的三维区域入侵检测方法，其特征在于，所述电动扶梯的上端入口和下端入口均设置用于感应是否有物体位于电动扶梯的踏板上的传感器；当所述传感器检测到有物体在电动扶梯的上端入口或下端入口时，进行步骤2。6.根据权利要求2所述的基于人体骨骼的三维区域入侵检测方法，其特征在于，所述步骤2具体为：步骤21：当人体进入到电动扶梯时，获取第一图像；步骤22：从第一图像中绘制出代表扶手的线条、两个位置点；步骤23：沿两个位置点分别做水平线，并在两条水平线之间作一根垂线；步骤24：平移步骤23所得的垂线以使扶手的线条和垂线相交，得到一个交点，确定交点距离垂线上端的垂直距离、交点距离垂线下端的垂直距离的比例；所述比例即为高度关系。7.根据权利要求2所述的基于人体骨骼的三维区域入侵检测方法，其特征在于，所述步骤3具体为：步骤31：在电动扶梯运行的过程中，获取第二图像；步骤32：从第二图像中绘制出代表扶手的线条、两个位置点；
步骤33：沿两个位置点分别做水平线，并在两条水平线之间作一根垂线；步骤34：按照高度关系确定垂线上的点，并沿垂线上的点作水平线，所述水平线与代表扶手的线条的交点即为扶手上与人体保持相同水平高度的点。8.一种实现权利要求1所述的方法的系统，其特征在于，包括摄像头、服务器，所述摄像头的摄像区域覆盖至少部分边栏；所述服务器包括如下模块：人体姿势识别模块：用于识别人体骨骼；图像分析模块：用于根据摄像头获取的图像，计算扶手和人体的不同高度的两个位置点的高度关系、确定边栏上与人体保持相同水平高度的点，判断人体骨骼是否与铅垂线相交；告警模块：用于在人体骨骼与铅垂线相交时，发出告警。
技术总结本发明属于电子信息技术领域，公开了一种基于人体骨骼的三维区域入侵检测方法，包括如下步骤：步骤1：当人体进入到摄像区域后，识别人体骨骼，得到骨骼信息，所述骨骼信息中标注了多个位置点；步骤2：当人体进入到电动扶梯时，获取第一图像，计算扶手和人体的不同高度的两个位置点的高度关系；步骤3：在电动扶梯运行的过程中，获取第二图像，根据高度关系、所述两个位置点，确定扶手上与人体保持相同水平高度的点；步骤4：在扶手上经步骤3所确定的点上绘制一条铅垂线，判断人体骨骼是否与铅垂线相交，若相交，则发出告警。本发明的方法实现了准确的、迅速的、智能的告警。同时，本发明还提供了一种基于人体骨骼的三维区域入侵检测系统。了一种基于人体骨骼的三维区域入侵检测系统。了一种基于人体骨骼的三维区域入侵检测系统。
技术研发人员：招嘉焕 陈小军 黄章良
受保护的技术使用者：广州鲁邦通物联网科技股份有限公司
技术研发日：2022.04.07
技术公布日：2022/7/5
