1.本发明属于多人体姿态估计检测技术领域，具体涉及一种基于实例分割的多人体姿态估计检测及分割优化方法及装置。
背景技术：2.目标检测或定位是数字图像从粗到细的一个渐进过程。它不仅提供了图像对象的类，还提供了已分类图像中对象的位置。位置以边框或中心的形式给出。语义分割通过对输入图像中每个像素的标签进行预测，给出了较好的推理。每个像素都根据其所在的对象类进行标记。为了进一步发展，实例分割为属于同一类的对象的单独实例提供了不同的标签；因此，实例分割可以定义为同时解决目标检测问题和语义分割问题的技术；实例分割已成为机器视觉研究中比较重要、复杂和具有挑战性的领域之一；为了预测对象类标签和特定于像素的对象实例掩码，它对各种图像中出现的对象实例的不同类进行本地化；实例分割的目的主要是帮助机器人，自动驾驶，监视等。
3.人体姿态估计是计算机视觉中的一个重要任务，也是计算机理解人类动作、行为必不可少的一步；在多人体姿态估计检测时，先检测人体，再做单人姿态估计，但是在面对遮挡问题容易受到挫折，检测精度低，导致人体姿态估计结果出现较大偏差，因此提出了一种基于实例分割的多人体姿态估计检测及分割优化方法及装置。
技术实现要素：4.本发明要解决的技术问题是克服现有的缺陷，提供一种基于实例分割的多人体姿态估计检测及分割优化方法及装置，以解决上述背景技术中提出的在面对遮挡问题容易受到挫折，检测精度低，导致人体姿态估计结果出现较大偏差的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于实例分割的多人体姿态估计检测及分割优化方法，包括以下步骤：
6.步骤1：每隔一定时间采集一帧图像，利用实例分割对图像进行预处理；
7.步骤2：基于实例分割用不同颜色的掩码标注不同的人体个体，并且标记人体姿态的关键点，对人体的姿态进行估计检测；
8.步骤3：基于实例分割连续用对应颜色的掩码标注不同的人体个体，并且继续标记人体姿态的关键点，直到可以进行人体姿态估计检测；
9.步骤4：根据人体姿态估计检测结果进行差异性判断，得出人体姿态估计检测结果。
10.优选的，所述步骤1包括以下步骤：
11.步骤1.1：对采集的图像进行分帧处理，再通过存储器对图像数据进行存储；
12.步骤1.2：在分帧后的图像上识别对应的特征点，并且保留特征点；
13.步骤1.3：将分帧处理的图像输入cnn，进行特征提取；
14.步骤1.4：对提取的特征进行微调；
15.步骤1.5：用fpn生成建议窗口，每张图片生成n个建议窗口，把建议窗口映射到cnn的最后一层卷积feature map上；
16.步骤1.6：通过roi align层使每个roi生成固定尺寸的featuremap，对每一个roi使用roialign进行像素校正，然后对每一个roi使用设计的fcn框架进行预测不同的实例所属分类，最终得到图像实例分割结果。
17.优选的，所述步骤2包括以下步骤：
18.步骤2.1：当检测到图像实例分割结果有人体特征时对人体身上每一个关键点的位置进行独热编码，对应人体每一关键点生成一个掩码；
19.步骤2.2：根据生成的掩码进行关节点拼接；
20.步骤2.3：由于图片中人数不确定，同时伴随遮挡、变形等问题，因此只使用上述计算关节对相似度，只能保证局部最优，因此需要不同人体的某个关节点的点集与其他不同的点集进行唯一匹配，如：一群表示手肘的点集和手腕的点集，两点集中的点必须存在唯一匹配，由于关节点之间的相关性paf已知，将关键点作为图的顶点，将关键点之间的相关性paf看为图的边权，则将多人检测问题转化为二分图匹配问题，并用匈牙利算法求得相连关键点最优匹配。
21.优选的，所述步骤3包括以下步骤：
22.步骤3.1：将步骤1.2中保留的特征点输入cnn，进行特征比较；
23.步骤3.2：将后续图像中相似度较高的特征点进行提取；
24.步骤3.3：基于提取的特征点将对应颜色的掩码进行匹配，对新识别的特征点对应生成新的掩码；
25.步骤3.4：按照步骤2再次进行关节拼接和匹配；
26.步骤3.5：对具有新生成掩码的人体进行姿态估计。
27.优选的，所述步骤4包括以下步骤：
28.步骤4.1：获取若干个第一次估计的人体姿态结果{x1,x2,x3......xn}，获取若干个第二次估计的人体姿态结果{x'1,x'2,x'3......x'n}；
29.步骤4.2：将两次估计结果一一对应进行对比，根据结果的变化情况对姿态进行估计；
30.步骤4.3：以此类推，将若干个第m次估计的人体姿态结果与第m-1 次估计的人体姿态结果进行对比。
31.优选的，所述步骤1.4包括以下步骤：
32.步骤1.4.1：对于n个顶点{xii＝1.......n}，首先构造每个顶点的特征向量，顶点xi的特征fi为对应的网络特征和顶点坐标的 concate[f(xi)；xi']，其中f为主干网络输出的特征图，f(xi)为顶点xi处的双线性差值输出，附加的xi'用于描述顶点间的位置关系，xi'是平移不变的，由每个顶点坐标减去轮廓中所有顶点的最小x和y得到相对坐标；
[0033]
步骤1.4.2：在获得顶点特征后，需要对轮廓特征进一步学习，顶点的特征可以视作1-d离散信号f:z
→
rd，然后使用标准卷积对顶点逐个进行处理，但这样会破坏轮廓的拓扑结构；
[0034]
步骤1.4.3：将顶点特征定义为公式1的周期信号，然后使用公式2的循环卷积进行
特征学习，k:[-r,r]
→
rd为可学习的卷积核，*为标准卷积操作，公式如下：
[0035][0036]
优选的，所述步骤2.2包括以下步骤：
[0037]
步骤2.2.1：对于任意两个关节点位置d
j1
和d
j2
，通过计算pafs 的线性积分来表征骨骼点对的相关性，也即表征了骨骼点对的置信度，公式表示如下：步骤2.2.2：为了快速计算积分，一般采用均匀采样的方式近似这两个关节点间的相似度，公式如下：p(u)＝(1-u)d
j1
+ud
j2
。
[0038]
优选的，所述步骤2.3中匈牙利算法的主要步骤如下：
[0039]
步骤2.3.1：对费用矩阵先作行变换，再作列变换；行变换：费用矩阵的每一行的各个元素分别减去该行的最小元素；列变换：费用矩阵的每一列的各个元素分别减去该列的最小元素，有0的列则无需作列变换；
[0040]
步骤2.3.2：在经过行变换和列变换的费用矩阵中寻找n个不同行不同列的0元素，如找到，则这n个不同行不同列的0元素位置即对应最优指派，否则，进行下一步；在该步骤中，一般使用标记法来寻找n个不同行不同列的0元素；依次检查新费用矩阵的各行，找出只有一个没有加标记的0元素的行，并将这个0元素加上标记
“”
，而与这个0元素在同一列的0元素全划去；依次检查新费用矩阵的各列，找出只有一个没有加标记的0元素的列，并将这个0元素加上标记
“”
，而与这个0元素在同一行的0元素全划去；
[0041]
步骤2.3.3：对新费用矩阵进行调整；对每一个加了标记的0元素画一条横线或竖线，使得这些横线和竖线覆盖全部0元素；在这些横线和竖线没有经过的元素中找出最小的元素；未画横线的各行元素减去这个最小的数，画竖线的各列元素加上这个最小的数；重新在费用矩阵中找出n个不同行不同列的0元素，从而找出最优指派。
[0042]
一种基于实例分割的多人体姿态估计检测及分割优化方法及装置，包括装置外壳，所述装置外壳外侧设置有散热孔，所述装置外壳一侧设置有图像采集模块，所述装置外壳内部设置有图像处理模块、图像存储模块、数据存储模块和数据处理模块，其中：
[0043]
所述图像采集模块用于采集人体图像；
[0044]
所述图像处理模块用于对采集的图像进行分帧去噪等处理；
[0045]
所述图像存储模块用于存储经过处理后的图像数据；
[0046]
所述数据存储模块用于存储所需要的运算程序；
[0047]
所述数据处理模块用于运行所需要的运算程序。
[0048]
优选的，所述图像处理模块、图像存储模块和数据存储模块均与数据处理模块电性连接，所述图像采集模块与图像处理模块电性连接。
[0049]
与现有技术相比，本发明提供了一种基于实例分割的多人体姿态估计检测及分割优化方法及装置，具备以下有益效果：
[0050]
1、本发明通过基于实例分割用不同颜色的掩码标注不同的人体个体，并且标记人体姿态的关键点，对人体的姿态进行估计检测，并且连续用对应颜色的掩码标注不同的人体个体，并且继续标记人体姿态的关键点，直到可以进行人体姿态估计检测，最后将人体姿
态估计检测结果进行差异性判断，得出人体姿态估计检测结果，对人体姿态进行动态检测，提高了检测精度；
[0051]
2、本发明通过保留特征点，将保留的特征点输入cnn后进行特征比较，将后续图像中相似度较高的特征点进行提取，再基于提取的特征点将对应颜色的掩码进行匹配，对新识别的特征点对应生成新的掩码，进而降低了分割负担，同时降低了数据分析负载。
附图说明
[0052]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制，在附图中：
[0053]
图1为本发明提出的一种基于实例分割的多人体姿态估计检测及分割优化方法及装置的流程框图；
[0054]
图2为本发明提出的一种基于实例分割的多人体姿态估计检测及分割优化方法及装置的结构图；
[0055]
图3为本发明提出的一种基于实例分割的多人体姿态估计检测及分割优化方法及装置的程序框图；
[0056]
图中：图像采集模块1、装置外壳2、散热孔3、图像处理模块4、图像存储模块5、数据存储模块6、数据处理模块7。
具体实施方式
[0057]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0058]
请参阅图1-3，本发明提供一种技术方案：一种基于实例分割的多人体姿态估计检测及分割优化方法，包括以下步骤：
[0059]
步骤1：每隔一定时间采集一帧图像，利用实例分割对图像进行预处理；
[0060]
步骤2：基于实例分割用不同颜色的掩码标注不同的人体个体，并且标记人体姿态的关键点，对人体的姿态进行估计检测；
[0061]
步骤3：基于实例分割连续用对应颜色的掩码标注不同的人体个体，并且继续标记人体姿态的关键点，直到可以进行人体姿态估计检测；
[0062]
步骤4：根据人体姿态估计检测结果进行差异性判断，得出人体姿态估计检测结果。
[0063]
本发明中，优选的，步骤1包括以下步骤：
[0064]
步骤1.1：对采集的图像进行分帧处理，再通过存储器对图像数据进行存储；
[0065]
步骤1.2：在分帧后的图像上识别对应的特征点，并且保留特征点；
[0066]
步骤1.3：将分帧处理的图像输入cnn，进行特征提取；
[0067]
步骤1.4：对提取的特征进行微调；
[0068]
步骤1.5：用fpn生成建议窗口，每张图片生成n个建议窗口，把建议窗口映射到cnn的最后一层卷积feature map上；
[0069]
步骤1.6：通过roi align层使每个roi生成固定尺寸的featuremap，对每一个roi使用roialign进行像素校正，然后对每一个roi 使用设计的fcn框架进行预测不同的实例所属分类，最终得到图像实例分割结果。
[0070]
本发明中，优选的，步骤2包括以下步骤：
[0071]
步骤2.1：当检测到图像实例分割结果有人体特征时对人体身上每一个关键点的位置进行独热编码，对应人体每一关键点生成一个掩码；
[0072]
步骤2.2：根据生成的掩码进行关节点拼接；
[0073]
步骤2.3：由于图片中人数不确定，同时伴随遮挡、变形等问题，因此只使用上述计算关节对相似度，只能保证局部最优，因此需要不同人体的某个关节点的点集与其他不同的点集进行唯一匹配，如：一群表示手肘的点集和手腕的点集，两点集中的点必须存在唯一匹配，由于关节点之间的相关性paf已知，将关键点作为图的顶点，将关键点之间的相关性paf看为图的边权，则将多人检测问题转化为二分图匹配问题，并用匈牙利算法求得相连关键点最优匹配。
[0074]
本发明中，优选的，步骤3包括以下步骤：
[0075]
步骤3.1：将步骤1.2中保留的特征点输入cnn，进行特征比较；
[0076]
步骤3.2：将后续图像中相似度较高的特征点进行提取；
[0077]
步骤3.3：基于提取的特征点将对应颜色的掩码进行匹配，对新识别的特征点对应生成新的掩码；
[0078]
步骤3.4：按照步骤2再次进行关节拼接和匹配；
[0079]
步骤3.5：对具有新生成掩码的人体进行姿态估计。
[0080]
本发明中，优选的，步骤4包括以下步骤：
[0081]
步骤4.1：获取若干个第一次估计的人体姿态结果{x1,x2,x3......xn}，获取若干个第二次估计的人体姿态结果{x'1,x'2,x'3......x'n}；
[0082]
步骤4.2：将两次估计结果一一对应进行对比，根据结果的变化情况对姿态进行估计；
[0083]
步骤4.3：以此类推，将若干个第m次估计的人体姿态结果与第 m-1次估计的人体姿态结果进行对比。
[0084][0085]
本发明中，优选的，步骤1.4包括以下步骤：
[0086]
步骤1.4.1：对于n个顶点{xii＝1.......n}，首先构造每个顶点的特征向量，顶点
xi的特征fi为对应的网络特征和顶点坐标的 concate[f(xi)；xi']，其中f为主干网络输出的特征图，f(xi)为顶点xi处的双线性差值输出，附加的xi'用于描述顶点间的位置关系，xi'是平移不变的，由每个顶点坐标减去轮廓中所有顶点的最小x和y得到相对坐标；
[0087]
步骤1.4.2：在获得顶点特征后，需要对轮廓特征进一步学习，顶点的特征可以视作1-d离散信号f:z
→
rd，然后使用标准卷积对顶点逐个进行处理，但这样会破坏轮廓的拓扑结构；
[0088]
步骤1.4.3：将顶点特征定义为公式1的周期信号，然后使用公式2的循环卷积进行特征学习，k:[-r,r]
→
rd为可学习的卷积核，*为标准卷积操作，公式如下：
[0089][0090]
本发明中，优选的，步骤2.2包括以下步骤：
[0091]
步骤2.2.1：对于任意两个关节点位置d
j1
和d
j2
，通过计算pafs 的线性积分来表征骨骼点对的相关性，也即表征了骨骼点对的置信度，公式表示如下：步骤2.2.2：为了快速计算积分，一般采用均匀采样的方式近似这两个关节点间的相似度，公式如下：p(u)＝(1-u)d
j1
+ud
j2
。
[0092]
本发明中，优选的，步骤2.3中匈牙利算法的主要步骤如下：
[0093]
步骤2.3.1：对费用矩阵先作行变换，再作列变换；行变换：费用矩阵的每一行的各个元素分别减去该行的最小元素；列变换：费用矩阵的每一列的各个元素分别减去该列的最小元素，有0的列则无需作列变换；
[0094]
步骤2.3.2：在经过行变换和列变换的费用矩阵中寻找n个不同行不同列的0元素，如找到，则这n个不同行不同列的0元素位置即对应最优指派，否则，进行下一步；在该步骤中，一般使用标记法来寻找n个不同行不同列的0元素；依次检查新费用矩阵的各行，找出只有一个没有加标记的0元素的行，并将这个0元素加上标记
“”
，而与这个0元素在同一列的0元素全划去；依次检查新费用矩阵的各列，找出只有一个没有加标记的0元素的列，并将这个0元素加上标记
“”
，而与这个0元素在同一行的0元素全划去；
[0095]
步骤2.3.3：对新费用矩阵进行调整；对每一个加了标记的0元素画一条横线或竖线，使得这些横线和竖线覆盖全部0元素；在这些横线和竖线没有经过的元素中找出最小的元素；未画横线的各行元素减去这个最小的数，画竖线的各列元素加上这个最小的数；重新在费用矩阵中找出n个不同行不同列的0元素，从而找出最优指派。
[0096]
一种基于实例分割的多人体姿态估计检测及分割优化方法及装置，包括装置外壳2，装置外壳2外侧设置有散热孔3，装置外壳 2一侧设置有图像采集模块1，装置外壳2内部设置有图像处理模块 4、图像存储模块5、数据存储模块6和数据处理模块7，其中：
[0097]
图像采集模块1用于采集人体图像；
[0098]
图像处理模块4用于对采集的图像进行分帧去噪等处理；
[0099]
图像存储模块5用于存储经过处理后的图像数据；
[0100]
数据存储模块6用于存储所需要的运算程序；
[0101]
数据处理模块7用于运行所需要的运算程序。
[0102]
本发明中，优选的，图像处理模块4、图像存储模块5和数据存储模块6均与数据处理模块7电性连接，图像采集模块1与图像处理模块4电性连接。
[0103]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
