1.本发明属于一种服装图像分割技术领域，具体涉及一种服装图像分割模型建立方法。
背景技术：2.图像分割是计算机视觉中的经典问题，是计算机视觉的基础，对于图像中内容的分割，是图像理解的重要组成部分。传统计算机视觉方法通过灰度、几何形状、空间纹理信息等特征把图像中不同的实体或区域分割出来，得到的同一区域或者实体中特征保持一致性或相似性，在不同的实例中表现出明显的不同。但传统方法图像分割模型粗糙，分割精度普遍较低，不适用于多种服装风格或相似服装颜色和背景的服装图像。
3.中国专利文献：cn201811082187.9，申请日2018.09.17，专利名称为：基于深度学习的时尚服装图像分割方法，公开了一种基于深度学习的时尚服装图像分割方法，包括用特征提取模块、服装语义信息提取模块和服装分割预测模块组成的深度神经网络结构模型；用关键点位置的回归函数、关键可见性损失函数、带权重的服装预测类别交叉熵损失函数以及服装位置的回归损失函数作为损失函数；权重参数初始化方法、数据的预处理、优化算法以及训练步骤作为优化策略，对图像中的服装进行分割。
4.中国专利文献：cn202111034024.5，申请日2021.09.03，专利名称为：模型训练方法、服装细粒度分割方法及相关装置，公开了一种模型训练方法、服装细粒度分割方法及相关装置，包括用cbnet和fpn相结合的架构组成的特征提取模块；用训练图像对应的特征信息通过预测模块对训练图像进行分割，训练图像对应的预测信息；用预测信息和标注信息通过深度神经网络进行训练，得到服装细粒度分割模型。
5.上述专利文献cn201811082187.9中的基于深度学习的时尚服装图像分割方法，用的是一种单主线的神经网络提取方法，通过特征提取模块、服装语义信息提取模块和服装分割预测模块串联组成网络结构对图片信息进行提取。上述专利文献cn202111034024.5中的模型训练方法和服装分割方法，通过两个不通的网络结构组合成新的网络结构，分两次训练以达到细粒度分割的目的，提升精度和准确度。但是这上述分割算法依旧存在以下缺陷：
6.1、图像背景复杂，服装的边缘信息和复杂背景的信息易混淆，出现边缘模糊等问题。
7.2、不同的衣物相似度较高，分割算法每个像素点进行分类，造成分割时存在大量错误相似点的问题。
8.3、数据集的制作难度大，衣服的花纹纹理种类繁多，实际的数据集衣物种类数量并不能满足训练要求。
技术实现要素：9.本发明提供了一种服装图像分割模型建立方法及服装图像分割方法，解决了现有
技术中的服装图像分割算法存在分割精度较低的问题。
10.本发明所采用的技术方案为：
11.第一方面，本发明提供了一种服装图像分割模型建立方法，包括：
12.s1、制作服装图像数据集：
13.s11、从社交和电商平台爬取包含服装的图片，所述图片包含单独的服装或者包含多个不同的服装；所述服装的品类包括短袖衫、长袖衫、外套、短裤、短裙、长裤和长裙；
14.s12、对图片进行像素级的标注，将不同品类的服装被标注成不同颜色；对于穿着在人身上的服装的图片，将人体皮肤与服装分开且将背景和皮肤化为一类进行标注得到原始图像；将原始图像制作成服装图像数据集；
15.s2、采用数据增强模块对原始图像进行增强处理；
16.所述数据增强模块包括旋转数据增强模块、翻转数据增强模块、拼接数据增强模块和变换数据增强模块；
17.s3、构建深度神经网络分割模型：
18.采用特征编码模块和特征解码模块构建深度神经网络分割模型，所述特征编码模块，包括特征提取主干网络和特征融合模块；
19.s4、对深度神经网络分割模型进行训练：
20.采用先冻结一部分权重再解冻全部权重的方式对深度神经网络分割模型进行训练；在训练的过程中，采用骰子系数损失函数和加权交叉熵损失函数训练结果计算损失值；
21.s5、采用后处理模块对深度神经网络分割模型的输出进行后处理；所述后处理模块包括全连接条件随机场。
22.进一步改进的方案：在步骤s2中，
23.所述旋转数据增强模块，用于将原始图像和标注围绕中心点进行相同角度旋转，且旋转角度在0-360度之间取随机值；
24.所述翻转数据增强模块，用于将原始图像和标注围绕图像横对称轴和竖对称轴进行翻转；
25.所述拼接数据增强模块，用于将原始图像和标注随机取四张相对应的样本，进行旋转、缩放和/或裁剪操作，之后合并成一张新的图片；
26.所述变换数据增强模块，用于将原始图像，利用小波变换滤除冗余高频信息，将接近的亮度值合并成相同的亮度值，当亮度值和随机生成的亮度值匹配时，直接交换对应的和，最后对图像进行小波重构，将图像转化为rgb，得到新的数据增强结果。
27.进一步改进的方案：在步骤s3中，
28.所述特征提取主干网络，包括step
1-step
22
，step
1-step
22
均为串联连接；
29.所述step1由一个步长为2的卷积模块和一个步长为1的卷积模块串联而成，且以原始图像为输入；
30.所述step
2-step4除卷积通道大小不同其余参数均相同；每个step由连续两个步长为1的深度可分离卷积模块和一个步长为2的深度可分离卷积模块串联，并和一个步长为2的卷积模块进行残差连接，对上一个step的输出进行特征提取；
31.所述step
5-step
20
所有参数均相同；每个step由连续3个步长为1的深度可分离卷积模块串联而成，并伴随一条空残差边结构，对上一个step的输出进行特征提取；
32.所述step
21
由连续两个步长为1的深度可分离卷积模块和一个步长为2的深度可分离卷积模块串联，并和一个步长为2的卷积模块进行残差连接，对上一个step
20
的输出进行特征提取；
33.所述step
22
由三个步长为1的深度可分离卷积模块串联而成，三个深度可分离卷积模块除卷积通道大小不同其余参数均相同，对上一个step
21
的输出进行特征提取。
34.进一步改进的方案：在步骤s3中，所述特征融合模块，包括一个并行空洞卷积模块和一个卷积模块；
35.所述并行的空洞卷积模块，包括一个卷积模块step
23-1
、三个空洞卷积模块step
23-2-step
23-4
和一个全局池化模块step
23-5
；
36.所述卷积模块step
23-1
由一个步长为1的普通卷积组成，对step
22
的输出进行特征提取；
37.所述三个空洞卷积模块step
23-2-step
23-4
，每个均由一个空洞卷积模块组成，三个空洞卷积模块除空洞率不同，其余参数均相同，分别对上一个step
21
的输出进行特征提取；
38.所述全局池化模块step
23-5由一个全局池化模块和一个正常卷积模块串联而成，对上一个step
21
的输出进行特征提取；
39.所述卷积模块，由并行的空洞卷积模块特征加权之后，进行一个步长为1的普通卷积step
24
，进行特征提取；
40.进一步改进的方案：在步骤s3中，所述特征解码模块，包括两个输入，且两个输入分别为step3和step
24
的输出；
41.所述特征解码模块，将step3的输出作为输入，经过一次步长为1的普通卷积step
25
，对特征进行提取；
42.所述特征解码模块，将step
24
的输出作为输入，经过一次4倍上采样step
26
，对特征进行解码还原；
43.所述特征解码模块，将step
25
和step
26
的输出特征进行融合相加，经过两个串联而成的步长为1的普通卷积step
27
，对特征进行提取；
44.所述特征解码模块；将step
27
的输出作为输入，经过一次4倍上采样step
28
，对特征进行解码，还原成原始图片大小；
45.所述特征解码模块，将step
28
的输出进行像素点分类，通过softmax模块，输出将每个像素点分为短袖衫、长袖衫、外套、短裤、短裙、长裤、长裙和背景中每一类的概率。
46.进一步改进的方案：在步骤s4中，对深度神经网络分割模型进行训练：
47.采用he初始化方法对所述神经网络分割模型的网络参数进行初始化；
48.在训练时，采用nesterov动量优化算法；
49.在训练时，采用基于voc2012数据集的预训练模型，冻结特征提取主干网络中所述step
1-step
22
的权重参数，训练50个epoch之后，对特征提取主干网络中所述step
1-step
22
的权重参数进行解冻，再继续训练50个epoch；
50.在训练时，采用骰子系数损失函数对短袖衫、长袖衫、外套、短裤、短裙、长裤、长裙和背景八种类型的训练结果计算损失函数，同时采用加权交叉熵损失函数对骰子系数损失函数的结果进行加权操作，分别对八种类型的训练结果进行添加权重，两种方法交替进行；
51.在训练时，采用阶层性学习率衰减策略的训练方法，初始学习率设为0.05，当损失
函数值持续3个epoch不下降时，学习率下降一半，直到损失函数值持续不下降，停止训练。
52.进一步改进的方案：所述骰子系数损失函数，将深度神经网络分割模型训练评价指标作为损失函数，表示预测的结果和真实值的交集与并集的比值；所述骰子系数损失函数，计算公式如下：
[0053][0054]
其中，x和y表示像素点坐标，pi表示像素点预测值，gi表示像素点预测值真实值；
[0055]
所述加权交叉熵损失函数，表示的是实际概率与期望概率的距离，根据每个种类的像素点多少，给每一个类别添加了一个权重参数；所述加权交叉熵损失函数，计算公式如下：
[0056][0057]
其中，wc表示为权重参数，计算公式为wc＝(n-nc)/n，其中n表示总的像素个数，而nc表示为真实值类别为c的像素个数，p表示为实际概率，y表示为期望概率。
[0058]
进一步改进的方案：所述特征提取主干网络step
1-step
22
中，每一层深度可分离卷积模块，后面都增加了批量归一层和非线性激励函数层；
[0059]
卷积核的大小均为3x3，step1的卷积通道数分别为32和64，step2的卷积通道数为128，step3的卷积通道数为256，step
4-step
20
的卷积通道数为728，step
21
的连续3个深度可分离卷积通道数分别为728、1024和1024，残差边的卷积通道数为1024，step
22
的连续3个深度可分离卷积通道数分别为1536、1536和2048。
[0060]
进一步改进的方案：在步骤s5中，
[0061]
采用后处理模块对深度神经网络分割模型的输出进行后处理；所述后处理模块包括全连接条件随机场。
[0062]
所述全连接条件随机场，输入为原始图片和所述特征解码模块的输出，将原所述特征解码模块的输出图片的每个像素点拥有一个类别标签；对应的原始图片中的每个像素点拥有一个对应观测值，同时每个像素点与所有的像素点相连接构成连接边，结合原始图片中所有像素之间的关系对所述特征解码模块的输出结果进行处理；
[0063]
所述全连接条件随机场，条件概率的定义为：
[0064][0065]
其中，fi、fj表示为像素(i，j)的特征向量，表示为度量像素i和j相似度的高斯权重，m表示为像素度的对数，μ(xi，xj)表示为不同标签对之间一致性的二维矩阵。
[0066]
第二方面，本发明提供了一种服装图像分割方法，将服装图像输入至采用上述任一所述的服装图像分割模型建立方法建立的服装图像分割模型中，输出分割后的服装图像。
[0067]
本发明的有益效果为：
[0068]
1、由于使用编码解码的方式，对边缘和空间信息的提取比较完整，分割的结果边
缘较光滑，和背景区分明显；
[0069]
2、由于加入后处理模块，分割结果的分类混乱现象得到改善，减少了大量分类错误的乱点；
[0070]
3、经过数据增强模块，可以增加训练数据量，避免因服饰种类较少而产生的训练欠拟合。
[0071]
4、采用变换数据增强模块(小波变换)对原图中的衣服纹理变换；衣服的纹理有各种各样，数据集不可能将所有纹理类别的衣服都收集，传统的数据增强方法只能对图片的大小尺寸角度等进行变换，但是都不能改变衣服的纹理，因此需要一种可以增加衣服纹理种类的数据增强方法；使用这种数据增强的方法，可以增强服装分割系统的泛性，即在分割不同纹理的衣服，都能达到一定的效果；因为深度学习的原理是使用大量的图片进行训练，最后测试时能识别的图片也不能和训练的图片差距过大，所以这种数据增强的方法，对网络的泛化能力有一定提升，可以识别不同纹理的衣服。
[0072]
4、本发明中，网络模型主要是由卷积操作组成，卷积可以通俗地理解成，用一个n*n的矩阵对图片的灰度值进行求矩阵内积的操作；在编码的过程中，图片中不同的衣服经过一步步的卷积处理之后，会分别得到一个能代表它的值，这个值可以被称为特征信息，而同时原图像会缩小到原来16倍的特征图，特征图上会标记出每个物体的特征信息；解码的过程中，代表不同图片的值会经过反卷积(卷积的逆运算)的处理，随着特征图的放大，特征信息被保留，直到放大为原始图像的大小，此时原始图像中会根据不同物体的特征信息，赋予所在区域不同的颜色，得到分割图。
[0073]
5、后处理模块可以减少分类点混乱：一元势函数描述的是像素点i的类别标签xi和对应的观测值yi的关系，即为对于每个像素i具有类别标签xi还有对应的观测值yi，这样每个像素点作为节点，像素与像素间的关系作为边，即构成了一个条件随机场，我们通过观测变量yi来推测像素i对应的类别标签xi。而全连接条件随机场的不同就在于，二元势函数描述的是每一个像素与其他所有像素的关系，所以叫“全连接”。二元势函数鼓励相似像素分配相同的标签，而相差较大的像素分配不同标签，而这个“距离”的定义与颜色值和实际相对距离有关。所以这样crf能够使图片尽量在边界处分割。
附图说明
[0074]
图1为本发明的技术方案实施流程图。
[0075]
图2为本发明的基于小波变换的数据增强模块示意图。
[0076]
图3为本发明的特征编码模块的特征提取主干网络示意图。
[0077]
图4为本发明的特征提取主干网络的特征提取模块示意图。
[0078]
图5为本发明的特征编码模块的特征融合模块示意图。
[0079]
图6为本发明的特征解码模块的示意图。
[0080]
图7为本发明的后处理模块示意图。
[0081]
图8为本发明的训练步骤流程图。
[0082]
图9为小波变换数据增强的效果图；从左至右依次是目标纹理图片、原图、纹理变换后的图。
具体实施方式
[0083]
下面结合附图及具体实施例对本发明做进一步阐释。
[0084]
参阅图1，本发明中，向服装图像分割模型中输入源图像，先经过数据增强模块增强，然后经过特征编码模块编码，再经过特征解码模块解码，再经过后处理模块处理，最后输出服装预测图像。
[0085]
实施例一：
[0086]
本实施例提供了一种服装图像分割模型建立方法，包括：
[0087]
s1、制作服装图像数据集：
[0088]
s11、从社交和电商平台爬取包含服装的图片，所述图片包含单独的服装或者包含多个不同的服装；所述服装的品类包括短袖衫、长袖衫、外套、短裤、短裙、长裤和长裙；
[0089]
s12、对图片进行像素级的标注，将不同品类的服装被标注成不同颜色；对于穿着在人身上的服装的图片，将人体皮肤与服装分开且将背景和皮肤化为一类进行标注得到原始图像；将原始图像制作成服装图像数据集；
[0090]
s2、采用数据增强模块对原始图像进行增强处理；
[0091]
所述数据增强模块包括旋转数据增强模块、翻转数据增强模块、拼接数据增强模块和变换数据增强模块；具体的：
[0092]
所述旋转数据增强模块，用于将原始图像和标注围绕中心点进行相同角度旋转，且旋转角度在0-360度之间取随机值；
[0093]
所述翻转数据增强模块，用于将原始图像和标注围绕图像横对称轴和竖对称轴进行翻转；
[0094]
所述拼接数据增强模块，用于将原始图像和标注随机取四张相对应的样本，进行旋转、缩放和/或裁剪操作，之后合并成一张新的图片；
[0095]
参阅图2，所述变换数据增强模块，用于将原始图像，利用小波变换滤除冗余高频信息，将接近的亮度值合并成相同的亮度值，当亮度值和随机生成的亮度值匹配时，直接交换对应的和，最后对图像进行小波重构，将图像转化为rgb，得到新的数据增强结果。
[0096]
小波变换，将原始图rgb图像转化为lαβ颜色空间，转化定义如下：
[0097][0098]
小波变换，每次将2x2的子区域进行小波变换，变化的参数计算如下：
[0099][0100][0101][0102]
其中，a0表示转化之前的参数，(i，j)表示像素点坐标，a、b、c、d表示灰度图像的左上角与当前点所围成的举行区域内所有像素点灰度值之和，a1表示近似分量、h1表示水平细
节分量、v1表示垂直细节分量和d1表示对角细节分量。
[0103]
参阅图9，从左至右依次是目标纹理图片、原图、纹理变换后的图片。采用小波变换对原图中的衣服纹理变换。衣服的纹理有各种各样，数据集不可能将所有纹理类别的衣服都收集，传统的数据增强方法只能对图片的大小尺寸角度等进行变换，但是都不能改变衣服的纹理，因此需要一种可以增加衣服纹理种类的数据增强方法。使用这种数据增强的方法，可以增强服装分割系统的泛性，即在分割不同纹理的衣服，都能达到一定的效果。因为深度学习的原理是使用大量的图片进行训练，最后测试时能识别的图片也不能和训练的图片差距过大，所以这种数据增强的方法，对网络的泛化能力有一定提升，可以识别不同纹理的衣服。
[0104]
s3、构建深度神经网络分割模型：
[0105]
采用特征编码模块和特征解码模块构建深度神经网络分割模型，所述特征编码模块，包括特征提取主干网络和特征融合模块；具体的：
[0106]
参阅图3，所述特征提取主干网络，包括step
1-step
22
，step
1-step
22
均为串联连接；
[0107]
参阅图4，所述step1由一个步长为2的卷积模块(普通卷积模块)和一个步长为1的卷积模块串联而成，且以原始图像为输入；
[0108]
所述step
2-step4除卷积通道大小不同其余参数均相同；每个step由连续两个步长为1的深度可分离卷积模块和一个步长为2的深度可分离卷积模块串联，并和一个步长为2的卷积模块进行残差连接，对上一个step的输出进行特征提取；
[0109]
所述step
5-step
20
所有参数均相同；每个step由连续3个步长为1的深度可分离卷积模块串联而成，并伴随一条空残差边结构，对上一个step的输出进行特征提取；
[0110]
所述step
21
由连续两个步长为1的深度可分离卷积模块和一个步长为2的深度可分离卷积模块串联，并和一个步长为2的卷积模块进行残差连接，对上一个step
20
的输出进行特征提取；
[0111]
所述step
22
由三个步长为1的深度可分离卷积模块串联而成，三个深度可分离卷积模块除卷积通道大小不同其余参数均相同，对上一个step21的输出进行特征提取；
[0112]
参阅图5，所述特征融合模块，包括一个并行空洞卷积模块和一个卷积模块；
[0113]
所述并行的空洞卷积模块，包括一个卷积模块step
23-1
、三个空洞卷积模块step
23-2-step
23-4
和一个全局池化模块step
23-5
；
[0114]
所述卷积模块step
23-1
由一个步长为1的普通卷积组成，对step
22
的输出进行特征提取；
[0115]
所述三个空洞卷积模块step
23-2-step
23-4
，每个均由一个空洞卷积模块组成，三个空洞卷积模块除空洞率不同，其余参数均相同，分别对上一个step
21
的输出进行特征提取；
[0116]
所述全局池化模块step
23-5
由一个全局池化模块和一个正常卷积模块串联而成，对上一个step
21
的输出进行特征提取；
[0117]
所述卷积模块，由并行的空洞卷积模块特征加权之后，进行一个步长为1的普通卷积step
24
，进行特征提取。
[0118]
参阅图6，所述特征解码模块，包括两个输入，且两个输入分别为s tep3和step
24
的输出；
[0119]
所述特征解码模块，将st ep3的输出作为输入，经过一次步长为1的普通卷积
step
25
，对特征进行提取；
[0120]
所述特征解码模块，将step
24
的输出作为输入，经过一次4倍上采样step
26
，对特征进行解码还原；
[0121]
所述特征解码模块，将step
25
和step
26
的输出特征进行融合相加，经过两个串联而成的步长为1的普通卷积step
27
，对特征进行提取；
[0122]
所述特征解码模块；将step
27
的输出作为输入，经过一次4倍上采样step
28
，对特征进行解码，还原成原始图片大小；
[0123]
所述特征解码模块，将step
28
的输出进行像素点分类，通过softmax模块，输出将每个像素点分为短袖衫、长袖衫、外套、短裤、短裙、长裤、长裙和背景中每一类的概率。
[0124]
所述特征提取主干网络step
1-step
22
中，每一层深度可分离卷积模块，后面都增加了批量归一层和非线性激励函数层；
[0125]
卷积核的大小均为3x3，step1的卷积通道数分别为32和64，step2的卷积通道数为128，step3的卷积通道数为256，step
4-step
20
的卷积通道数为728，step
21
的连续3个深度可分离卷积通道数分别为728、1024和1024，残差边的卷积通道数为1024，step
22
的连续3个深度可分离卷积通道数分别为1536、1536和2048。
[0126]
本发明中网络模型，主要是由卷积操作组成，卷积可以通俗地理解成，用一个n x n的矩阵对图片的灰度值进行求矩阵内积的操作。在编码的过程中，图片中不同的衣服经过一步步的卷积处理之后，会分别得到一个能代表它的值，这个值可以被称为特征信息，而同时原图像会缩小到原来16倍的特征图，特征图上会标记出每个物体的特征信息；解码的过程中，代表不同图片的值会经过反卷积(卷积的逆运算)的处理，随着特征图的放大，特征信息被保留，直到放大为原始图像的大小，此时原始图像中会根据不同物体的特征信息，赋予所在区域不同的颜色，得到分割图。
[0127]
s4、对深度神经网络分割模型进行训练：采用先冻结一部分权重再解冻全部权重的方式对深度神经网络分割模型进行训练；在训练的过程中，采用骰子系数损失函数和加权交叉熵损失函数训练结果计算损失值；参阅图8具体的：
[0128]
采用he初始化方法对所述神经网络分割模型的网络参数进行初始化；
[0129]
在训练时，采用nesterov动量优化算法；
[0130]
在训练时，采用基于voc2012数据集的预训练模型，冻结特征提取主干网络中所述step
1-step
22
的权重参数，训练50个epoch之后，对特征提取主干网络中所述step
1-step
22
的权重参数进行解冻，再继续训练50个epoch；
[0131]
在训练时，采用骰子系数损失函数对短袖衫、长袖衫、外套、短裤、短裙、长裤、长裙和背景八种类型的训练结果计算损失函数，同时采用加权交叉熵损失函数对骰子系数损失函数的结果进行加权操作，分别对八种类型的训练结果进行添加权重，两种方法交替进行；
[0132]
在训练时，采用阶层性学习率衰减策略的训练方法，初始学习率设为0.05，当损失函数值持续3个epoch不下降时，学习率下降一半，直到损失函数值持续不下降，停止训练。
[0133]
所述骰子系数损失函数，将深度神经网络分割模型训练评价指标作为损失函数，表示预测的结果和真实值的交集与并集的比值；所述骰子系数损失函数，计算公式如下：
[0134][0135]
其中，x和y表示像素点坐标，pi表示像素点预测值，gi表示像素点预测值真实值；
[0136]
所述加权交叉熵损失函数，表示的是实际概率与期望概率的距离，根据每个种类的像素点多少，给每一个类别添加了一个权重参数；所述加权交叉熵损失函数，计算公式如下：
[0137][0138]
其中，wc表示为权重参数，计算公式为wc＝(n-nc)/n，其中n表示总的像素个数，而nc表示为真实值类别为c的像素个数，p表示为实际概率，y表示为期望概率。
[0139]
s5、采用后处理模块对深度神经网络分割模型的输出进行后处理；所述后处理模块包括全连接条件随机场。具体的：
[0140]
采用后处理模块对深度神经网络分割模型的输出进行后处理；所述后处理模块包括全连接条件随机场。
[0141]
所述全连接条件随机场，输入为原始图片和所述特征解码模块的输出，将原所述特征解码模块的输出图片的每个像素点拥有一个类别标签；对应的原始图片中的每个像素点拥有一个对应观测值，同时每个像素点与所有的像素点相连接构成连接边，结合原始图片中所有像素之间的关系对所述特征解码模块的输出结果进行处理；
[0142]
所述全连接条件随机场，条件概率的定义为：
[0143][0144]
其中，fi、fj表示为像素(i，j)的特征向量，表示为度量像素i和j相似度的高斯权重，m表示为像素度的对数，μ(xi，xj)表示为不同标签对之间一致性的二维矩阵。
[0145]
参阅图7，一元势函数描述的是像素点i的类别标签xi和对应的观测值yi的关系，即为对于每个像素i具有类别标签xi还有对应的观测值yi，这样每个像素点作为节点，像素与像素间的关系作为边，即构成了一个条件随机场，我们通过观测变量yi来推测像素i对应的类别标签xi。而全连接条件随机场的不同就在于，二元势函数描述的是每一个像素与其他所有像素的关系，所以叫“全连接”。二元势函数鼓励相似像素分配相同的标签，而相差较大的像素分配不同标签，而这个“距离”的定义与颜色值和实际相对距离有关。所以这样crf能够使图片尽量在边界处分割。
[0146]
下面结合图像分割原理，对本发明做进一步说明：
[0147]
原始图像先输入step1，经过一个步长为2的卷积模块和一个步长为1的卷积模块，卷积通道数分别设置为32和64；
[0148]
step1输出之后，经过step
2-step4提取特征，这些step除卷积核大小不同其余参数均相同；step
2-step4为串联结构，每个step由连续两个步长为1的深度可分离卷积和一个步长为2的深度可分离卷积串联，并和一个步长为2的普通卷积进行残差连接，对上一个step的输出进行特征提取；step2卷积通道数设置为128，step3卷积通道数设置为256，step4卷积
通道数设置为728；
[0149]
step4输出之后，经过step
5-step
20
提取特征，这些step所有参数均相同；每个step由连续3个步长为1的深度可分离卷积模块串联而成，并伴随一条空残差边结构，对上一个step的输出进行特征提取，step
5-step
20
的卷积通道数均设置为728；
[0150]
step
20
输出之后，经过step
21
提取特征，step
21
由连续两个步长为1的深度可分离卷积和一个步长为2的深度可分离卷积串联而成，并和一个步长为2的普通卷积进行残差连接，对上一个step
20
的输出进行特征提取，step
21
的连续3个深度可分离卷积通道数设置分别为728、1024和1024，残差边的卷积通道数设置为1024；
[0151]
step
21
输出之后，经过step
22
提取特征，step
22
由三个步长为1的深度可分离卷积串联而成，三个卷积模块除卷积核大小不同其余参数卷相同，对上一个step
21
的输出进行特征提取，step
22
的连续3个深度可分离卷积通道数分别设置为1536、1536和2048。
[0152]
原始图像在经过特征提取主干网络之后，经过特征融合模块：
[0153]
原始图像在经过step
22
之后，会经过一个并行的空洞卷积模块进行特征提取，并行的空洞卷积模块由一个卷积模块、三个空洞卷积模块和一个全局池化模块组成；
[0154]
原始图像在经过step
22
之后，经过卷积模块step
23-1
进行特征提取，由一个步长为1的普通卷积组成，对step
22
的输出进行特征提取；
[0155]
原始图像在经过step
22
之后，经过三个空洞卷积模块step
23-2-step
23-4
进行特征提取，这三个空洞卷积分别由一个空洞卷积模块组成，除空洞率不同，其余参数均相同，分别对上一个step
21
的输出进行特征提取，空洞卷积率分别设置为6、12和18；
[0156]
图像在经过step
22
之后，经过全局池化模块step
23-5
进行特征提取，由一个全局池化层和一个正常卷积模块串联而成，对上一个step
21
的输出进行特征提取；
[0157]
图像在经过step
23
之后，得到五个不同尺度的特征图，在经过特征加权之后，通过一个步长为1的普通卷积step
24
，进行特征提取；
[0158]
图像在经过step3特征提取之后，作为特征解码模块的输入，经过一次步长为1的普通卷积step
25
，对特征进行提取；
[0159]
图像在经过step
24
特征提取之后，作为特征解码模块的输入，经过一次4倍上采样step
26
，对特征进行解码还原；
[0160]
图像在经过step
25
和step
26
之后，他们的输出特征进行融合相加，经过两个串联而成的步长为1的普通卷积step
27
，对特征进行提取；
[0161]
图像在经过step
27
特征提取之后，经过一次4倍上采样step
28
，对特征进行解码，还原成原图大小；
[0162]
图像在经过step
28
特征提取之后，通过softmax模块，输出概率大小，即将每个像素点分为短袖衫、长袖衫、外套、短裤、短裙、长裤、长裙和背景等八种类型中的一类的概率。
[0163]
在经过特征编码模块预测图像之后，预测结果会经过一个后处理模块，后处理模块由一个全连接条件随机场组成：
[0164]
将预测图像和原始图像输入全连接条件随机场，将预测图像的每个像素点拥有一个类别标签，对应的原始图像中的每个像素点拥有一个对应观测值，同时每个像素点与所有的像素点相连接构成连接边，结合原始图像中所有像素之间的关系对所述特征解码模块的输出结果进行处理。
[0165]
实施例二：
[0166]
本实施例提供了一种服装图像分割方法，将服装图像输入至采用上述任一所述的服装图像分割模型建立方法建立的服装图像分割模型中，输出分割后的服装图像。
[0167]
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。
技术特征：1.一种服装图像分割模型建立方法，其特征在于，包括：s1、制作服装图像数据集：s11、从社交和电商平台爬取包含服装的图片，所述图片包含单独的服装或者包含多个不同的服装；所述服装的品类包括短袖衫、长袖衫、外套、短裤、短裙、长裤和长裙；s12、对图片进行像素级的标注，将不同品类的服装被标注成不同颜色；对于穿着在人身上的服装的图片，将人体皮肤与服装分开且将背景和皮肤化为一类进行标注得到原始图像；将原始图像制作成服装图像数据集；s2、采用数据增强模块对原始图像进行增强处理；所述数据增强模块包括旋转数据增强模块、翻转数据增强模块、拼接数据增强模块和变换数据增强模块；s3、构建深度神经网络分割模型：采用特征编码模块和特征解码模块构建深度神经网络分割模型，所述特征编码模块，包括特征提取主干网络和特征融合模块；s4、对深度神经网络分割模型进行训练：采用先冻结一部分权重再解冻全部权重的方式对深度神经网络分割模型进行训练；在训练的过程中，采用骰子系数损失函数和加权交叉熵损失函数训练结果计算损失值；s5、采用后处理模块对深度神经网络分割模型的输出进行后处理；所述后处理模块包括全连接条件随机场。2.根据权利要求1所述的一种服装图像分割模型建立方法，其特征在于，在步骤s2中，所述旋转数据增强模块，用于将原始图像和标注围绕中心点进行相同角度旋转，且旋转角度在0-360度之间取随机值；所述翻转数据增强模块，用于将原始图像和标注围绕图像横对称轴和竖对称轴进行翻转；所述拼接数据增强模块，用于将原始图像和标注随机取四张相对应的样本，进行旋转、缩放和/或裁剪操作，之后合并成一张新的图片；所述变换数据增强模块，用于将原始图像，利用小波变换滤除冗余高频信息，将接近的亮度值合并成相同的亮度值，当亮度值和随机生成的亮度值匹配时，直接交换对应的和，最后对图像进行小波重构，将图像转化为rgb，得到新的数据增强结果。3.据权利要求1所述的一种服装图像分割模型建立方法，其特征在于，在步骤s3中，所述特征提取主干网络，包括step
1-step
22
，step
1-step
22
均为串联连接；所述step1由一个步长为2的卷积模块和一个步长为1的卷积模块串联而成，且以原始图像为输入；所述step
2-step4除卷积通道大小不同其余参数均相同；每个step由连续两个步长为1的深度可分离卷积模块和一个步长为2的深度可分离卷积模块串联，并和一个步长为2的卷积模块进行残差连接，对上一个step的输出进行特征提取；所述step
5-step
20
所有参数均相同；每个step由连续3个步长为1的深度可分离卷积模块串联而成，并伴随一条空残差边结构，对上一个step的输出进行特征提取；所述step
21
由连续两个步长为1的深度可分离卷积模块和一个步长为2的深度可分离卷积模块串联，并和一个步长为2的卷积模块进行残差连接，对上一个step
20
的输出进行特征
提取；所述step
22
由三个步长为1的深度可分离卷积模块串联而成，三个深度可分离卷积模块除卷积通道大小不同其余参数均相同，对上一个step
21
的输出进行特征提取。4.据权利要求3所述的一种服装图像分割模型建立方法，其特征在于，在步骤s3中，所述特征融合模块，包括一个并行空洞卷积模块和一个卷积模块；所述并行的空洞卷积模块，包括一个卷积模块step
23-1
、三个空洞卷积模块step
23-2-step
23-4
和一个全局池化模块step
23-5
；所述卷积模块step
23-1
由一个步长为1的普通卷积组成，对step
22
的输出进行特征提取；所述三个空洞卷积模块step
23-2-step
23-4
，每个均由一个空洞卷积模块组成，三个空洞卷积模块除空洞率不同，其余参数均相同，分别对上一个step
21
的输出进行特征提取；所述全局池化模块step
23-5
由一个全局池化模块和一个正常卷积模块串联而成，对上一个step
21
的输出进行特征提取；所述卷积模块，由并行的空洞卷积模块特征加权之后，进行一个步长为1的普通卷积step
24
，进行特征提取。5.据权利要求4所述的一种服装图像分割模型建立方法，其特征在于，在步骤s3中，所述特征解码模块，包括两个输入，且两个输入分别为step3和step
24
的输出；所述特征解码模块，将step3的输出作为输入，经过一次步长为1的普通卷积step
25
，对特征进行提取；所述特征解码模块，将step
24
的输出作为输入，经过一次4倍上采样step
26
，对特征进行解码还原；所述特征解码模块，将step
25
和step
26
的输出特征进行融合相加，经过两个串联而成的步长为1的普通卷积step
27
，对特征进行提取；所述特征解码模块；将step
27
的输出作为输入，经过一次4倍上采样step
28
，对特征进行解码，还原成原始图片大小；所述特征解码模块，将step
28
的输出进行像素点分类，通过softmax模块，输出将每个像素点分为短袖衫、长袖衫、外套、短裤、短裙、长裤、长裙和背景中每一类的概率。6.据权利要求5所述的一种服装图像分割模型建立方法，其特征在于，在步骤s4中，对深度神经网络分割模型进行训练：采用he初始化方法对所述神经网络分割模型的网络参数进行初始化；在训练时，采用nesterov动量优化算法；在训练时，采用基于voc2012数据集的预训练模型，冻结特征提取主干网络中所述step
1-step
22
的权重参数，训练50个epoch之后，对特征提取主干网络中所述step
1-step
22
的权重参数进行解冻，再继续训练50个epoch；在训练时，采用骰子系数损失函数对短袖衫、长袖衫、外套、短裤、短裙、长裤、长裙和背景八种类型的训练结果计算损失函数，同时采用加权交叉熵损失函数对骰子系数损失函数的结果进行加权操作，分别对八种类型的训练结果进行添加权重，两种方法交替进行；在训练时，采用阶层性学习率衰减策略的训练方法，初始学习率设为0.05，当损失函数值持续3个epoch不下降时，学习率下降一半，直到损失函数值持续不下降，停止训练。7.据权利要求6所述的一种服装图像分割模型建立方法，其特征在于，所述骰子系数损
失函数，将深度神经网络分割模型训练评价指标作为损失函数，表示预测的结果和真实值的交集与并集的比值；所述骰子系数损失函数，计算公式如下：其中，x和y表示像素点坐标，p
i
表示像素点预测值，g
i
表示像素点预测值真实值；所述加权交叉熵损失函数，表示的是实际概率与期望概率的距离，根据每个种类的像素点多少，给每一个类别添加了一个权重参数；所述加权交叉熵损失函数，计算公式如下：其中，w
c
表示为权重参数，计算公式为w
c
＝(n-n
c
)/n，其中n表示总的像素个数，而n
c
表示为真实值类别为c的像素个数，p表示为实际概率，y表示为期望概率。8.根据权利要求3所述的一种服装图像分割模型建立方法，其特征在于，所述特征提取主干网络step
1-step
22
中，每一层深度可分离卷积模块，后面都增加了批量归一层和非线性激励函数层；卷积核的大小均为3x3，step1的卷积通道数分别为32和64，step2的卷积通道数为128，step3的卷积通道数为256，step
4-step
20
的卷积通道数为728，step
21
的连续3个深度可分离卷积通道数分别为728、1024和1024，残差边的卷积通道数为1024，step
22
的连续3个深度可分离卷积通道数分别为1536、1536和2048。9.据权利要求1所述的一种服装图像分割模型建立方法，其特征在于，在步骤s5中，采用后处理模块对深度神经网络分割模型的输出进行后处理；所述后处理模块包括全连接条件随机场。所述全连接条件随机场，输入为原始图片和所述特征解码模块的输出，将原所述特征解码模块的输出图片的每个像素点拥有一个类别标签；对应的原始图片中的每个像素点拥有一个对应观测值，同时每个像素点与所有的像素点相连接构成连接边，结合原始图片中所有像素之间的关系对所述特征解码模块的输出结果进行处理；所述全连接条件随机场，条件概率的定义为：其中，f
i
、f
j
表示为像素(i，j)的特征向量，表示为度量像素i和j相似度的高斯权重，m表示为像素度的对数，μ(x
i
,x
j
)表示为不同标签对之间一致性的二维矩阵。10.一种服装图像分割方法，其特征在于，将服装图像输入至采用权利要求1-9任一所述的服装图像分割模型建立方法建立的服装图像分割模型中，输出分割后的服装图像。
技术总结本发明目提供了一种服装图像分割模型建立方法及服装图像分割方法，解决了现有技术中的服装图像分割算法存在分割精度较低的问题。服装图像分割模型建立方法，包括制作服装图像数据集；对图片进行像素级的标注，将不同品类的服装被标注成不同颜色；采用数据增强模块对原始图像进行增强处理；构建深度神经网络分割模型：对深度神经网络分割模型进行训练；采用后处理模块对深度神经网络分割模型的输出进行后处理；所述后处理模块包括全连接条件随机场。使用编码解码的方式，对边缘和空间信息的提取比较完整，分割的结果边缘较光滑和背景区分明显；加入后处理模块，分割结果的分类混乱现象得到改善，减少了大量分类错误的乱点。减少了大量分类错误的乱点。减少了大量分类错误的乱点。
技术研发人员：郑泽宇 温苗苗 朱成林 向忠 刘丽娴 何治 海滨
受保护的技术使用者：杭州知衣科技有限公司
技术研发日：2022.03.16
技术公布日：2022/7/5
