本发明属计算机视觉和图像处理领域，尤其涉及一种基于类别感知的原型增强小样本分割网络及其分割方法。
背景技术：
1、随着深度神经网络的不断发展，尤其是全卷积网络(fcn)等架构的推出，语义分割在图像处理领域取得了显著的进展。由于全监督语义分割方法[1,2]需要大量标注数据，近年来小样本分割技术受到了研究者的广泛关注。
2、在小样本分割任务中，所用数据集被划分为支持集和查询集，其目标是在已知一个或多个来自支持集标注图像条件下，对查询集图像进行分割。在现有的小样本语义分割方法中，基于原型学习的方法具有良好的泛化性能，成为小样本分割任务中的主流方法之一，其优势在于通过学习类别的原型，模型能够更好地适应新的类别，使模型在标注数据有限情况下仍能取得令人满意的分割效果。然而，现有方法[3-5]提取支持图像目标类信息指导查询图像时，由于支持样本数量受限导致目标类信息可能会受到非目标类信息的干扰。
3、[参考文献]
4、[1]huang z,wang x,huang l,et al.ccnet:criss-cross attention forsemantic segmentation[c]//proceedings of the ieee/cvf internationalconference on computer vision.2019:603-612.
5、[2]li x,li x,zhang l,et al.improving semantic segmentation viadecoupled body and edge supervision[c]//computer vision-eccv 2020:16theuropean conference,glasgow,uk,august 23-28,2020,proceedings,part xvii16.springer international publishing,2020:435-452.
6、[3]zhang b,xiao j,qin t.self-guided and cross-guided learning forfew-shot segmentation[c]//proceedings of the ieee/cvf conference on computervision and pattern recognition.2021:8312-8321.
7、[4]liu w,zhang c,lin g,et al.crnet:cross-reference networks for few-shot segmentation[c]//proceedings of the ieee/cvf conference on computervision and pattern recognition.2020:4165-4173.
8、[5]liu w,zhang c,lin g,et al.crcnet:few-shot segmentation with cross-reference and region-global conditional networks[j].international journal ofcomputer vision,2022,130(12):3140-3157.
9、[6]shaban a,bansal s,liu z,et al.one-shot learning for semanticsegmentation[j].arxiv preprint arxiv:1709.03410,2017.
10、[7]nguyen k,todorovic s.feature weighting and boosting for few-shotsegmentation[c]//proceedings of the ieee/cvf international conference oncomputer vision.2019:622-631.
11、[8]lin t y,maire m,belongie s,et al.microsoft coco:common objects incontext[c]//computer vision-eccv 2014:13th european conference,zurich,switzerland,september 6-12,2014,proceedings,part v 13.springer internationalpublishing,2014:740-755.
12、[9]lang,chunbo,et al."learning what not to segment:anew perspectiveon few-shot segmentation."proceedings of the ieee/cvf conference on computervision and pattern recognition.2022.
技术实现思路
1、针对现有基于原型学习的方法在提取目标类信息时易受样本数量限制而带来的缺陷，本发明提出了一种基于类别感知的原型增强小样本分割方法。本发明方法可以在支持样本数量受限时引导网络更好地避免错误激活，从而更准确地将目标类分割出来。
2、本发明提出的基于类别感知的原型增强小样本分割方法，基于类别感知的原型增强小样本分割网络包括编码器、基学习器、类别感知模块cam、原型增项模块pem、编码器和细化模块r。其中，类别感知模块基于支持特征和支持掩码，能够同时感知目标类和非目标类，并由此学习类别权重使网络更加关注目标类区域。原型增强模块不仅提取支持原型，同时可基于查询图像初始预测提取查询原型，将两种原型相融合生成混合增强原型，并同时包含两者的信息，提高最终分割结果的质量。该方法包括以下步骤：
3、步骤1)获取网络训练与验证所使用的pascal-5i和coco-20i数据集，将数据集按照图像数据量均匀划分为4个子集，对于每个子集，随机抽取1000对“支持-查询”图像用于验证环节，所述支持图像指带有标注的样本，所述查询图像指待分割的未标注图像；
4、步骤2)构建基于类别感知的原型增强小样本分割网络，对查询图像进行分割：
5、利用步骤s1中获取的训练集和验证集对该网络进行训练和验证；该网络训练过程，包括以下步骤：
6、2-1)对于网络输入的支持图像is和查询图像iq，首先经过编码器encoder(·)提取支持特征fs与查询特征fq，表示如下：
7、fs＝encoder(is) (1)
8、fq＝encoder(iq) (2)
9、2-2)对所述的支持特征fs与查询特征fq进行处理：包括：
10、利用支持特征fs和支持掩码ms提取支持图像类信息cs；
11、利用查询特征fq与原型增强模块pem输出的查询图像初始预测结果获取查询图像类信息cq；
12、
13、其中，cam(·)表示类别感知模块cam映射；
14、利用支持特征fs和支持掩码ms通过掩码平均池化map运算提取前景类原型表示为：
15、
16、其中，i为图像像素位置索引，h和w分别为特征图高度和宽度；[·]是iverson括号，其若内部条件为真则等于1，否则等于0；ms为二值掩码，ms(i)＝1表示第i个像素属于c类；
17、2-3)所述原型增强模块pem利用所述前景类原型与所述查询特征fq生成混合增强原型所述混合增强原型用于查询图像目标区域的激活，表示为：
18、
19、其中，pem(·)表示原型增强模块pem映射；
20、将查询特征fq、支持图像类信息cs、查询图像类信息cq以及混合增强原型进行通道维连接，得到增强查询特征即：
21、
22、2-4)基于增强查询特征通过解码器生成查询图像目标类的预测结果ptar为：
23、
24、2-5)采用细化模块rm对所述查询图像目标类的预测结果ptar和基学习器处理查询特征fq得到的pbase进行细化，得到最终的小样本分割结果pout：
25、pout＝rm(ptar,pbase) (8)
26、进一步地，本发明所述的小样本分割方法，其中，
27、步骤1)中，针对4个子集，将每个子集轮流作为验证集，与此同时，另外三个子集作为训练集进行交叉验证。
28、步骤2)中，所述类别感知模块cam的设计为：所述类别感知模块cam利用支持特征fs、支持掩码ms、查询特征fq与从所述原型增强模块pem获取的查询图像初始预测结果输出得到支持图像类别信息cs和查询图像类别信息cq；包括：
29、1)对所述支持特征fs和支持掩码ms通过hadamard乘积得到融合类别信息后的支持特征
30、
31、其中，符号⊙表示hadamard乘积操作，符号ζ(·)表示双线性插值函数；对所述的进行池化、卷积及激活操作后得到支持图像的类别权重图ws，如下所示：
32、
33、其中，pool(·)表示池化操作，conv(·)表示卷积网络，σ(·)表示激活函数；
34、利用支持图像的类别权重图ws生成支持图像类信息cs：
35、
36、2)对所述查询特征fq和查询图像初始粗预测结果进行hadamard乘积操作得到融合类别信息后的查询特征
37、
38、对所述进行池化、卷积及激活操作得到查询图像的类别权重图wq：
39、
40、利用查询图像的类别权重图wq生成查询图像类信息cq：
41、
42、步骤2)中，所述原型增强模块pem包括有初始预测子模块ipm，所述原型增强模块pem的设计如下：
43、1)将前景类原型扩展到与支持特征fs相同大小得到支持原型利用所述支持原型对查询特征fq进行激活得到查询图像初始预测结果将查询特征fq和支持原型一起输入到初始预测子模块ipm获得初始预测结果表示为：
44、
45、其中，表示解码器，fp(·)运算过程为：
46、
47、2)对查询特征fq和查询图像初始预测结果进行掩码平均池化map运算提取查询原型表示为：
48、
49、其中，i为图像像素位置索引，h和w分别为特征图的高度和宽度；[·]是iverson括号，其若内部条件为真则等于1，否则等于0；表示第i个像素属于c类；
50、3)将所述前景类原型与查询原型进行通道维融合得到混合增强原型即：
51、
52、与现有方法受限于支持样本数量较少，尤其目标类别区域较小时对查询图像激活不充分现象相比，本发明提出的基于类别感知的原型增强小样本分割网络，通过综合利用支持样本和查询样本提取目标类别信息，引导网络关注目标类区域，并将查询图像信息融入支持原型有效增强原型质量，有效减少信息丢失和错误激活问题，提升小样本分割性能。在标准小样本数据集(pascal-5i和coco-20i)上测试，无论是1-shot任务还是5-shot任务，其性能均领先于其它小样本分割方法。
1.一种基于类别感知的原型增强小样本分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的小样本分割方法，其特征在于，所述步骤1)中，针对4个子集，将每个子集轮流作为验证集，与此同时，另外三个子集作为训练集进行交叉验证。
3.根据权利要求1所述的小样本分割方法，其特征在于，所述类别感知模块cam的设计为：所述类别感知模块cam利用支持特征fs、支持掩码ms、查询特征fq与从所述原型增强模块pem获取的查询图像初始预测结果输出得到支持图像类别信息cs和查询图像类别信息cq；包括：
4.根据权利要求1所述的小样本分割方法，其特征在于，所述原型增强模块pem包括有初始预测子模块ipm，所述原型增强模块pem的设计为：
