本发明属于图像处理，特别涉及一种边界增强的弱监督海洋遥感图像语义分割方法及系统。
背景技术：
1、海洋遥感技术在海洋环境监测中起着关键作用，为灾害预报、资源勘探、海洋保护等提供了重要手段。语义分割是处理海洋遥感图像的核心技术，语义分割的目标是对输入图像进行逐像素预测实现区域分割，进而识别该类别的语义信息为分割结果叠加高层语义信息。这提供了解析海洋环境的有效工具，有助于深入理解海洋结构、特征以及生态系统的动态变化。
2、语义分割主要包括两个重要步骤：其一，对输入图像通过模型挖掘特征（编码区）；其二，基于提取到的特征逐像素预测类别进行分割（解码区）。前沿的语义分割模型基于fcn通过多尺度、图卷积进行特征挖掘，或利用transformer将遥感图像切割成小图像块减小模型计算量，并通过注意力机制等捕捉上下文信息，建模目标对象之间的关系。但是，这些方法存在以下问题：
3、第一，海洋遥感图像元素多样，全监督模型标注成本高。随着海洋遥感图像数据规模不断扩大，传统全监督方法在像素级标签上的昂贵标注过程成为制约语义分割发展的瓶颈。特别是以cnn和transformer为核心的像素级全监督方法在标签需求上无法满足实际大规模应用的可行性。现如今所面临的首要问题是如何在半监督框架下解决海洋遥感图像的语义分割任务。
4、第二，基于transformer的弱监督语义分割模型存在特征过于平滑的问题，导致边界信息误判。在弱监督语义分割方法中，采用了transformer作为核心结构，由于transformer的自注意力机制，模型对输入图像的每个位置都进行全局关注，导致特征过于平滑，丢失了一些重要的边界信息。这种平滑化现象影响了模型对图像边界的准确理解，可能导致生成的伪标签质量不佳。例如，在处理海洋遥感图像时，如果模型过于关注与船只无关的区域，就会造成生成的伪标签中船只的形状和位置与实际标注存在较大偏差。
技术实现思路
1、针对现有技术存在的不足，本发明提供一种边界增强的弱监督海洋遥感图像语义分割方法及系统，本方法也是基于transformer结构，使用segmenter作为backbone，但在此基础上，引入了一个新的伪标签生成过程，通过制作伪标签来实现半监督学习。本方法在保留了全局上下文信息的同时，通过聚类token对比模块和随机不确定区域对比模块，解决了过度平滑和伪标签质量不佳的问题。具体而言，聚类token对比模块利用中间层特征和图像级标签，对确定区域进行聚类并生成聚类关系图，从而生成高质量的伪标签。而随机不确定区域对比模块则进一步提高了表示一致性，减少了不确定区域的数量，从而提高了伪标签的质量和准确性。因此，相较于传统的全监督方法，本发明的半监督方法不仅能够有效降低标注成本，还能够提高模型的泛化能力和分割性能，为海洋遥感图像语义分割任务带来了新的解决方案。
2、为了解决上述技术问题，本发明采用的技术方案是：
3、一种边界增强的弱监督海洋遥感图像语义分割方法，包括以下步骤：
4、步骤s1、图像特征提取：对于输入的全局图像，通过vit模型提取最终层特征和中间层特征；
5、步骤s2、聚类词元对比：用中间层特征指导用以产生伪标签的最终层特征，具体来说：使用中间层特征，利用双阈值把词元划分为确定性区域和不确定区域，随后在只标注类别信息的标签指导下对确定区域进行聚类，聚类完成后生成聚类关系图，使用聚类关系图指导最终层输出特征，生成伪标签；
6、步骤s3、随机不确定区域对比：
7、在中间层随机不确定区域选取单元中随机选取两个中间层输出特征的不确定词元，在聚类中心替换不确定性区域单元中，通过对比选出与两个中间层输出特征的不确定词元距离最近的聚类中心进行替换，用替换的聚类中心监督最终层对应的不确定区域；
8、步骤s4、生成伪标签：用类激活图方法将最终层输出特征制作成伪标签，以作为在segmenter中进行分割任务的监督标签。
9、进一步的，步骤1具体是：通过vit模型将输入图像分为尺度为的图像块，得到n个相同大小的图像块，其中h、w、c分别为图像的高度、宽度和通道数，并将所有的图像块映射为一个线性映射嵌入序列，表示为：，将嵌入序列e输入vit模型的transformer模块迭代，其中是图像嵌入，是图像的位置嵌入。
10、进一步的，将嵌入序列e输入到transformer模块得到中间层特征和最终层特征，，n为图像块数量，d为图像块转为词元的维度，其中transformer模块包括一个多头自注意力msa模块、以及一个多层感知机mlp，每个块之前应用层规范ln，每个块之后进行残差连接，其中多头自注意力msa模块是由多个自注意力机制组成，自注意力机制的输入包括三个向量，如公式(1)所示：
11、 (1)；
12、其中，、、是可学习的参数，e是嵌入序列；
13、自注意力机制由三个向量q、k、v之间的计算组成，计算如下：
14、 (2)；
15、其中为向量k的维度；
16、设共有l层transformer模块，将第层多头注意力机制的输出送入多层感知机mlp，并在每个块之前应用层规范ln，之后进行残差连接，循环多次即可得到编码区中间层特征和最终层特征，计算公式如下：
17、 (3)；
18、 (4)；
19、其中表示层多头自注意力msa模块的输出特征，表示层transformer模块的输入特征，表示层多层感知机mlp的输出特征或者层transformer模块的输入特征。
20、进一步的，步骤s2中具体步骤如下：
21、中间层聚类关系图制作：在取得中间层特征后，按照第二个维度对进行加和操作，得到，n为图像块或者词元数量；然后，使用两个背景阈值、将划分到确定区域和不确定区域组成的特征，中确定区域用1表示，不确定区域用99表示，其中；因受到只标注类别信息的标签的弱监督，所以能够得知原输入图像的类别数量num，以此对与相应的中的确定区域进行聚类操作，将中的确定性区域划分成num个类别，将中对应的确定区域位置设置为类别对应的数字，即用0,1,2，...，num-1具体的类别码替换表示确定区域的数字码1,即得到，在此基础上制作相互成对关系的聚类关系图：如果两个标记共享相同的语义标签，它们被标记为正对；否则，它们被标记为负对；
22、聚类关系图指导最终层输出特征：聚类关系图r监督最终层输出特征f；最终层特征f由num个词元组成，两两词元对比，只考虑两个同时属于聚类关系图r中确定性区域的词元，忽略不确定区域；如果语义标签相同，即在聚类关系图r中标记为正对，则最大化两个最终层图像块词元的相似性，否则最小化相似性；最后一层的图像块词元作为最终层输出特征，则步骤2中使用的损失函数构造为：
23、(5)；
24、其中代表余弦相似度，和分别代表正数对和负数对的数量；表示对f按第一维特征第一次的遍历，形状为d×1，表示对f按第一维特征第二次的遍历，形状为d×1，和表示每个确定区域词元的类别编码；
25、最终层特征f后添加一个分类器，生成伪标签。
26、进一步的，步骤s3中，输入同样取自中间层的特征，在标示了不确定性区域与确定性区域的的指导下，在中间层随机不确定区域选取单元中随机选取中间层特征的两个属于不确定区域的词元，如不确定区域1和不确定区域2；接下来，在聚类中心替换不确定性区域单元中分别计算出这两个随机不确定区域与步骤s2聚类操作中产生的num个聚类中心的欧式距离，k=1,2，公式如下：
27、 (6)；
28、取中最小距离，记录所对应的两个聚类中心分别为，和，将其替换不确定区域1和不确定区域2；紧接着在最终层对应不确定区域提取单元中对最终层输出特征f进行处理，在最终层特征选取与中间层选取的随机不确定区域1和2位置相对应的两个图像块词元，和，促使其与和迫近，这样就在中间层的指导下，达到最终层不确定性区域与确定性区域对齐的目的。
29、进一步的，步骤s3中用到的损失函数为mse函数，如下：
30、 (7)；
31、其中，表示随机不确定区域对比损失，k表示选取的随机不确定区域的索引，表示与不确定性区域k距离最近的聚类中心，表示与中间层索引值为k的随机不确定区域所对应的最终层特征。
32、本发明还提供一种边界增强的弱监督海洋遥感图像语义分割系统，用于实现如前所述的边界增强的弱监督海洋遥感图像语义分割方法，包括图像特征提取模块、聚类词元对比模块、随机不确定区域对比模块、伪标签生成模块；
33、所述图像特征提取模块，用于通过vit模型提取中间层特征和最终层特征；
34、所述聚类词元对比模块，用于使用中间层特征指导用以产生伪标签的最终层特征；包括中间层聚类关系图制作单元和聚类关系图指导最终层输出特征单元；中间层聚类关系图制作单元利用中间层输出特征将每个图像块划分类别区域，根据类别关系制作聚类关系图；聚类关系图指导最终层输出特征单元利用聚类关系图指导同类别区域图像块的差异性，放大不同类别区域图像块的差异性；
35、所述随机不确定区域对比模块，用于将最终层不确定区域与中间层距离最近的确定区域聚类中心对齐；包括最终层不确定区域提取单元、中间层随机不确定区域选取单元和聚类中心替换不确定区域单元；中间层随机不确定区域选取单元随机从中间层输出特征选取两个不确定性区域；聚类中心替换不确定区域单元计算出与选取的不确定性区域最近的聚类中心并进行替换；最终层不确定区域提取单元用以在最终层特征选取与中间层选取的两个随机不确定区域位置相对应的两个图像块词元，迫使最终层不确定性区域的两个词元和替换的聚类中心对齐；
36、所述伪标签生成模块，用类激活图方法将最终层输出特征制作成伪标签，以作为在segmenter中进行分割任务的监督标签。
37、与现有技术相比，本发明优点在于：
38、1、改善了全监督模型标注成本高的问题，本发明提出了一种弱监督语义分割方法，显著降低了对大量标注数据的依赖，从而大幅减少了标注成本；在传统的全监督学习模型中，为了训练出高性能的模型，往往需要大量的标注数据。这些数据的标注过程不仅耗时耗力，而且成本高昂，尤其是在海洋遥感图像领域，标注工作需要由具备专业知识的专家来完成，进一步增加了成本；本发明通过引入弱监督学习技术，把原来的像素级标签的需求降为图像级标签，这种方法能够在标注数据稀缺的情况下，依然训练出性能良好的模型。
39、2、本方法旨在提高弱监督语义分割方法生成的伪标签的质量，特别是解决了因transformer过度平滑导致伪标签边界信息不准确的问题，利用transformer中间层具备丰富语义信息且token之间相似度低的特点，来引导最终层已经趋于平滑的特征，使其能够更好地保留边界信息，并与中间层的差异化信息对齐，相比传统的遥感图像语义分割方法，如segmenter，本方法在处理transformer后期token过于平滑化的问题上进行了有针对性的优化，从而有效避免了分割结果不准确的情况，通过突出边界信息的保留，该发明使得分割伪标签赋予的类别更加准确，尤其在处理token的边缘位置上表现突出。
40、综上所述，本发明相较于传统的全监督方法，提供的半监督方法不仅能够有效降低标注成本，还能够提高模型的泛化能力和分割性能，为海洋遥感图像语义分割任务带来了新的解决方案。
1.一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，步骤1具体是：通过vit模型将输入图像分为尺度为的图像块，得到n个相同大小的图像块，其中h、w、c分别为图像的高度、宽度和通道数，并将所有的图像块映射为一个线性映射嵌入序列，表示为：，将嵌入序列e输入vit模型的transformer模块迭代，其中是图像嵌入，是图像的位置嵌入。
3.根据权利要求2所述的一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，将嵌入序列e输入到transformer模块得到中间层特征和最终层特征，，n为图像块数量，d为图像块转为词元的维度，其中transformer模块包括一个多头自注意力msa模块、以及一个多层感知机mlp，每个块之前应用层规范ln，每个块之后进行残差连接，其中多头自注意力msa模块是由多个自注意力机制组成，自注意力机制的输入包括三个向量，如公式(1)所示：
4.根据权利要求1所述的一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，步骤s2中具体步骤如下：
5.根据权利要求4所述的一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，步骤s3中，输入同样取自中间层的特征，在标示了不确定性区域与确定性区域的的指导下，在中间层随机不确定区域选取单元中随机选取中间层特征的两个属于不确定区域的词元，如不确定区域1和不确定区域2；接下来，在聚类中心替换不确定性区域单元中分别计算出这两个随机不确定区域与步骤s2聚类操作中产生的num个聚类中心的欧式距离，k=1,2，公式如下：
6.根据权利要求4所述的一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，步骤s3中用到的损失函数为mse函数，如下：
7.一种边界增强的弱监督海洋遥感图像语义分割系统，其特征在于，用于实现如权利要求1-6任一项所述的边界增强的弱监督海洋遥感图像语义分割方法，包括图像特征提取模块、聚类词元对比模块、随机不确定区域对比模块、伪标签生成模块；
