1.本发明属于遥感图像语义分割技术领域，具体涉及一种基于迭代域内适应和自训练的跨域遥感图像语义分割方法。
背景技术：2.随着遥感技术的不断发展，卫星和无人机等遥感设备能够收集大量的遥感卫星图像，例如无人机可以在城市和乡村上空捕获大量高空间分辨率的遥感图像。如此海量的遥感数据提供了许多应用机会，如城市监测、城市管理、农业、自动制图和导航；在这些应用中，关键技术都是遥感图像的语义分割或图像分类。
3.在最近几年里，卷积神经网络(cnn)已经成为语义分割和图像分类中最常用的技术，一些基于cnn的模型已经在这个任务中显示了它们的有效性，例如fcn、segnet、u-net系列、pspnets和deeplab系列。当训练图像和测试图像来自相同的卫星或城市时，这些模型都能得好不错的语义分割结果，但是当我们将这些模型用于不同卫星或城市获取的遥感图像的分类时，因为不同卫星和城市图像之间的数据分布不同(域偏移)，模型的测试结果会变得很糟糕，无法让人满意。在一些相关文献中，这个问题被称为域适应；在遥感领域，域偏移通常是由遥感设备成像时不同的大气条件、采集差异(这些差异将会改变物体的光谱特征)、传感器的光谱特征的差异或与不同类型的光谱波段(比如一些图片可能时红色，绿色和蓝色波段，而其他可能时近红外，红色和绿色波段)引起的。
4.在一个典型的域适应问题中，训练图像和测试图像通常被指定为源域和目标域，处理域适应的一个普通解决方案是在目标域上创建一个新的语义标记数据集，并在其上训练模型。由于目标城市收集大量像素标记的图像将是耗时和昂贵的，这种解决方案非常昂贵且不切实际，为了减少人工按像素分类的工作量，已经有了一些解决方案，比如从弱监督标记中合成数据。然而，这些方法仍然有局限性，因为它们也需要耗费大量的人工劳动。
5.为了提高基于cnn的语义分割模型的泛化能力，另一种常用的方法是随机变化颜色进行数据扩充，例如伽马校正和图像亮度转换，在遥感中得到了广泛的应用。尽管如此，当数据分布之间存在显著差异时，上述数据增强方法无法在跨域语义分割中取得不错的效果。使用这种简单的增强方法，不可能将一个包含红、绿、蓝波段的域的模型应用到另一个包含近红外、红、绿通道的域。为了克服这一限制，生成对抗网络(generative adversarial network，gan)[i.goodfellow,j.pouget-abadie,m.mirza,b.xu,d.warde-farley,s.ozair,a.courville,and y.bengio.generative adversarial nets[c].proceedings of the international conference on neural information processing systems(nips).2014:2672～2680]被用来生成与目标域图像的数据分布相似的拟目标域图像，这些生成的拟目标域图像可以用来训练目标域上分类器。与此同时，一些基于对抗学习[y.-h.tsai,w.-c.hung,s.schulter,k.sohn,m.-h.yang,and m.chandraker.learning to adapt structured output space for semantic segmentation[c].”proceedings of the international conference on computer vision and pattern recognition
(cvpr).2018:7472～7481]和自训练[y.zou,z.yu,b.kumar,and j.wang.unsupervised domain adaptation for semantic segmentation via class-balanced self-training[c].proceedings of the international conference on european conference on computer vision(eccv).2018:289～305]的方法也被研究人员提出来用来解决域适应问题。虽然这些方法在自然图像上取得了不错的效果，但将这些方法直接运用遥感图像上仍存在一定的问题，其中最重要的一点就是这些方法忽略了目标域图像自身存在的差异，例如同一个城市中的建筑物风格形状等也会存在较大的差异。
[0006]
由于目标域图像自身存在的差异，从源域迁移到目标域的域间语义分割模型在所有目标域图像上的分割效果也会存在差异，即在一部分目标域图像上能获得较为准确的分割结果，但在另一部分目标域图像上获得的分割结果会变得十分糟糕。因此如何对目标域图像进行进一步的域内域适应从而减小目标域内的差异，让跨域语义分割模型在所有目标域图像上都能取得不错的分割效果，这是跨域遥感图像语义分割面临的重要问题。其次，因为目标域图像没有对应的标签，目前常用的方法是采用自训练技术，将训练后的跨域语义分割模型生成的语义分割结果作为目标域图像的伪标签，然后用伪标签来继续训练跨域语义分割模型，从而得到最终的目标域语义分割模型。这种基于伪标签的自训练模型的训练效果取决于伪标签质量，当伪标签质量较差时，模型的训练效果也会大大减弱，模型的语义分割能力也会大大减弱。因此，如何挑选模型分割效果好的图像结果作为伪标签以及如何提升伪标签的质量也是自训练技术中一个重要的问题。
技术实现要素：[0007]
鉴于上述，本发明提供了一种基于迭代域内适应和自训练的跨域遥感图像语义分割方法，能够将一个域的遥感图像上训练的语义分割模型迁移到其他域遥感图像上，并在目标域遥感图像内进行进一步的域内域适应训练，在减小源域-目标域域间差异的同时减小目标域域内差异，从而进一步提高跨域遥感图像语义分割模型的性能和鲁棒性。
[0008]
一种基于迭代域内适应和自训练的跨域遥感图像语义分割方法，包括如下步骤：
[0009]
(1)利用源域图像xs、源域标签ys、源域语义分割模型fs以及目标域图像x
t
训练出源域-目标域域间语义分割模型f
inter
；
[0010]
(2)将目标域图像x
t
输入至源域-目标域域间语义分割模型f
inter
中，得到目标域图像x
t
的类别分割概率p
t
，进而利用类别分割概率p
t
计算出分割概率可信度s
t
和目标域伪标签
[0011]
(3)将所有目标域图像x
t
根据分割概率可信度s
t
大小进行降序排列，进而根据排列次序将所有目标域图像x
t
平均分成k个目标域图像子集k为大于1的自然数；
[0012]
(4)利用分割概率可信度最高的一组目标域图像子集及其对应的伪标签子集以及源域-目标域域间语义分割模型f
inter
和目标域图像子集迭代训练出目标域域内语义分割模型f
intra
；
[0013]
(5)将目标域图像x
t
输入至目标域域内语义分割模型f
intra
中，即可得到目标域图
像x
t
最终的类别分割概率p及分割结果map。
[0014]
进一步地，所述步骤(1)的具体实现过程如下：
[0015]
1.1利用源域图像xs和源域标签ys训练出源域语义分割模型fs；
[0016]
1.2利用源域图像xs以及目标域图像x
t
训练源-目标域图像双向转换器，其包含源
→
目标方向的图像转换器和目标
→
源方向的图像转换器；
[0017]
1.3对于上述训练过程中生成的所有图像转换器的中间保存模型，从中选择一组最优的结果作为源
→
目标方向的图像转换器gs→
t
和目标
→
源方向的图像转换器g
t
→s；
[0018]
1.4利用图像转换器gs→
t
将源域图像xs从源域转换到目标域，得到拟目标域图像gs→
t
(xs)；
[0019]
1.5利用拟目标域图像gs→
t
(xs)和源域标签ys训练出源域-目标域域间语义分割模型f
inter
。
[0020]
进一步地，所述步骤(2)中分割概率可信度s
t
的计算表达式如下：
[0021][0022]
其中：h和w分别为目标域图像x
t
的长度和宽度，c为目标域图像x
t
的分割类别数量，表示目标域图像x
t
中坐标为(h,w)的像素点对应类别ci的分割概率，ci表示第i个类别，i为自然数且1≤i≤c，θ()为用于度量像素点各类别分割概率之间似然度的函数。
[0023]
进一步地，所述步骤(2)中目标域伪标签的计算表达式如下：
[0024][0025]
其中：表示目标域伪标签中坐标为(h,w)的像素点的类别，p
t(h,w,c)
表示目标域图像x
t
中坐标为(h,w)的像素点对应类别c的分割概率，μc为类别c对应的分割概率阈值，值，表示目标域图像x
t
中坐标为(h,w)的像素点对应类别ci的分割概率，ci表示第i个类别，i为自然数且1≤i≤c，c为目标域图像x
t
的分割类别数量，表示目标域图像x
t
中坐标为(h,w)的像素点的分割概率混乱度，v为分割概率混乱度阈值。
[0026]
进一步地，所述分割概率混乱度的计算表达式如下：
[0027][0028]
其中：δ()为用于度量像素点各类别分割概率之间混乱程度的函数。
[0029]
进一步地，所述步骤(4)的具体实现过程如下：
[0030]
4.1初始将分割概率可信度最高的一组目标域图像子集及其对应的伪标签子集作为训练集及其对应的标签集将源域-目标域域间语义分割模型f
inter
作
为目标域域内语义分割模型
[0031]
4.2利用训练集标签集目标域域内语义分割模型以及目标域图像子集训练出目标域域内语义分割模型k为自然数且2≤k≤k；该训练过程与步骤(1)类似；
[0032]
4.3将目标域图像子集输入至目标域域内语义分割模型中，得到对应的类别分割概率进而利用该类别分割概率计算出目标域图像子集的伪标签子集
[0033]
4.4将目标域图像子集及其伪标签子集分别加入到训练集和标签集中；
[0034]
4.5令k＝k+1；
[0035]
4.6重复执行步骤4.2～4.5，直至k＝k，训练得到目标域域内语义分割模型即作为目标域域内语义分割模型f
intra
。
[0036]
本发明方法是一个完整的跨域遥感图像语义分割框架，包含源域-目标域域间域适应模型训练、目标域类别分割概率以及伪标签生成、目标域图像分割概率可信度得分排序、目标域域内迭代域适应模型训练和目标域分割结果生成。
[0037]
本发明提出了一个目标域域内的迭代域适应训练网络，在训练该迭代域适应训练网络时，本发明使用了常用的自训练学习技术，用分割效果较好的那一部分图像以及其分割结果作为伪标签来指导训练目标域分割模型，使目标域模型能在原本分割效果较差的那一部分图像上也能获得较好的分割结果。
[0038]
除此之外，为了应对目标域内分布复杂和多样化的特点，本发明还提出将目标域分成多个子域，并对多个子域进行迭代域内适应训练；为了将目标域分成多个子域，本发明提出了一种分割概率可信度计算方法，根据目标域模型的分割结果好坏得分对目标域图像进行排序和分类，从而挑选出分割效果好的那一部分目标域图像以及其伪标签来对目标域模型进行进一步的优化。
[0039]
在获得伪标签的过程中，本发明提出一种分割概率阈值和分割概率混乱度阈值结合的方法，去掉伪标签中分割结果比较差的像素点，从而避免了低质量伪标签干扰目标域模型训练。
[0040]
基于迭代域适应训练框架，本发明实现了目标域域内域适应训练，在获得了源域到目标域的迁移模型和目标域分割结果后，本发明采用的迭代域适应训练框架对目标域模型进行进一步的域内适应训练，得到了最后的目标域模型和语义分割结果，提高了跨域遥感图像语义分割的准确率。
附图说明
[0041]
图1为本发明跨域遥感图像语义分割方法的步骤示意图。
[0042]
图2为本发明跨域遥感图像语义分割方法的具体实施流程示意图。
具体实施方式
[0043]
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
[0044]
如图1和图2所示，本发明基于迭代域内适应和自训练的跨域遥感图像语义分割方法，包括如下步骤：
[0045]
(1)利用源域图像xs，源域标签ys，源域语义分割模型fs以及目标域图像x
t
训练出源域-目标域域间语义分割模型f
inter
。
[0046]
本实施方式在没有源域语义分割模型fs时，可利用源域图像xs和源域标签ys训练得到，模型网络结构可采用常用的deeplab、u-net等，损失函数采用具有k类别的交叉熵损失，对应公式如下：
[0047][0048]
式中：xs为源域图像，ys为源域图像标签，k为标签类别数量，fs为源域上的语义分割模型，为指示函数(当k＝ys时，当k≠ys时，指示函数参考—周志华.机器学习[m].北京:清华大学出版社,2016年.主要符号表)，表示数学期望函数，为xs输入至模型fs中得到的输出结果中第k类的结果。
[0049]
本实施方式将带建筑物标签的potsdam城市图像作为源域，并将其大小裁剪为512*512像素，保留rgb 3通道，图像和对应建筑物标签数量各为4000张，模型网络结构可采用deeplabv3+，学习率为10-4
，优化算法为adam，训练900个epoch得到potsdam域上的语义分割模型fs。
[0050]
常用的源域到目标域的域间域适应训练有基于图像转化和对抗学习，本实例以基于gan的图像转换方法做说明，但不仅限于基于图像转换的方法。基于图像转换的方法首先需要训练一个源域到目标域之间的双向图像转换模型，双向图像转换模型包含源域图像xs到目标域图像x
t
的图像转换器gs→
t
、目标域图像x
t
到源域图像xs的图像转换器g
t
→s以及源域判别器ds和目标域判别器d
t
，训练损失函数包含循环一致损失函数、语义一致损失函数、自损失函数和对抗损失函数。
[0051]
循环一致损失函数的方程表达式如下：
[0052][0053]
式中：xs为源域图像，x
t
为目标域图像，gs→
t
为源域图像xs到目标域图像x
t
的图像转换器，g
t
→s为目标域图像x
t
到源域图像xs的图像转换器，为数学期望函数，‖‖1为l1范数。
[0054]
语义一致损失函数的方程表达式如下：
[0055][0056]
式中：xs为源域图像，x
t
为目标域图像，gs→
t
为源域图像xs到目标域图像x
t
的图像转换器，g
t
→s为目标域图像x
t
到源域图像xs的图像转换器，为数学期望函数，f
t
为目标域上语义分割模型，fs为源域上语义分割模型，kl(||)为两个分布之间的kl散度。
[0057]
对抗损失函数的方程表达式如下：
[0058][0059]
式中：xs为源域图像，x
t
为目标域图像，gs→
t
为源域图像xs到目标域图像x
t
的图像转换器，g
t
→s为目标域图像x
t
到源域图像xs的图像转换器，为数学期望函数，ds为源域判别器，d
t
为目标域判别器。
[0060]
自损失函数的方程表达式如下：
[0061][0062]
式中：xs为源域图像，x
t
为目标域图像，gs→
t
为源域图像xs到目标域图像x
t
的图像转换器，g
t
→s为目标域图像x
t
到源域图像xs的图像转换器，为数学期望函数，‖
·
‖1为l1范数。
[0063]
本实施方式将potsdam城市图像作为源域，vaihingen城市图像作为目标域，图像大小均为512*512像素，3通道，其中potsdam城市图像(源域)832张，vaihingen城市图像(目标域)845张，图像中均包含建筑物。图像转换模型使用gan，包含potsdam图像xs到vaihingen图像x
t
的图像转换器gs→
t
、vaihingen图像x
t
到potsdam图像xs的图像转换器g
t
→s以及potsdam域判别器ds和vaihingen域判别器d
t
，生成器网络结构为9层resnet，判别器网络结构为4层cnn，训练损失函数包含循环一致损失函数、语义一致损失函数、对抗损失函数以及自损失函数，学习率为10-4
，优化算法为adam，训练100个epoch后停止，训练结束后得到potsdam-vaihingen方向的图像转换器gs→
t
和10个vaihingen-potsdam方向的图像转换器g
t
→s。然后用转换器gs→
t
将4000张512*512像素，3通道的potsdam卫星图像从potsdam域转换到vaihingen域，得到拟vaihingen图像gs→
t
(xs)。再利用拟vaihingen(目标域)图像gs→
t
(xs)和potsdam(源域)标签ys训练出拟vaihingen(目标域)语义分割模型f
inter
。
[0064]
模型网络结构可采用常用的deeplab、u-net等，损失函数采用具有k类别的交叉熵损失，对应公式如下：
[0065][0066]
式中：xs为源域图像，ys为源域图像标签，k为标签类别数量，f
inter
为目标域上的语义分割模型，为指示函数(当k＝ys时，当k≠ys时，时，表示数学期望函数，gs→
t
(xs)为拟目标域图像，为gs→
t
(xs)输入至模型f
inter
中得到的输出结果中第k类的结果。
[0067]
本实施方式使用步骤(1)中生成的4000张512*512像素，3通道的拟vaihingen域图像gs→
t
(xs)和源域标签ys训练vaihingen域上的语义分割模型f
inter
；模型网络结构采用deeplabv3+，学习率为10-4
，优化算法为adam，训练100个epoch得到拟vaihingen域上的语义分割模型f
inter
。
[0068]
(2)将目标域图像x
t
输入至源域-目标域域间语义分割模型f
inter
中，得到目标域图像x
t
的类别分割概率p
t
，并利用类别分割概率p
t
计算得到分割概率可信度s
t
和目标域伪标签
[0069]
本实施方式将500张512*512像素，3通道的vaihingen域图像x
t
输入至源域-目标域域间语义分割模型f
inter
中，得到目标域图像x
t
的类别分割概率p
t
，并利用类别分割概率p
t
计算得到分割概率可信度s
t
和目标域伪标签计算分割概率可信度s
t
的计算方式如下：
[0070][0071]
其中：∑表示数学求和符号，∏表示数学乘积符号，h为目标域图像x
t
的长度，w为目标域图像x
t
的宽度，c为目标域图像x
t
的分类类别数量，p
t
为将目标域图像x
t
输入语义分割模型f
inter
后得到的类别分割概率(其大小为h
×w×
c的矩阵)，p
t(h,w,c)
为类别分割概率p
t
中坐标为(h,w)，类别为c的像素点的类别分割概率，
[0072]
∏cp
t(h,w,c)
为计算坐标为(h,w)的像素点每一类别c对应的类别分割概率的乘积。
[0073]
利用类别分割概率p
t
得到目标域伪标签的方式如下：
[0074][0075]
其中：argmax为取最大值函数，为类别分割概率p
t
中坐标为(h,w)的像素点中类别分割概率最大的类别μc为用于生成类别c的伪标签的分割概率阈值，为目标域图像x
t
在坐标为(h,w)的像素点的分割概率混乱度，v为用于生成伪标签的分割概率混乱度阈值。其中分割概率混乱度的计算方式如下：
[0076][0077]
其中：∏表示数学乘积符号，h为目标域图像x
t
的长度，w为目标域图像x
t
的宽度，c为目标域图像x
t
的分类类别数量，∏cp
t(h,w,c)
为计算坐标为(h,w)的像素点每一类别c对应的类别分割概率的乘积。
[0078]
(3)将500张vaihingen(目标)域图像x
t
的分割概率可信度s
t
根据数值大小进行降序排序，并根据排序后的分割概率可信度s
t
将目标域图像x
t
平均分成4个目标域图像集合
[0079]
(4)利用分割概率可信度最高的vaihingen(目标)域图像子集及其对应的伪标
签子集源域-目标域域间语义分割模型f
inter
和目标域图像子集和目标域图像子集迭代训练得到目标域域内语义分割模型f
intra
。
[0080]
本实施方式采用的域内单次域适应方式以基于对抗学习的方法做说明，但不仅限于基于对抗学习的方法。基于对抗学习的方法需要域内语义分割模型f
intra
和判别器d
intra
，训练损失函数包括语义分割损失函数和对抗损失函数。
[0081]
语义分割损失函数的方程表达式如下：
[0082][0083]
式中：xi为第i部分的目标域图像子集，yi为xi对应的伪标签子集，k为标签类别数量，f
intra
为目标域上的语义分割模型，为指示函数(当k＝yi时，当k≠yi时，指示函数参考—周志华.机器学习[m].北京:清华大学出版社,2016年.主要符号表)，表示数学期望函数，为xi输入至模型f
intra
中得到的输出结果中第k类的结果。
[0084]
对抗损失函数的方程表达式如下：
[0085][0086]
式中：xi为第i部分的目标域图像子集，为数学期望函数，d
intra
为目标域判别器。
[0087]
本实施方式需要进行3次迭代域内适应，首先第一次迭代将125张的目标域图像子集和其对应的伪标签子集分别加入原本为空的训练集以及对应标签集然后用125张的训练集以及对应标签集和125张的目标域图像子集进行对抗训练，用源域-目标域域间语义分割模型f
inter
作为初始目标域域内语义分割模型分割模型网络结构采用deeplabv3+，判别器网络结构为4层cnn，学习率为10-4
，优化算法为adam，训练100个epoch后停止，训练结束后得到将125张的目标域图像子集输入至目标域域内语义分割模型中，得到类别分割概率并根据分割概率得到目标域图像子集的伪标签子集将目标域图像子集和对应伪标签子集分别加入训练集和对应标签集中，然后用250张的训练集以及对应标签集和125张的目标域图像子集以及域内语义分割模型进行对抗训练，分割模型网络结构采用deeplabv3+，判别器网络结构为4层cnn，学习率为10-4
，优化算法为adam，训练100个epoch后停止，训练结束后得到将125张的目标域图像子集输入至目标
域域内语义分割模型中，得到类别分割概率并根据分割概率得到目标域图像子集的伪标签子集将目标域图像子集和对应伪标签子集分别加入训练集和对应标签集中，然后用375张的训练集以及对应标签集和125张的目标域图像子集以及域内语义分割模型进行对抗训练，分割模型网络结构采用deeplabv3+，判别器网络结构为4层cnn，学习率为10-4
，优化算法为adam，训练100个epoch后停止，训练结束后得到最终的目标域域内语义分割模型f
intra
[0088]
(5)将目标域图像x
t
输入至目标域域内语义分割模型f
intra
中，得到目标域图像x
t
最终的分割结果map。
[0089]
表1为通过相关实验测试出的迁移前、直方图匹配(传统方法)、基于gan的域间域适应方法、单次域内域适应以及本发明迭代域内域适应策略得到的结果与标签真值计算得到的precision、recall、f1和iou指标。
[0090]
表1
[0091] 迁移前直方图匹配域间域适应域内域适应迭代域内域适应precision0.83870.41840.89200.88990.8884recall0.15480.28470.37040.40330.4226f10.26140.33890.52340.55510.5728iou0.15030.20400.35450.38410.4013
[0092]
从上述实验结果可以看出，本实施方式与迁移前相比有效的提升语义分割的iou指标，提升达到了0.2510。同时，与简单的直方图匹配相比，本实施方式的iou指标也提升了0.1973；将单次域内域适应和域间域适应相比，单次域内域适应的iou指标提升了0.0296，这说明了域内域适应能减少域内差异。与此同时，迭代域内域适应与单次域内域适应相比，iou指标进一步提升了0.0172，这说明了迭代域内域适应能进一步减少域内差异。因此，本发明对提高跨卫星遥感图像语义分割的性能有很大的帮助。
[0093]
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明，熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。
技术特征：1.一种基于迭代域内适应和自训练的跨域遥感图像语义分割方法，包括如下步骤：(1)利用源域图像x
s
、源域标签y
s
、源域语义分割模型k
s
以及目标域图像x
t
训练出源域-目标域域间语义分割模型f
inter
；(2)将目标域图像x
t
输入至源域-目标域域间语义分割模型f
inter
中，得到目标域图像x
t
的类别分割概率p
t
，进而利用类别分割概率p
t
计算出分割概率可信度s
t
和目标域伪标签(3)将所有目标域图像x
t
根据分割概率可信度s
t
大小进行降序排列，进而根据排列次序将所有目标域图像x
t
平均分成k个目标域图像子集k为大于1的自然数；(4)利用分割概率可信度最高的一组目标域图像子集及其对应的伪标签子集以及源域-目标域域间语义分割模型f
inter
和目标域图像子集迭代训练出目标域域内语义分割模型f
intra
；(5)将目标域图像x
t
输入至目标域域内语义分割模型f
intra
中，即可得到目标域图像x
t
最终的类别分割概率p及分割结果map。2.根据权利要求1所述的跨域遥感图像语义分割方法，其特征在于：所述步骤(1)的具体实现过程如下：1.1利用源域图像x
s
和源域标签y
s
训练出源域语义分割模型f
s
；1.2利用源域图像x
s
以及目标域图像x
t
训练源-目标域图像双向转换器，其包含源
→
目标方向的图像转换器和目标
→
源方向的图像转换器；1.3对于上述训练过程中生成的所有图像转换器的中间保存模型，从中选择一组最优的结果作为源
→
目标方向的图像转换器g
s
→
t
和目标
→
源方向的图像转换器g
t
→
s
；1.4利用图像转换器g
s
→
t
将源域图像x
s
从源域转换到目标域，得到拟目标域图像g
s
→
t
(x
s
)；1.5利用拟目标域图像g
s
→
t
(x
s
)和源域标签y
s
训练出源域-目标域域间语义分割模型f
inter
。3.根据权利要求1所述的跨域遥感图像语义分割方法，其特征在于：所述步骤(2)中分割概率可信度s
t
的计算表达式如下：其中：h和w分别为目标域图像x
t
的长度和宽度，c为目标域图像x
t
的分割类别数量，表示目标域图像x
t
中坐标为(h，w)的像素点对应类别c
i
的分割概率，c
i
表示第i个类别，i为自然数且1≤i≤c，θ()为用于度量像素点各类别分割概率之间似然度的函数。4.根据权利要求1所述的跨域遥感图像语义分割方法，其特征在于：所述步骤(2)中目标域伪标签的计算表达式如下：其中：表示目标域伪标签中坐标为(h，w)的像素点的类别，p
t(h，w，c)
表示目标域图像x
t
中坐标为(h，w)的像素点对应类别c的分割概率，μ
c
为类别c对应的分割概率阈值，
表示目标域图像x
t
中坐标为(h，w)的像素点对应类别c
i
的分割概率，c
i
表示第i个类别，i为自然数且1≤i≤c，c为目标域图像x
t
的分割类别数量，表示目标域图像x
t
中坐标为(h，w)的像素点的分割概率混乱度，v为分割概率混乱度阈值。5.根据权利要求4所述的跨域遥感图像语义分割方法，其特征在于：所述分割概率混乱度的计算表达式如下：其中：δ()为用于度量像素点各类别分割概率之间混乱程度的函数。6.根据权利要求1所述的跨域遥感图像语义分割方法，其特征在于：所述步骤(4)的具体实现过程如下：4.1初始将分割概率可信度最高的一组目标域图像子集及其对应的伪标签子集作为训练集及其对应的标签集将源域-目标域域间语义分割模型f
inter
作为目标域域内语义分割模型4.2利用训练集标签集目标域域内语义分割模型以及目标域图像子集训练出目标域域内语义分割模型k为自然数且2≤k≤k；4.3将目标域图像子集输入至目标域域内语义分割模型中，得到对应的类别分割概率进而利用该类别分割概率计算出目标域图像子集的伪标签子集4.4将目标域图像子集及其伪标签子集分别加入到训练集和标签集中；4.5令k＝k+1；4.6重复执行步骤4.2～4.5，直至k＝k，训练得到目标域域内语义分割模型即作为目标域域内语义分割模型f
intra
。7.根据权利要求1所述的跨域遥感图像语义分割方法，其特征在于：该方法是一个完整的跨域遥感图像语义分割框架，包含源域-目标域域间域适应模型训练、目标域类别分割概率以及伪标签生成、目标域图像分割概率可信度得分排序、目标域域内迭代域适应模型训练和目标域分割结果生成。
技术总结本发明公开了一种基于迭代域内适应和自训练的跨域遥感图像语义分割方法，包括源域-目标域域间域适应模型训练、目标域类别分割概率以及伪标签生成、目标域图像分割概率可信度得分排序、目标域域内迭代域适应模型训练和目标域分割结果生成。本发明利用源-目标域域间域适应减小了源-目标域域间差异，同时利用目标域域内域适应减小了目标域域内差异，提高了跨域遥感图像语义分割模型的准确率，进一步通过提出的基于分割概率可信度对目标域图像进行分类和排序从而挑选出分割效果好的预测结果作为伪标签，同时提出新的伪标签筛选策略去掉伪标签中极有可能出错的像素点，从而避免了目标域内自训练时伪标签错误所带来的影响。目标域内自训练时伪标签错误所带来的影响。目标域内自训练时伪标签错误所带来的影响。
技术研发人员：尹建伟 蔡钰祥 杨莹春 尚永衡 陈振乾 沈正伟
受保护的技术使用者：浙江大学
技术研发日：2022.04.18
技术公布日：2022/7/4
