本发明属于多任务感知，更为具体地讲，涉及一种面向遥感场景的语义分割和高度估计方法。
背景技术：
1、随着计算机视觉的不断发展，神经网络在语义分割、深度估计等任务上取得了显著的进步和表现。在传统深度学习中，不同的视觉任务被单个神经网络单独的解决，这被称为单任务学习。与之相对的是多任务学习的概念，多任务学习是指利用一个深度神经网络同时解决多个不同任务的深度学习方法。相较于单个神经网络模型解决单个任务，多任务学习通过利用相似任务之间共享的信息提升多个任务的检测准确度。除此之外，多任务学习还具有更好地利用输入特征信息、减少训练时间和推理时间等优点。
2、在遥感技术领域，由于部署设备的性能限制，算法的高效和准确对于多种应用至关重要，包括军事侦察、环境监测、灾害评估等。
3、在遥感场景中，最近已有一些研究证明语义分割和高度估计存在任务间关联，使用多任务网络同时学习这两项任务即语义分割和高度估计能够最大程度利用它们之间的互利关系。pop-net利用基于编码器-双解码器框架的金字塔网络进行语义分割和高度估计。bamtl将边缘检测作为辅助任务，同时利用主任务即语义分割和高度估计之间的相关性，从而增强了预测能力。
4、现有语义分割和高度估计方法具有以下缺点：1、现有遥感多任务学习方法没有同时考虑多尺度和辅助任务两方面对遥感场景多任务学习算法的影响，知识库不够丰富；2、现有的遥感多任务学习方法大多忽略了不同任务间相关知识的重要交互作用，导致知识引导能力不足，影响主任务即义分割和高度估计的预测效果。
技术实现思路
1、本发明的目的在于克服现有技术的不足，提供一种面向遥感场景的语义分割和高度估计方法，以丰富知识库，提高知识引导能力，增强任务之间的联系，提高预测精度。
2、为实现上述发明目的，本发明面向遥感场景的语义分割和高度估计方法，其特征在于，包括以下步骤：
3、(1)、构建遥感知识引导多任务学习感知网络
4、构建的遥感知识引导多任务学习感知网络包含多尺度编码器、多尺度知识引导融合模块、最终预测模块，其中，多尺度知识引导融合模块又包括知识生成模块和跨知识传播模块，主任务为语义分割和高度估计，辅助任务为语义边缘检测、边缘检测；
5、1.1)、将由传感器获取的rgb格式的遥感图像iv∈r3×h×w输入多尺度编码器中，提取可见光图像特征，得到4个不同尺度、维度为ni的特征图fi，其中i为第i个尺度，i＝1,2,3,4，其中，r3×h×w表示通道数为3、高度为h和宽度为w的空间，遥感图像的通道为r、g、b即红绿蓝；
6、1.2)、将4个尺度的特征图fi，i＝1,2,3,4输入到多尺度知识引导融合模块，在多尺度知识引导融合模块中，包括两个主任务、两个辅助任务对应的四个知识生成模块，其中，第1个知识生成模块对应语义分割、第2个知识生成模块对应高度估计、第3个知识生成模块对应边缘检测、第4个知识生成模块对应语义边缘检测，4个知识生成模块都包括4个卷积模块，分别对4个尺度的特征图fi，i＝1,2,3,4进行卷积，生成四个任务下四个尺度的特征图k为任务序号，1对应语义分割、2对应高度估计、3对应边缘检测、4对应语义边缘检测；
7、对于第k任务，将特征图进行上采样和降维，得到与遥感图像iv尺寸相同特征图即中间预测
8、在多尺度知识引导融合模块中，包括两个主任务对应的跨知识传播模块，即语义分割跨知识传播模块和高度估计跨知识传播模块；语义分割跨知识传播模块包括四个多头注意力机制，每个尺度下的4个任务的特征图送入一个多头注意力机制进行信息交互，得到每个尺度下的特征图高度估计跨知识传播模块包括四个多头注意力机制，每个尺度下的4个任务的特征图送入一个多头注意力机制进行信息交互，得到每个尺度下的特征图
9、对于第k，k＝1，2个任务，将特征图进行上采样和降维，得到与遥感图像iv尺寸相同二维特征图，然后将四个特征图相同位置点进行拼接，得到第k任务的最终任务特征图即知识引导语义特征图和知识引导高度特征
10、1.3)、最终预测模块包括语义分割预测模块和高度估计预测模块，将知识引导语义特征图送入语义分割预测模块生成语义分割最终预测ps，将知识引导高度特征送入高度估计预测模块生成高度估计最终预测ph；
11、(2)、训练遥感知识引导多任务学习感知网络
12、每次迭代中从数据集中随机选取一可遥感图像iv送入遥感知识引导多任务学习感知网络，然后：
13、2.1)、采样交叉熵计算中间预测的语义分割损失函数
14、
15、其中，中间预测为中间预测中通道c、坐标位置u，v的分割预测值，c语义类别即通道数，是通道c、坐标位置u，v的真实分割值；
16、2.2)、采样l1损失计算中间预测的高度估计损失函数
17、
18、其中，中间预测为中间预测中坐标位置u，v的高度预测值，是坐标位置u，v的真实高度值；
19、2.3)、采用平衡交叉熵损失计算中间预测的边缘检测损失函数
20、其中：
21、
22、其中，中间预测为中间预测中坐标位置u，v的边缘预测值，是坐标位置u，v的真实边缘值；
23、2.4)、采用权重交叉熵和平衡交叉熵的混合函数计算语义边缘检测损失函数
24、
25、中间预测为中间预测中通道c、坐标位置u，v的语义边缘分割预测值，c语义类别即通道数，是通道c、坐标位置u，v的语义边缘真实分割值，wc为通道c的权重；
26、2.5)、采样交叉熵计算语义分割最终预测ps的语义分割损失函数
27、
28、其中，语义分割最终预测ps∈rc×h×w，为义分割最终预测ps中通道c、坐标位置u，v的分割预测值，c语义类别即通道数，是通道c、坐标位置u，v的真实分割值；
29、2.6)、采样l1损失计算高度估计最终预测ph的高度估计损失函数
30、
31、其中，高度估计最终预测ph∈rh×w，为高度估计最终预测ph中坐标位置u，v的高度预测值，是坐标位置u，v的真实高度值；
32、2.7)、计算训练总损失函数
33、
34、其中，wk是第k任务的权重；
35、2.8)、依据总损失函数为训练目标，根据总损失函数对可遥感知识引导多任务学习感知网络中的参数进行更新；
36、重复步骤2.1)～步骤2.8)直到网络收敛，得到训练好的可遥感知识引导多任务学习感知网络；
37、(3)、将遥感图像iv输入到训练好的可遥感知识引导多任务学习感知网络，得到语义分割最终预测ps以及高度估计最终预测ph。
38、本发明的目的是这样实现的。
39、本发明面向遥感场景的语义分割和高度估计方法为适应遥感场景的独特性，提出了一种面向遥感场景的通用的知识引导多任务学习感知框架。该框架利用骨干网络生成多尺度、多模态信息，这些信息构成了一个丰富的知识库。在这个知识库的引导下，各个主任务通过多尺度知识引导融合模块，能够有效地学习其他辅助任务所提供的补充知识。这种跨任务的知识共享不仅增强了任务之间的联系，而且使主任务能够从中受益，提高其预测精度。通过整合来自不同辅助任务的辅助信息，旨在实现更全面的特征表示和更准确的预测结果。这种方法不仅拓宽了多任务学习的应用领域，而且为遥感场景中的复杂视觉感知任务提供了新的解决方案。通过大量实验，本发明从可视化效果上以及量化指标上都取得了较好的结果。
1.一种面向遥感场景的语义分割和高度估计方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的面向遥感场景的语义分割和高度估计方法，其特征在于，使用hrnet v2模型作为多尺度编码器，使用卷积块作为知识生成模块和最终预测模块，使用轻量的多头自注意力机制作为跨知识传播模块。
