基于条件对抗网络的遥感影像建筑物变化检测方法

1.本发明涉及遥感影像建筑物智能变化检测技术领域，具体地说，涉及一种 基于条件对抗网络的遥感影像建筑物变化检测方法。


背景技术：

2.建筑物空间结构的动态监测为城镇化管理、规划和建设提供可靠的决策信 息和技术支撑。高分辨率遥感影像因其具有丰富的地物细节表征、空间结构、 邻近关系等信息，是深度城镇化动态监测的重要手段，对理解社会发展与人类 活动间的关系和交互具有重要意义。然而，城镇化建设的加速发展与多源高分 辨率影像间的异质性加大了建筑物动态监测的难度，使得高分辨率影像中建筑 物在不同时相下存在不同表现形式的多态性，极大限制了建筑物变化信息自动 解译的发展。因此，在成像条件、建筑物自身及背景等因素影响下，针对多时 相建筑物的多态性，发展有效的建筑物变化信息提取方法，提高建筑物检测的 精度并保持其完整性，具有重要的研究意义和应用价值。
3.建筑物变化检测现有方法可大致分为以下三类：
4.1)基于像元光谱信息的变化检测：即通过计算前后时相光谱差分信息获取 其变化强度，典型方法包括代数运算法、模糊聚类法、特征变换法等。该类方 法在中低分辨率(10米以上)遥感影像变化检测中尚能有效检测出变化目标， 然而应用于光谱分辨率存在差异的高分辨率影像时(特别是多源遥感影像)，其 精度明显降低。但该类方法仅考虑单个像元光谱信息，并且假设临近像元空间 特征独立，而在高分辨率影像实际应用中，建筑物特征更加精细化且相邻像元 之间存在特征依赖关系。
5.2)顾及空间信息的变化检测：即将影像划分为处理单元，结合光谱与空间 进行变化检测，主要包括：(1)基于纹理信息提取、基于马尔科夫随机场空间 信息提取等固定大小处理单元的变化检测方法；(2)面向对象的变化检测方法， 是将具有光谱、空间特征同质性的像元簇作为基本单元进行分割，其代表为 ecognition的面向对象方法、分割策略等；(3)基于形态学的方法，以影像形态 成分分析进行地物结构信息的提取，如建筑物指数、形态学滤波、区域生长法、 形态学属性分析等。该类方法能够顾及建筑物的空间分布特征，提高了高分辨 率遥感影像变化检测精度。但该类方法将多时相建筑物目标看作均质的对象进 行对比，存在建筑物分布失真的现象，无法有效利用目标对象内部的细节信息； 同时，多源高分辨率影像间光谱差异使得光谱特征分析的面向对象方法难以适 用，进而影响变化检测结果。
6.3)基于深度学习的变化检测：即根据观测数据统计上的一致性，能够自动、 多层次进行非线性特征识别和提取，大幅提高影像特征提取的精度，包括生成 式对抗网络、联合稀疏表达、基于神经网络和随机森林的空间结构提取等。该 类方法能够提取空间、光谱一体化特征，建立了目标特征之间的非线性相关关 系，一定程度上抑制了多源遥感影像建筑物间的特征差异，提高了检测精度。 但该类方法仍然难以顾及多时相建筑物语义特征的相关性和互补性，建筑物的 多态性尚未有效利用，且样本库构建难度大，限制了深度学习
变化检测的发展。
7.综上所述，高分辨率遥感影像建筑物变化检测研究已经取得了长足进展， 特别是基于深度学习的检测方法表现出巨大的应用潜力，但仍然存在不少缺陷， 主要体现在：
8.1)多时相影像建筑物多态性难以表达。目标多样、结构复杂、阴影遮挡等 现象是建筑物变化检测的痛点和难点问题。在高分辨率遥感影像中，即使目标 未发生变化，也会造成特征差异放大效应，如工业区厂房、居民区中低层建筑 等；同时，建筑物空间结构、地物类别差异等复杂背景问题突出，如城市中心 区高层建筑物密集，受成像条件影像其空间位置和分布情况也有很大不同，难 以顾及建筑物形态特征的完整性，进而无法精确计算和判定建筑物变化信息。
9.2)深度学习变化检测方法训练集构建困难。当前呈现出人工特征先验知识 与深度学习模型相结合的技术发展方向，提出了若干深度学习变化检测方法， 但建筑物的多样性、复杂性与多源遥感影像的异质性客观存在，也就对变化检 测训练集提出了极高的要求，如成像系统、观测条件、区域类型、背景环境等 复杂条件，造成深度学习训练样本难以获取、缺乏公开样本数据集、相关研究 不多等现象，严重影响了遥感影像智能解译的发展。


技术实现要素：

10.本发明的内容是提供一种基于条件对抗网络的遥感影像建筑物变化检测方 法，其能够克服现有技术的某种或某些缺陷。
11.根据本发明的一种基于条件对抗网络的遥感影像建筑物变化检测方法，其 包括以下步骤：
12.1)在条件对抗网络中，利用全卷积网络，研究多源高分辨率影像建筑物的 语义分析和自适应传播方法，通过交叉融合构建噪声矢量以获取其潜在关系， 引入域自适应特征空间，研究多时相建筑物形态特征感知方法及隐式概率分布， 为条件对抗网络的自学习与训练提供可靠数据源；
13.2)利用损失函数进行网络的优化和训练，结合建筑物形态特征，通过生成 模型开展建筑物多态模拟集的自学习、分析和生成，同时进行判别模型的数据 间的真实性判定、优化和对抗，结合建筑物多层次语义特征和潜在空间关系， 研究生成模型与判别模型之间的对抗与优化方法，精确提取建筑物的变化概率 分布；
14.3)研究建筑物的域不变特征分析方法，加入softmax交叉熵损失函数的分 类器模型，并结合决策规则，获取高精度的建筑物变化检测结果；
15.4)利用地表真实变化数据对变化检测结果进行多种方式的定性与定量评价。
16.作为优选，利用全卷积网络的多层网络结构，研究从浅层局部特征到深层 抽象特征的自适应学习与分析方法，设计多源数据批标准化与非线性激活函数， 改善网络的稳定性和收敛速度，实现对建筑物多层次语义特征分析，具体如下：
17.卷积网络的每一层数据是由h
×
w空间维度和d特征维数所组成的三维数据， 对高分辨率遥感影像进行卷积运算和特征提取；在卷积层中，输入像元坐标(i,j) 下x
ij
向量，其输出向量为y
ij
，其表达公式为：
18.y
ij
＝f
ks
({x
si+δi,sj+δj
}0≤δi,δj≤k)
ꢀꢀꢀ
(11)
19.其中，k为卷积核尺寸，s表示步幅长度，最终通过激活函数f得到特征影像。 当卷
积核大小和步幅长度遵循转换规则时，激活函数表达为：
[0020][0021]
其中，代表哈达玛积；当普通深度网络g对非线性函数进行计算时，并只对每 一层计算非线性滤波，即可称为全卷积网络；通过任意尺寸的输入数据进行计 算并产生相应的空间维度输出，如果损失函数为最后一层的空间维度总和，则 表示为：
[0022][0023]
最终，梯度l将是每层空间组成梯度的总和。
[0024]
作为优选，采用leaky relu(rectified linear unit)激活函数，即修正线 性单元的特殊化，使模型能够自适应空间传播，保持高分辨率影像的本质特征 和稳定性，并具备稀疏激活特性；当leaky relu未被激活时，仍然进行非零输 出值，其表达为：
[0025][0026]
其中，α为大于0的浮点数；
[0027]
在全卷积网络每一层中使用批标准化，其表达公式为：
[0028][0029]
其中，β
ij
＝e[x
ij
]。
[0030]
作为优选，以t1时相影像作为生成模型的输入数据，t2时相为判别模型输入 数据，并利用交叉融合方式构建噪声矢量，研究建筑物形态特征感知方法，并 顾及地物类别的结构差异，构建域自适应空间，通过生成器自动生成建筑物多 态模拟集实现网络的自适应学习与训练，发现影像中的高层次表达，在顾及建 筑物形态的基础上获取其变化概率分布，从而抑制多时相建筑物间的表征差异。
[0031]
作为优选，为来自t1时相影像域的数据集，来自t2时 相的数据集，条件对抗网络中生成器函数g(xs,z1；θg)
→
xf，由参数θg表示，生成 器g(xs,z1；θg)
→
xf将t1时相下影像的生成影像xs和噪声矢量z映射到域自适应特 征影像xf，生成器函数g可以生成任意大小的新数据集xf＝{g(xs,z),ys}；其中， 生成器噪声矢量由t1时相的全色影像和t2时相的多光谱影像利用gram-schimidt
ꢀꢀ
adaptive交叉融合后进行提取，使未变化目标特征保持不变，伪变化目标表现出 相似的空间特征，变化目标则表现出较大的光谱畸变和模糊量化；
[0032]
条件对抗网络中判别模型内由判别器函数d(x；θd)组成，判别器通过来自t2时相影像x的目标域x
t
对生成器所生成的特征影像xf进行判断，对生成模型所 输出的影像与t2时相的真实影像x进行似然估算d；此外，将分类器加 入条件对抗网络，将判别结果标签分配给影像x∈{xf,x
t
}；
[0033]
条件对抗网络可以表达为：
[0034]
[0035]
其中，α，β为控制损失函数相互作用的权重，ld表示域损失，其表达公式为：
[0036][0037]
l
t
利用典型的softmax交叉熵损失函数进行分类标记计算：
[0038][0039]
式中，ys为xs影像类别标签的独热编码；在对分类器t进行训练时，利用原 始影像和模拟影像对t进行训练，但仅利用域自适应特征影像xf时，需要运用不 同的初始化值以保持模型的稳定性，在没有训练数据来源的情况下，生成模型 可以改变分类任务，优化和训练建筑物模拟集，并学习真实数据的隐式概率分 布。
[0040]
作为优选，采用形态特征感知的方法进行建筑物特征描述，即不丢失建筑 物形态信息的同时表达形态之间的相互关系；在高分辨率影像建筑物形态特征 表达过程中，利用快速形态分解方法获取影像内建筑物形态的集合，并利用形 态之间的关系建立多层次形态特征；其中，建立影像水平集分解，将影像i:ω
→
r 分解为上水平集和下水平集，分别表示为：i
μ
(i)＝{p∈ω；i(p)≥μ}和 i
μ
(i)＝{p∈ω；i(p)≤μ}，μ∈r为某个灰度值；通过水平集作为影像的完全表达， 并将建筑物形态定义为水平轮廓线内所有像元的集合，那么形态特征集下的每 个节点都代表了一个形态，对影像中的建筑物形态特征进行描述；
[0041]
在条件对抗网络的极大极小优化过程中，在建筑物形态特征感知的前提下， 提取多时相影像的多层次联合表达，根据生成模型的自学习与模拟以及判别模 型的对抗与优化，自动生成建筑物多态模拟集，并实现网络的自训练与分析， 进而获取高精度的变化概率分布；首先，保持生成模型参数不变，对判别模型 进行判别器函数θd更新和分类器函数θ
t
优化；其次，保持θd和θ
t
不变，更新生 成模型的生成函数θg；再次，将多时相高分辨率影像学习得到的建筑物特征， 投影到域自适应空间进行非线性特征识别，在此空间中，未变化建筑物的高层 次特征会趋向一致，变化建筑物特征会具有较大差异，从而表现出较高的可分 性；最后，经过条件对抗网络的优化与对抗，不断生成与扩展建筑物多态模拟 集，xs和x
t
作为判别器d的输入，并由判别器估算数据变化概率分布；此外， 判别器将输出标量值，在假设每一个时相的建筑物特征概率只取决于建筑物本 身特征时，利用最大似然估算公式进行推导，来表示生成模型输出数据与真实 数据的最大似然概率。
[0042]
作为优选，通过一致性训练的处理方式研究相似性损失函数，设计尺度不 变性掩膜的域不变特征分析方法，消除变化前后真实影像和模拟影像之间的巨 大差异，保持建筑物的真实特性；同时，基于真实影像的相似性损失函数有助 于稳定条件对抗网络的优化过程，协同决策规则进一步提升变化检测精度；因 此，可以用如下公式来实现优化问题：
[0043][0044]
其中，α，β，γ为控制损失函数相互作用的权重，lc为相似性损失；在相似性 损失函数中，使用一种尺度不变性误差的掩膜，用以消除真实影像与模拟影像 间的特征差异，而不是输入与输出之间的绝对差异，当掩膜在模拟影像和真实 影像间存在误差时，相似性损失函数给定掩膜m∈rk表达为：
[0045]
[0046]
其中，k表示输入影像x的像元数量，为规则化l2范数的平方，即向量各 元素的平方和后求平方根；损失函数能够允许模型学习并再现建筑物的整体形 态特征，而不在输入数据的光谱或灰度上进行运算；针对不同时相数据源，允 许对抗训练以一致的方式进行。
[0047]
作为优选，在获取建筑物语义特征和变化概率分布后，根据决策规则对建 筑物变化信息进行优化。
[0048]
本发明以建筑物多态性模拟集与自学习为核心，基于条件对抗网络思想， 开展生成模型的特征自学习并自动生成训练集，同时进行判别模型的对抗、优 化与判定，结合形态特征感知与域自适应空间方法，分析并模拟多时相建筑物 的多态性，通过自动生成建筑物多态模拟集，研究自学习与识别建筑物本质特 征的方法，获取建筑物变化概率分布；此外，拟将域不变特征分析和决策规则 引入条件对抗网络中，进一步优化建筑物变化检测结果。本发明利用条件对抗 网络实现建筑物变化的有效判定和提取，以期提高建筑物智能变化检测的精度 和完整性，发掘高分辨率影像变化检测的应用潜力，具有方法创新和应用价值。
附图说明
[0049]
图1为实施例1中一种基于条件对抗网络的遥感影像建筑物变化检测方法 的流程图。
具体实施方式
[0050]
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应 当理解的是，实施例仅仅是对本发明进行解释而并非限定。
[0051]
实施例1
[0052]
如图1所示，本实施例提供了一种基于条件对抗网络的遥感影像建筑物变 化检测方法，其包括以下步骤：
[0053]
1)在条件对抗网络中，利用全卷积网络，研究多源高分辨率影像建筑物的 语义分析和自适应传播方法，通过交叉融合构建噪声矢量以获取其潜在关系， 引入域自适应特征空间，研究多时相建筑物形态特征感知方法及隐式概率分布， 为条件对抗网络的自学习与训练提供可靠数据源；
[0054]
2)利用损失函数进行网络的优化和训练，结合建筑物形态特征，通过生成 模型开展建筑物多态模拟集的自学习、分析和生成，同时进行判别模型的数据 间的真实性判定、优化和对抗，结合建筑物多层次语义特征和潜在空间关系， 研究生成模型与判别模型之间的对抗与优化方法，精确提取建筑物的变化概率 分布；
[0055]
3)研究建筑物的域不变特征分析方法，加入softmax交叉熵损失函数的分 类器模型，并结合决策规则，获取高精度的建筑物变化检测结果；
[0056]
4)利用地表真实变化数据对变化检测结果进行多种方式的定性与定量评价。
[0057]
多时相高分辨率影像建筑物背景复杂、层次结构多样，为对其进行有效提 取，需要对建筑物的多态性进行多层次区分，以便实现对多时相建筑物的后续 处理。基于此，利用全卷积网络的多层网络结构，研究从浅层局部特征到深层 抽象特征的自适应学习与分
析方法，设计多源数据批标准化与非线性激活函数， 改善网络的稳定性和收敛速度，实现对建筑物多层次语义特征分析，具体如下：
[0058]
卷积网络的每一层数据是由h
×
w空间维度和d特征维数所组成的三维数据， 对高分辨率遥感影像进行卷积运算和特征提取；在卷积层中，输入像元坐标(i,j) 下x
ij
向量，其输出向量为y
ij
，其表达公式为：
[0059]yij
＝f
ks
({x
si+δi,sj+δj
}0≤δi,δj≤k)
ꢀꢀꢀ
(21)
[0060]
其中，k为卷积核尺寸，s表示步幅长度，最终通过激活函数f得到特征影像。 当卷积核大小和步幅长度遵循转换规则时，激活函数表达为：
[0061][0062]
其中，代表哈达玛积；当普通深度网络g对非线性函数进行计算时，并只通过 该方式对每一层计算非线性滤波，即可称为全卷积网络；通过任意尺寸的输入 数据进行计算并产生相应的空间维度输出，如果损失函数为最后一层的空间维 度总和，则表示为：
[0063][0064]
最终，梯度l将是每层空间组成梯度的总和。所以在影像中，基于l的随机梯度 下降计算和基于l’的梯度下降结果一致，网络对最后一层所有接收特征进行分批 处理。
[0065]
为对条件对抗网络提供有效的建筑物特征输入和学习，并保持原有空间结 构和潜在特征，采用leaky relu(rectified linear unit)激活函数，即修正线 性单元的特殊化，使模型能够自适应空间传播，保持高分辨率影像的本质特征 和稳定性，并具备稀疏激活特性；当leaky relu未被激活时，仍然进行非零输 出值，其表达为：
[0066][0067]
其中，α为大于0的浮点数；
[0068]
为保证网络在训练传递过程中梯度的稳定性，加快收敛速度，防止梯度弥 散效应，使条件对抗网络能够对高分辨率影像建筑物进行非线性特征识别与分 析，在全卷积网络每一层中使用“批标准化”(bn，batch normalization)，其表 达公式为：
[0069][0070]
其中，β
ij
＝e[x
ij
]。
[0071]
目前，卷积网络已经在深度学习和模式识别领域取得了令人瞩目的成果， 通过深度网络对数据进行逐层抽象已经被证明能够在影像特征识别方面取得巨 大的精度提升。因此，对影像特征采用最大池化的方式进行空间抽象，并在后 续处理中进行稀疏表达。同时，在多层网络表达和特征抽象过程中，研究网络 自适应空间传播机制，以及条件对抗网络学习和训练逐层抽象特征的方法，为 后续建筑物变化检测提供可靠的输入数据。
[0072]
通常情况下，多时相高分辨率影像建筑物多态性对外界环境所产生的细微 变化非常敏感，变化异常频繁，不同传感器下该类现象更为明显。但建筑物本 身如未发生变化，那么观测目标在数据中会存在统计上的一致性。因此，多时 相高分辨率影像具备建筑物的高层次表达和潜在分布。基于这一原理本项目提 出条件对抗网络的变化检测方法，以t1时
相影像作为生成模型的输入数据，t2时 相为判别模型输入数据，并利用交叉融合方式构建噪声矢量，研究建筑物形态 特征感知方法，并顾及地物类别的结构差异，构建域自适应空间，通过生成器 自动生成建筑物多态模拟集实现网络的自适应学习与训练，发现影像中的高层 次表达，在顾及建筑物形态的基础上获取其变化概率分布，从而抑制多时相建 筑物间的表征差异。
[0073]
为来自t1时相影像域的数据集，来自t2时相的数据集， 条件对抗网络中生成器函数g(xs,z1；θg)
→
xf，由参数θg表示，生成器 g(xs,z1；θg)
→
xf将t1时相下影像的生成影像xs和噪声矢量z映射到域自适应特征 影像xf，生成器函数g可以生成任意大小的新数据集xf＝{g(xs,z),ys}；其中， 生成器噪声矢量由t1时相的全色影像和t2时相的多光谱影像利用gram-schimidt
ꢀꢀ
adaptive交叉融合后进行提取，使未变化目标特征保持不变，伪变化目标表现出 相似的空间特征，变化目标则表现出较大的光谱畸变和模糊量化；
[0074]
条件对抗网络中判别模型内由判别器函数d(x；θd)组成，判别器通过来自t2时相影像x的目标域x
t
对生成器所生成的特征影像xf进行判断，对生成模型所 输出的影像与t2时相的真实影像x进行似然估算d；此外，将分类器加 入条件对抗网络，将判别结果标签分配给影像x∈{xf,x
t
}；
[0075]
条件对抗网络可以表达为：
[0076][0077]
其中，α，β为控制损失函数相互作用的权重，ld表示域损失，其表达公式为：
[0078][0079]
l
t
利用典型的softmax交叉熵损失函数进行分类标记计算：
[0080][0081]
式中，ys为xs影像类别标签的独热编码；在对分类器t进行训练时，利用原 始影像和模拟影像对t进行训练，但仅利用域自适应特征影像xf时，需要运用不 同的初始化值以保持模型的稳定性，在没有训练数据来源的情况下，生成模型 可以改变分类任务，优化和训练建筑物模拟集，并学习真实数据的隐式概率分 布。此外，生成模型在基于源域的影像和域自适应影像对分类器进行训练的同 时，噪声矢量函数z和分类器函数θ
t
组成联合隐层表征，极大的增加了模型稳定 性，并对建筑物特征使用不同的空间分布特征标记，降低不同成像条件下高分 辨率影像建筑物阴影、遮挡等因素造成的影响。
[0082]
为精确有效表达高分辨率影像建筑物的多态性，采用形态特征感知的方法 进行建筑物特征描述，即不丢失建筑物形态信息的同时表达形态之间的相互关 系，在一定程度上反应建筑物的总体形态特征；在高分辨率影像建筑物形态特 征表达过程中，利用快速形态分解方法获取影像内建筑物形态的集合，并利用 形态之间的关系建立多层次形态特征；其中，建立影像水平集分解，将影像 i:ω
→
r分解为上水平集和下水平集，分别表示为：i
μ
(i)＝{p∈ω；i(p)≥μ}和 i
μ
(i)＝{p∈ω；i(p)≤μ}，μ∈r为某个灰度值；通过水平集作为影像的完全表达， 并将建筑物形态定义为水平轮廓线内所有像元的集合，那么形态特征集
下的每 个节点都代表了一个形态，对影像中的建筑物形态特征进行描述；该方法在拓 扑图表达和建筑物语义分析的基础上，实现建筑物多层次形态特征感知，描述 建筑物形态之间的相互关系，有效表达建筑物的局部信息，并具备局部的对比 不变性，在高分辨率影像建筑物形态特征精确提取和识别上具有巨大的优势。
[0083]
在条件对抗网络的极大极小优化过程中，在建筑物形态特征感知的前提下， 提取多时相影像的多层次联合表达，根据生成模型的自学习与模拟以及判别模 型的对抗与优化，自动生成建筑物多态模拟集，并实现网络的自训练与分析， 进而获取高精度的变化概率分布；首先，保持生成模型参数不变，对判别模型 进行判别器函数θd更新和分类器函数θ
t
优化；其次，保持θd和θ
t
不变，更新生 成模型的生成函数θg；再次，将多时相高分辨率影像学习得到的建筑物特征， 投影到域自适应空间进行非线性特征识别，在此空间中，未变化建筑物的高层 次特征会趋向一致，变化建筑物特征会具有较大差异，从而表现出较高的可分 性；最后，经过条件对抗网络的优化与对抗，不断生成与扩展建筑物多态模拟 集，xs和x
t
作为判别器d的输入，并由判别器估算该数据变化概率分布；此外， 判别器将输出标量值，在假设每一个时相的建筑物特征概率只取决于建筑物本 身特征时，利用最大似然估算公式进行推导，来表示生成模型输出数据与真实 数据的最大似然概率。
[0084]
为保证建筑物变化检测结果的完整性和准确性，通过一致性训练的处理方 式研究相似性损失函数，设计尺度不变性掩膜的域不变特征分析方法，消除变 化前后真实影像和模拟影像之间的巨大差异，保持建筑物的真实特性；同时， 基于真实影像的相似性损失函数有助于稳定条件对抗网络的优化过程，协同决 策规则进一步提升变化检测精度；因此，可以用如下公式来实现优化问题：
[0085][0086]
其中，α，β，γ为控制损失函数相互作用的权重，lc为相似性损失；在相似性 损失函数中，使用一种尺度不变性误差的掩膜，用以消除真实影像与模拟影像 间的特征差异，而不是输入与输出之间的绝对差异，当该掩膜在模拟影像和真 实影像间存在误差时，相似性损失函数给定掩膜m∈rk表达为：
[0087][0088]
其中，k表示输入影像x的像元数量，为规则化l2范数的平方，即向量各 元素的平方和后求平方根；损失函数能够允许模型学习并再现建筑物的整体形 态特征，而不在输入数据的光谱或灰度上进行运算；针对不同时相数据源，允 许对抗训练以一致的方式进行，使得相似性损失函数能够有效保持建筑物的语 义特征及其完整性，降低不同时相下建筑物多态性的影响，提高建筑物变化检 测的精度。
[0089]
在获取建筑物语义特征和变化概率分布后，根据决策规则对建筑物变化信 息进行优化。假如多时相影像建筑物的变化概率非常小，那么更应该属于同一 目标。因此，提出几种决策规则，如果根据变化概率分布所提取的变化建筑物 满足该规则，那么将多时相建筑物修订为未变化建筑物，如未竣工、房屋改造 等。未变化建筑物可由条件对抗网络分析方法所得变化概率来确定，如变化概 率小于50％的建筑物就认为并没有发生变化。决策规则的目的是排除可能存在 的误检测问题，在保持原有精度的基础上，进一步融合变化检测
信息提高识别 效果，来保证建筑物变化检测的可靠性。
[0090]
本实施例以博弈论纳什均衡的条件对抗网络为框架，通过学习数据特征的 生成模型与判定数据特征真实性的判别模型，进行极大极小博弈下的对抗和优 化，多层次计算求解、自适应分析和提取影像中的特征信息，重建、模拟并还 原数据的真实特性，该方法在场景分类、域适应、目标检测等方面取得了显著 优良的处理效果。在高分辨率遥感影像建筑物变化检测中，该方法能够揭示多 时相数据间的映射关系，自学习和分析建筑物的多态性并自动生成训练集，进 而消除外界因素造成的表征差异，突出真实变化信息。因此，该框架为实现高 精度的建筑物变化检测提供了新的途径。
[0091]
有鉴于此，基于多态模拟条件对抗网络，发展适用于高分辨率遥感影像建 筑物变化检测的精确模型和方法。主要研究思路是：(1)基于全卷积网络的建 筑物语义分析发展自适应空间传播与映射方法，研究多层次建筑物形态特征感 知与潜在空间关系，实现高精度建筑物语义特征联合提取；(2)利用条件对抗 网络的思路，结合建筑物形态特征感知与域自适应特征空间，研究建筑物多态 模拟集自动生成方法，实现网络自适应学习与训练，并通过多层次网络的对抗 与优化获取建筑物变化概率分布；(3)以建筑物多态模拟集为支撑，研究域损 失函数的建筑物域不变特征分析，设计建筑物变化的决策规则，发展多时相建 筑物变化信息的优化与提取方法，进一步提高变化检测的精度。
[0092]
本实施例提出基于多态模拟条件对抗网络的遥感影像建筑物变化检测方法， 以期在遥感智能解译方面，提出具有支持建筑物的多态性学习、语义特征分析 的高精度深度学习变化检测方法，本方法的实施对于进一步推动地理国情监测、 全国土地调查、城市研究等领域的遥感技术智能化和自动化水平，具有重要的 现实意义。
[0093]
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附 图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以， 如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不 经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的 保护范围。

技术特征：
1.基于条件对抗网络的遥感影像建筑物变化检测方法，其特征在于：包括以下步骤：1)在条件对抗网络中，利用全卷积网络，研究多源高分辨率影像建筑物的语义分析和自适应传播方法，通过交叉融合构建噪声矢量以获取其潜在关系，引入域自适应特征空间，研究多时相建筑物形态特征感知方法及隐式概率分布，为条件对抗网络的自学习与训练提供可靠数据源；2)利用损失函数进行网络的优化和训练，结合建筑物形态特征，通过生成模型开展建筑物多态模拟集的自学习、分析和生成，同时进行判别模型的数据间的真实性判定、优化和对抗，结合建筑物多层次语义特征和潜在空间关系，研究生成模型与判别模型之间的对抗与优化方法，精确提取建筑物的变化概率分布；3)研究建筑物的域不变特征分析方法，加入softmax交叉熵损失函数的分类器模型，并结合决策规则，获取高精度的建筑物变化检测结果；4)利用地表真实变化数据对变化检测结果进行多种方式的定性与定量评价。2.根据权利要求1所述的基于条件对抗网络的遥感影像建筑物变化检测方法，其特征在于：利用全卷积网络的多层网络结构，研究从浅层局部特征到深层抽象特征的自适应学习与分析方法，设计多源数据批标准化与非线性激活函数，改善网络的稳定性和收敛速度，实现对建筑物多层次语义特征分析，具体如下：卷积网络的每一层数据是由h
×
w空间维度和d特征维数所组成的三维数据，对高分辨率遥感影像进行卷积运算和特征提取；在卷积层中，输入像元坐标(i,j)下x
ij
向量，其输出向量为y
ij
，其表达公式为：y
ij
＝f
ks
({x
si+δi,sj+δj
}0≤δi,δj≤k)
ꢀꢀꢀꢀ
(1)其中，k为卷积核尺寸，s表示步幅长度，最终通过激活函数f得到特征影像；当卷积核大小和步幅长度遵循转换规则时，激活函数表达为：其中，代表哈达玛积；当普通深度网络g对非线性函数进行计算时，并只对每一层计算非线性滤波，即可称为全卷积网络；通过任意尺寸的输入数据进行计算并产生相应的空间维度输出，如果损失函数为最后一层的空间维度总和，则表示为：最终，梯度l将是每层空间组成梯度的总和。3.根据权利要求2所述的基于条件对抗网络的遥感影像建筑物变化检测方法，其特征在于：采用leaky relu激活函数，即修正线性单元的特殊化，使模型能够自适应空间传播，保持高分辨率影像的本质特征和稳定性，并具备稀疏激活特性；当leaky relu未被激活时，仍然进行非零输出值，其表达为：其中，α为大于0的浮点数；在全卷积网络每一层中使用批标准化，其表达公式为：
其中，β
ij
＝e[x
ij
]。4.根据权利要求3所述的基于条件对抗网络的遥感影像建筑物变化检测方法，其特征在于：以t1时相影像作为生成模型的输入数据，t2时相为判别模型输入数据，并利用交叉融合方式构建噪声矢量，研究建筑物形态特征感知方法，并顾及地物类别的结构差异，构建域自适应空间，通过生成器自动生成建筑物多态模拟集实现网络的自适应学习与训练，发现影像中的高层次表达，在顾及建筑物形态的基础上获取其变化概率分布，从而抑制多时相建筑物间的表征差异。5.根据权利要求4所述的基于条件对抗网络的遥感影像建筑物变化检测方法，其特征在于：为来自t1时相影像域的数据集，来自t2时相的数据集，条件对抗网络中生成器函数g(x
s
,z1；θ
g
)
→
x
f
，由参数θ
g
表示，生成器g(x
s
,z1；θ
g
)
→
x
f
将t1时相下影像的生成影像x
s
和噪声矢量z映射到域自适应特征影像x
f
，生成器函数g可以生成任意大小的新数据集x
f
＝{g(x
s
,z),y
s
}；其中，生成器噪声矢量由t1时相的全色影像和t2时相的多光谱影像利用gram-schimidt adaptive交叉融合后进行提取，使未变化目标特征保持不变，伪变化目标表现出相似的空间特征，变化目标则表现出较大的光谱畸变和模糊量化；条件对抗网络中判别模型内由判别器函数d(x；θ
d
)组成，判别器通过来自t2时相影像x的目标域x
t
对生成器所生成的特征影像x
f
进行判断，对生成模型所输出的影像与t2时相的真实影像x进行似然估算d；此外，将分类器加入条件对抗网络，将判别结果标签分配给影像x∈{x
f
,x
t
}；条件对抗网络可以表达为：其中，α，β为控制损失函数相互作用的权重，l
d
表示域损失，其表达公式为：l
t
利用典型的softmax交叉熵损失函数进行分类标记计算：式中，y
s
为x
s
影像类别标签的独热编码；在对分类器t进行训练时，利用原始影像和模拟影像对t进行训练，但仅利用域自适应特征影像x
f
时，需要运用不同的初始化值以保持模型的稳定性，在没有训练数据来源的情况下，生成模型可以改变分类任务，优化和训练建筑物模拟集，并学习真实数据的隐式概率分布。6.根据权利要求5所述的基于条件对抗网络的遥感影像建筑物变化检测方法，其特征在于：采用形态特征感知的方法进行建筑物特征描述，即不丢失建筑物形态信息的同时表达形态之间的相互关系；在高分辨率影像建筑物形态特征表达过程中，利用快速形态分解方法获取影像内建筑物形态的集合，并利用形态之间的关系建立多层次形态特征；其中，建立影像水平集分解，将影像i:ω
→
r分解为上水平集和下水平集，分别表示为：i
μ
(i)＝{p∈
ω；i(p)≥μ}和i
μ
(i)＝{p∈ω；i(p)≤μ}，μ∈r为某个灰度值；通过水平集作为影像的完全表达，并将建筑物形态定义为水平轮廓线内所有像元的集合，那么形态特征集下的每个节点都代表了一个形态，对影像中的建筑物形态特征进行描述；在条件对抗网络的极大极小优化过程中，在建筑物形态特征感知的前提下，提取多时相影像的多层次联合表达，根据生成模型的自学习与模拟以及判别模型的对抗与优化，自动生成建筑物多态模拟集，并实现网络的自训练与分析，进而获取高精度的变化概率分布；首先，保持生成模型参数不变，对判别模型进行判别器函数θ
d
更新和分类器函数θ
t
优化；其次，保持θ
d
和θ
t
不变，更新生成模型的生成函数θ
g
；再次，将多时相高分辨率影像学习得到的建筑物特征，投影到域自适应空间进行非线性特征识别，在此空间中，未变化建筑物的高层次特征会趋向一致，变化建筑物特征会具有较大差异，从而表现出较高的可分性；最后，经过条件对抗网络的优化与对抗，不断生成与扩展建筑物多态模拟集，x
s
和x
t
作为判别器d的输入，并由判别器估算数据变化概率分布；此外，判别器将输出标量值，在假设每一个时相的建筑物特征概率只取决于建筑物本身特征时，利用最大似然估算公式进行推导，来表示生成模型输出数据与真实数据的最大似然概率。7.根据权利要求6所述的基于条件对抗网络的遥感影像建筑物变化检测方法，其特征在于：通过一致性训练的处理方式研究相似性损失函数，设计尺度不变性掩膜的域不变特征分析方法，消除变化前后真实影像和模拟影像之间的巨大差异，保持建筑物的真实特性；同时，基于真实影像的相似性损失函数有助于稳定条件对抗网络的优化过程，协同决策规则进一步提升变化检测精度；因此，可以用如下公式来实现优化问题：其中，α，β，γ为控制损失函数相互作用的权重，为相似性损失；在相似性损失函数中，使用一种尺度不变性误差的掩膜，用以消除真实影像与模拟影像间的特征差异，而不是输入与输出之间的绝对差异，当掩膜在模拟影像和真实影像间存在误差时，相似性损失函数给定掩膜表达为：其中，k表示输入影像x的像元数量，为规则化l2范数的平方，即向量各元素的平方和后求平方根；损失函数能够允许模型学习并再现建筑物的整体形态特征，而不在输入数据的光谱或灰度上进行运算；针对不同时相数据源，允许对抗训练以一致的方式进行。8.根据权利要求7所述的基于条件对抗网络的遥感影像建筑物变化检测方法，其特征在于：在获取建筑物语义特征和变化概率分布后，根据决策规则对建筑物变化信息进行优化。

技术总结
本发明涉及遥感影像建筑物检测技术领域，涉及一种基于条件对抗网络的遥感影像建筑物变化检测方法，包括：1)利用全卷积网络，研究多源高分辨率影像建筑物的语义分析和自适应传播方法，研究多时相建筑物形态特征感知方法及隐式概率分布；2)利用损失函数进行网络的优化和训练，开展建筑物多态模拟集的自学习、分析和生成，同时进行真实性判定、优化和对抗，研究生成模型与判别模型之间的对抗与优化方法，提取建筑物的变化概率分布；3)研究建筑物的域不变特征分析方法，加入分类器模型，获取建筑物变化检测结果；4)利用地表真实变化数据进行多种方式的定性与定量评价。本发明利用条件对抗网络实现建筑物变化的有效判定和提取。网络实现建筑物变化的有效判定和提取。网络实现建筑物变化的有效判定和提取。


技术研发人员：王彪 杨辉 吴艳兰
受保护的技术使用者：安徽大学
技术研发日：2022.03.28
技术公布日：2022/7/5