本发明属于计算机视觉，具体涉及一种基于生成对抗网络的高质量红外小目标数据增广方法。
背景技术：
1、红外小目标检测是计算机视觉领域中的重要问题，在军事和民用领域都有着广泛的应用，如精确制导、空防预警和搜索救援等。由于在红外图像中小目标通常具有分辨率低，像素数量少，缺乏纹理细节等特点，使得准确的红外小目标检测极具挑战性。
2、红外小目标检测数据集对模型的检测性能具有很大的影响。数据量丰富且多样的高质量数据集能够更好的覆盖复杂多变的检测场景，提升模型的泛化性和鲁棒性。然而，由于红外图像在采集和处理方面需要巨大成本，同时采集也受环境条件的限制，获取大规模且多样化的红外数据具有一定挑战。因此，现有的红外小目标数据集中存在真实目标样本少、目标检测场景单一等问题，导致红外图像数据的多样性很难保证。这种数据集的稀缺性限制了深度学习模型在红外小目标检测任务上的性能提升，使得现有模型难以被有效应用于更多复杂的检测场景中。
3、利用数据增广技术对数据集进行扩充用于模型训练是一种能有效提高目标检测性能的方法。目前主要的数据增广方法包括几何变换、颜色空间变换以及图像生成，但是传统的几何与颜色空间变换方法不能很好的大规模扩充数据集，不能有效的用于提高目标检测的性能。生成对抗网络(gan)是一种强大的图像生成模型，gan以及它的一些变种网络已经在图像生成领域取得了显著的成就。基于生成对抗网络的数据增广方法，通过对抗训练生成器和判别器，学习真实数据的分布来生成逼真的数据样本，实现丰富多样化的数据变换，从而大规模扩充原有数据集、提高数据多样性。
4、申请号(cn202311716365.x)的专利文献提出了一种基于扩散模型和gan网络的两阶段的红外小目标图像扩增方法，第一阶段首先采用背景填充的方法获取干净的背景图像，并使用扩散模型生成更复杂和多样化的背景图像；第二阶段设计了一种基于生成对抗网络的目标自适应融合方法，用于融合目标掩模和生成的背景图像，以生成逼真的红外小目标增强图像。
5、上述方法一定程度上提升了目标检测精度，然而，由于直接使用目标掩模作为小目标模型，丢失了目标的真实分布特征，导致小目标模型的质量不高，从而使得生成数据的真实性受限，限制了模型检测性能的进一步提升。
技术实现思路
1、针对上述问题，本发明构建了一种基于生成对抗网络的高质量数据增广模型，通过生成更加真实的红外背景图像，同时保留目标真实的分布特性，大幅度提升生成图像的质量，进一步提升红外小目标检测的准确性和鲁棒性。
2、本发明设计了一种基于生成对抗网络的高质量红外小目标数据增广方法，首先构建基于图像一致性约束的生成对抗网络，将可见光图像转换为高质量的红外背景图像，丰富小目标背景的多样性，同时，图像一致性约束利用红外图像的特性，能使模型生成的红外背景图像更为逼真，质量更高。然后利用图像分割技术从真实红外小目标数据集中提取各类目标的高精度分布模型，再依次使用尺寸变换、位移操作等图像处理方法扩充目标模型数量，嵌入生成的红外背景图像中，利用真实的和合成的红外小目标图像训练基于局部显著性的分布调整模型，利用局部显著性约束调整目标模型的分布，得到高质量的红外小目标图像数据。通过上述方法，可以有效的对红外小目标数据集进行数据增广，并可用于提高模型的泛化能力和性能表现。
3、本发明通过构建基于生成对抗网络的数据增广模型，可以生成场景丰富、真实度高的红外小目标图像，有效解决现有红外小目标检测由于真实数据集图像样本数量少、场景单一导致模型泛化性受限的问题，进一步提升检测红外小目标的准确性和鲁棒性。
4、本发明解决其技术问题具体采用的技术方案是：
5、一种基于生成对抗网络的高质量红外小目标数据增广方法，通过基于图像一致性约束的生成对抗网络，将可见光图像转换成高质量的红外背景图像；再利用图像分割技术从真实红外小目标数据集中提取各类目标的高精度分布模型；然后依次使用包括尺寸变换、位移操作的图像处理方法扩充目标模型图像数量，与生成的红外背景图像结合得到合成红外小目标图像；最后利用真实的和合成的红外小目标图像训练基于局部显著性约束的分布调整模型，生成高质量的红外小目标图像数据。
6、进一步地，基于图像一致性约束的cyclegan模型中，定义模型的损失函数为：
7、
8、其中，λcon为调整全局一致性约束的权重，λcyc为调整循环一致性约束的权重；x和y表示两个不同的数据域，x是源数据域，y是目标数据域；g表示从源域x到目标域y的生成器网络，f表示从目标域y回到源域x的生成器网络；dx和dy表示判别器网络；dx试图区分真实x域图像和生成的x域图像，而dy试图区分真实y域图像和生成的y域图像；lgan表示对抗性损失，用于训练生成器g和f以及判别器dx和dy；表示图像一致性损失，用于计算真实图像和生成图像的一致性差异。
9、进一步地，所述计算真实图像和生成图像的一致性差异，具体包括以下步骤：
10、分别在尺寸为m×n的真实红外图像和生成的红外图像上，从左上到右下以步长s滑动尺寸为p×p的窗口，获得一组局部红外块图像并将每个局部红外块矢量化为红外块图像矩阵的一个列向量，构建真实红外图像对应的红外块图像b0和生成图像对应的红外块图像b1；
11、计算真实红外图和生成红外图对应的红外块图像b0和b1的平均秩||b0||*和||b1||*；
12、利用图像一致性约束，引导生成器生成更加真实的红外背景图像；定义图像一致性损失为：
13、
14、其中，a表示真实可见光图像，z表示随机噪声。
15、进一步地，通过将配对的可见光和红外背景图像数据集，输入到基于图像一致性约束的cyclegan网络中，进行对抗训练到模型收敛；然后利用cyclegan网络将可见光背景图像数据转换成尺寸为m×n的红外背景图像b。
16、进一步地，所述利用图像分割技术从真实红外小目标数据集中提取各类目标的高精度分布模型具体包括以下步骤：
17、步骤21：在真实红外小目标公开数据集上，标记红外小目标图像中目标的任一像素为目标类别0；
18、步骤22：以每个候选像素为中心的k×k像素的正方形区域作为分割的局部区域，选取局部窗口最外层的以目标像素为中心的左上、正上、右上、正右、右下、正下、左下、正左八个方向上的8个像素，按顺时针方向分别标记为1到8类，表示小目标周围的背景区域；
19、步骤23：在选定的局部区域采用图像分割技术进行像素级标记，将满足给定条件的像素标记为目标，得到高精度的标注结果；
20、步骤24：当所有像素都被标记后，对目标和背景进行精确分割，提取被标记为目标的像素，构建高精度像素级目标模型t。
21、进一步地，步骤23中，所述图像分割技术采用随机游走算法具体包括以下步骤：
22、步骤231：将选定的局部区域看作一个图g＝(v,e)，有节点(像素)v∈v和边e∈e；v和e分别表示像素和边的集合；v定义为v＝{v1,v2，…vn}，其中n为设定值，边表示相邻像素之间的连接；
23、步骤232：定义vi和vj之间的权重如下：
24、wij＝exp(-β(gi-gj)2),
25、其中，gi和gj表示第i和第j个像素，β为经验参数；
26、步骤233：定义图的拉普拉斯矩阵l如下:
27、
28、其中，di表示节点vi的度，定义为∑wij；
29、步骤234：使用vm和vu分别表示有标签和无标签的集合像素并定义pk表示v中所有像素被归为k类的概率向量，pk表示如下：
30、pk＝[pk1,pk2,…,pkn]t＝[(pkm)t,(pku)t]，
31、其中，pkm表示在vm中的像素，pku表示在vu中的像素，在pkm中的元素满足以下条件：
32、
33、其中，vm∈vm；
34、步骤235：通过最小化分解的狄利克雷积分，得到最优pku如下:
35、
36、其中，lm、lu分别是矩阵l根据已标记像素和未标记像素进行变换得到的矩阵块，b是已标记像素到未标记像素的连接矩阵块；
37、步骤236：将未标记的像素vi标记为具有最高概率的类别k，将满足如下条件的像素标记为目标：
38、
39、其中，表示第i个像素属于第k个类别的概率，δ控制目标分布的保留度。
40、进一步地，所述依次使用包括尺寸变换、位移操作的图像处理方法扩充目标模型图像数量，与生成的红外背景图像结合得到合成红外小目标图像包括以下步骤：
41、步骤31：对提取的目标模型t进行尺度变换，随机生成不同尺度满足相同分布特性的小目标t1，尺度变换过程如下：
42、t1＝scale(t，λ)，
43、其中，scale表示尺度变换函数，采用双线性插值方式进行缩放，t表示提取到的真实目标模型，t1表示尺度变换后生成的目标模型，λ表示随机缩放因子，t1的尺寸为t的尺寸与λ的乘积；
44、根据经验将t1的像素尺寸范围设置为范围r；当t1的像素尺寸不在r范围内时，则继续执行步骤31，直到t1的像素尺寸满足范围r；
45、步骤32：对尺度变换后生成的目标模型t1进行位移变换操作，随机生成不同位置的嵌有小目标模型的目标模型图像it；
46、步骤33：将目标模型图像it与所述红外背景图像b结合后得到合成红外小目标图像i1，i1表示如下：
47、i1＝it⊙s+b⊙(e-s)，
48、其中，s表示判断图像像素类别的参数矩阵，e表示与s同尺寸的全1的矩阵，⊙表示图像逐像素相乘操作。
49、进一步地，所述位移变换操作具体包括以下步骤：
50、步骤321：在尺寸为m×n的全0矩阵图像e0的中心位置插入模拟目标t1，构建嵌有小目标模型的目标模型图像bt；
51、步骤322：对目标模型图像bt进行随机位移操作，得到移位后的目标模型图像it，位移变换操作如下：
52、it＝shift(bt,tx,ty)，
53、其中shift表示位移变换函数，tx和ty分别表示图像在水平和垂直方向上移动的像素距离，且其中wt和ht分别表示目标模型t1的宽度和高度，floor表示取整函数；
54、步骤323：构建图像像素类别的参数矩阵s，s构建方式如下：将目标模型图像it复制得到it＇，然后将it＇内目标模型t1位置的像素值均改为1得到s，s表示如下：
55、
56、进一步地，所述利用真实的和合成的红外小目标图像训练基于局部显著性约束的分布调整模型，生成高质量的红外小目标图像数据具体包括以下步骤：
57、步骤41：构建基于局部显著性约束的分布调整模型，模型的结构为生成对抗网络结构，使用u-net网络作为分布调整网络g的结构，使用patchgan作为判别器d的结构，定义模型的损失函数为：
58、l(g)＝λadvladv+λlslls,
59、其中，λadv和λls为超参数，用于调整不同损失的贡献度，ladv为对抗损失，lls为局部显著性损失，定义为：
60、
61、其中，r表示目标区域，i(x,y)表示像素(x,y)的强度值，mb表示小目标周围背景的强度；mb具体计算过程如下：以目标模型为中心，构建一个目标模型像素尺寸的最小外接正方形，尺寸为d×d，在该正方形左上、正上、右上、正左、正右、左下、正下、右下八个方向上，分别构建8个同尺寸的正方形背景区域bi，i＝1,2,3…8，目标区域和周围8个背景区域共同构成一个以目标正方形区域为中心3d×3d的大正方形区域，计算得到目标周围背景的强度为：
62、
63、其中，bi表示第i个背景区域图像矩阵，mbi表示第i个背景区域强度；
64、步骤42：将真实红外小目标数据集和合成的红外小目标数据集输入到分布调整模型中，对抗训练到模型收敛，对合成的红外图像进行分布调整；
65、步骤43：将合成的红外图像i1输入到训练好的分布调整模型中，得到小目标和周围背景的高质量融合图像i2，分布调整过程表示如下：
66、i2＝g(i1),
67、其中，i1表示调整前合成红外小目标图像，i2表示调整后的合成红外小目标图像，g表示分布调整网络，对图像进行分布调整；
68、步骤44：将调整后的合成红外图像中的小目标模型嵌入到所述红外背景图像b中，最终生成高质量的红外小目标图像数据，生成最终的图像数据过程表示如下：
69、i＝i2⊙s+b⊙(1-s)，
70、其中，i表示最终生成的高质量红外小目标图像数据，b表示生成的红外背景图像，s表示判断图像像素类别的参数矩阵，e表示与s同尺寸的全1的矩阵，⊙表示图像逐像素相乘操作。
71、以及，一种非暂态计算机可读存储介质，其上存储有计算机程序，在运行时使用如上所述的基于生成对抗网络的高质量红外小目标数据增广方法。
72、相比于现有技术，本发明及其优选方案至少具有以下突出特点和有益效果：
73、(1)提出的基于生成对抗网络的高质量红外小目标数据增广方法，可以生成逼真程度高、目标背景丰富、数据充足的高质量红外小目标检测数据，有效提升目标检测模型的鲁棒性和检测精度。
74、(2)通过构建基于图像一致性约束的生成对抗网络，将可见光图像转换为高质量的红外背景图像，由于可见光场景图像易获取，可以有效解决红外小目标背景不丰富，合成背景图像不真实的问题。
75、(3)利用图像分割技术从真实红外小目标数据集中提取各类保留了分布特征的高精度目标分布模型，再依次使用尺寸变换、位移操作等图像处理方法扩充目标模型图像数量，可以有效解决红外小目标图像中目标种类少，合成图像中小目标分布不真实的问题。
1.一种基于生成对抗网络的高质量红外小目标数据增广方法，其特征在于：通过基于图像一致性约束的生成对抗网络，将可见光图像转换成高质量的红外背景图像；再利用图像分割技术从真实红外小目标数据集中提取各类目标的高精度分布模型；然后依次使用包括尺寸变换、位移操作的图像处理方法扩充目标模型图像数量，与生成的红外背景图像结合得到合成红外小目标图像；最后利用真实的和合成的红外小目标图像训练基于局部显著性约束的分布调整模型，生成高质量的红外小目标图像数据。
2.根据权利要求1所述的一种基于生成对抗网络的高质量红外小目标数据增广方法，其特征在于：
3.根据权利要求2所述的基于一种基于生成对抗网络的高质量红外小目标数据增广方法，其特征在于：
4.根据权利要求3所述的一种基于生成对抗网络的高质量红外小目标数据增广方法，其特征在于：通过将配对的可见光和红外背景图像数据集，输入到基于图像一致性约束的cyclegan网络中，进行对抗训练到模型收敛；然后利用cyclegan网络将可见光背景图像数据转换成尺寸为m×n的红外背景图像b。
5.根据权利要求1所述的一种基于生成对抗网络的高质量红外小目标数据增广方法，其特征在于：
6.根据权利要求5所述的一种基于生成对抗网络的高质量红外小目标数据增广方法，其特征在于：
7.根据权利要求1所述的一种基于生成对抗网络的高质量红外小目标数据增广方法，其特征在于：
8.根据权利要求7所述的一种基于生成对抗网络的高质量红外小目标数据增广方法，其特征在于：
9.根据权利要求1所述的一种基于生成对抗网络的高质量红外小目标数据增广方法，其特征在于：
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于：在运行时使用如权利要求1-9其中任一所述的基于生成对抗网络的高质量红外小目标数据增广方法。
