本技术涉及小样本目标检测，特别涉及一种基于显式边际均衡的小样本目标检测方法及装置。
背景技术：
1、目标检测是计算机视觉领域的一个长期研究热点，具有突出的学术意义和产业价值，在有标注的大规模数据集上取得了重大进展。然而，最先进的目标检测器仍远不能快速适应数据稀缺的场景，例如识别稀有物种、新的军事目标和不常见事件。因此，本领域的研究人员提出小样本目标检测(few-shot object detection，fsod)框架，以在数据量较少的情况下，通过基类训练和平衡微调两步范式，将相关知识从具有充分标注的基础目标类(即基类)转移到样本有限的新目标类(即新类)，有效提升在新类别目标上的检测精度。
2、鉴于基类的标注数据充足，而新类的标注数据有限，fsod解决极端数据匮乏的一个常用方法是采用两步学习范式，即如下所述的基类训练(表征学习)和平衡微调(新类适应)，其中隐含的假设是，基类的表征足以促进新类的表征提取；典型的两步学习范式为：给定一个目标检测数据集，其中包含有足够标注的基类以及只有少量标注样本的新类，训练模型同时检测基类和新类的目标。
3、1)基类训练：模型只在包含有足够注释的基类的数据集上进行训练；
4、2)平衡微调：在微调过程中，新类数据采用n-way-k-shot设置，即n种新类，且每种包含k个带标注的目标；为避免过拟合，也会加入每个基类的k个样本，用于新类检测适应，这些新类样本和基类样本组成了微调数据集。
5、训练完成后，模型在包含新类和基类的测试集上通过下式进行评估：
6、
7、然而，对于fsod而言，模型的判别与表示之间的内在矛盾，具体如下所述：
8、1、提升判别能力损害表示能力(边际过大)：为了提升判别能力，基类之间的边际需要更加显著，使得同一类别的样本能在特征空间对齐；然而，由于fsod使用基类的分布来表示新类的分布，基类边际显著会损害新类的表示并降低模型的泛化能力；
9、2、提升表示能力损害判别能力(边际过小)：为了提升表示能力，即精确地描述新类的特征分布，基类之间的边际应该足够小，以促进知识的快速迁移；然而，其限制了不同类别的表征的可区分性。
10、此外，现有技术缺乏适当的边际约束条件，且现有小样本学习(包括小样本目标检测和小样本分类)技术缺乏类别关系的有效利用，对类别关系的利用不充分，限制了最终的学习效果。
11、综上所述，现有技术缺乏适当的边际约束条件，难以缓解模型的判别与表示之间的内在矛盾，亟待解决。
技术实现思路
1、本技术提供一种基于显式边际均衡的小样本目标检测方法及装置，以解决现有技术缺乏适当的边际约束条件，难以缓解模型的判别与表示之间的内在矛盾等问题。
2、本技术第一方面实施例提供一种基于显式边际均衡的小样本目标检测方法，包括以下步骤：计算每个基础目标类对应的所有样本实例的平均特征向量，并根据所述平均特征向量确定最大边际损失和训练阶段损失函数，且通过所述训练阶段损失函数训练预设检测器，以生成初始检测器；基于基础目标类和预设的新目标类，构建拓展目标类，并确定所述拓展目标类对应的类别系数向量，且根据所述类别系数向量计算类别均衡系数，以通过所述类别均衡系数拓展所述最大边际损失，得到显式边际均衡损失；计算每个样本实例的梯度图，并根据所述梯度图和预设梯度阈值确定所述每个样本实例对应的实例扰动，且通过所述显式边际均衡损失和所述实例扰动微调所述初始检测器，得到微调后的所述初始检测器，以利用所述微调后的初始检测器进行目标检测操作。
3、可选地，在本技术的一个实施例中，还包括：获取所述基础目标类的基类统计量，并根据所述基类统计量和所述类别均衡系数计算新类统计量；计算所述每个样本实例的实例特征梯度，并基于所述实例特征梯度、预设的特征梯度阈值和干扰策略，对所述每个样本实例进行干扰，以生成干扰实例；基于所述新类统计量和所述干扰实例，构建所述新类统计量对应的实例集，并通过所述实例集和预设的分类损失函数训练预设的分类器，以利用训练后的分类器进行目标分类操作。
4、可选地，在本技术的一个实施例中，所述计算每个基础目标类对应的所有样本实例的平均特征向量，并根据所述平均特征向量确定最大边际损失和训练阶段损失函数，包括：将所述每个基础目标类的每个样本实例依次输入至预设的图像编码器、rpn网络和roi网络，以输出所述每个样本实例的特征向量；根据所述每个样本实例的特征向量计算所述每个基础目标类对应的所有样本实例的平均特征向量；利用所述平均特征向量计算所述最大边际损失，并根据所述最大边际损失和预设初始损失函数确定所述训练阶段损失函数。
5、可选地，在本技术的一个实施例中，所述根据所述梯度图和预设梯度阈值确定所述每个样本实例对应的实例扰动，且通过所述显式边际均衡损失和所述实例扰动微调所述初始检测器，包括：比较所述梯度图中每个像素位置的梯度和所述预设梯度阈值，并得到比较结果，以根据比较结果生成所述实例扰动；通过所述显式边际均衡损失和所述预设初始损失函数确定微调阶段损失函数，以利用所述微调阶段损失函数和所述实例扰动微调所述初始检测器。
6、可选地，在本技术的一个实施例中，所述最大边际损失的数学表达式为
7、
8、其中，θenc表示图像编码器参数；θroi表示roi网络参数；nb表示所述基础目标类的类别数目；ki表示第i个基础目标类的所有样本实例的数目；s表示每个样本实例的尺度放缩数目；μj表示第j个基础目标类的平均特征向量；μi表示第i个基础目标类的平均特征向量；表示第i个基础目标类对应的第t个样本实例的特征向量。
9、可选地，在本技术的一个实施例中，所述显式边际均衡损失的数学表达式为
10、
11、其中，θenc表示图像编码器参数；θroi表示roi网络参数；n表示所述拓展目标类的类别数目；ki表示第i个基础目标类的所有样本实例的数目；s表示每个样本实例的尺度放缩数目；μj表示第j个基础目标类的平均特征向量；μi表示第i个基础目标类的平均特征向量；表示第i个基础目标类对应的第t个样本实例的特征向量；表示包含最接近μi的m个平均特征向量的索引。
12、本技术第二方面实施例提供一种基于显式边际均衡的小样本目标检测装置，包括：基础训练模块，用于计算每个基础目标类对应的所有样本实例的平均特征向量，并根据所述平均特征向量确定最大边际损失和训练阶段损失函数，且通过所述训练阶段损失函数训练预设检测器，以生成初始检测器；拓展模块，用于基于基础目标类和预设的新目标类，构建拓展目标类，并确定所述拓展目标类对应的类别系数向量，且根据所述类别系数向量计算类别均衡系数，以通过所述类别均衡系数拓展所述最大边际损失，得到显式边际均衡损失；目标检测模块，用于计算每个样本实例的梯度图，并根据所述梯度图和预设梯度阈值确定所述每个样本实例对应的实例扰动，且通过所述显式边际均衡损失和所述实例扰动微调所述初始检测器，得到微调后的所述初始检测器，以利用所述微调后的初始检测器进行目标检测操作。
13、可选地，在本技术的一个实施例中，还包括：获取模块，用于获取所述基础目标类的基类统计量，并根据所述基类统计量和所述类别均衡系数计算新类统计量；干扰模块，用于计算所述每个样本实例的实例特征梯度，并基于所述实例特征梯度、预设的特征梯度阈值和干扰策略，对所述每个样本实例进行干扰，以生成干扰实例；分类模块，用于基于所述新类统计量和所述干扰实例，构建所述新类统计量对应的实例集，并通过所述实例集和预设的分类损失函数训练预设的分类器，以利用训练后的分类器进行目标分类操作。
14、可选地，在本技术的一个实施例中，所述基础训练模块包括：输入单元，用于将所述每个基础目标类的每个样本实例依次输入至预设的图像编码器、rpn网络和roi网络，以输出所述每个样本实例的特征向量；计算单元，用于根据所述每个样本实例的特征向量计算所述每个基础目标类对应的所有样本实例的平均特征向量；确定单元，用于利用所述平均特征向量计算所述最大边际损失，并根据所述最大边际损失和预设初始损失函数确定所述训练阶段损失函数。
15、可选地，在本技术的一个实施例中，所述目标检测模块包括：比较单元，用于比较所述梯度图中每个像素位置的梯度和所述预设梯度阈值，并得到比较结果，以根据比较结果生成所述实例扰动；微调单元，用于通过所述显式边际均衡损失和所述预设初始损失函数确定微调阶段损失函数，以利用所述微调阶段损失函数和所述实例扰动微调所述初始检测器。
16、可选地，在本技术的一个实施例中，所述最大边际损失的数学表达式为
17、
18、其中，θenc表示图像编码器参数；θroi表示roi网络参数；nb表示所述基础目标类的类别数目；ki表示第i个基础目标类的所有样本实例的数目；s表示每个样本实例的尺度放缩数目；μj表示第j个基础目标类的平均特征向量；μi表示第i个基础目标类的平均特征向量；表示第i个基础目标类对应的第t个样本实例的特征向量。
19、可选地，在本技术的一个实施例中，所述显式边际均衡损失的数学表达式为
20、
21、其中，θenc表示图像编码器参数；θroi表示roi网络参数；n表示所述拓展目标类的类别数目；ki表示第i个基础目标类的所有样本实例的数目；s表示每个样本实例的尺度放缩数目；μj表示第j个基础目标类的平均特征向量；μi表示第i个基础目标类的平均特征向量；表示第i个基础目标类对应的第t个样本实例的特征向量；表示包含最接近μi的m个平均特征向量的索引。
22、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于显式边际均衡的小样本目标检测方法。
23、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于显式边际均衡的小样本目标检测方法。
24、由此，本技术的实施例具有以下有益效果：
25、本技术的实施例可通过计算每个基础目标类对应的所有样本实例的平均特征向量，并根据平均特征向量确定最大边际损失和训练阶段损失函数，且通过训练阶段损失函数训练预设检测器，以生成初始检测器；基于基础目标类和预设的新目标类，构建拓展目标类，并确定拓展目标类对应的类别系数向量，且根据类别系数向量计算类别均衡系数，以通过类别均衡系数拓展最大边际损失，得到显式边际均衡损失；计算每个样本实例的梯度图，并根据梯度图和预设梯度阈值确定每个样本实例对应的实例扰动，且通过显式边际均衡损失和实例扰动微调初始检测器，得到微调后的初始检测器，以利用微调后的初始检测器进行目标检测操作。本技术通过最大边际损失和实例干扰策略，有效地提升模型判别和表示的平衡的效果，从而构建出优秀的可泛化的新类分布。由此，解决了现有技术缺乏适当的边际约束条件，难以缓解模型的判别与表示之间的内在矛盾等问题。
26、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
1.一种基于显式边际均衡的小样本目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求1所述的方法，其特征在于，所述计算每个基础目标类对应的所有样本实例的平均特征向量，并根据所述平均特征向量确定最大边际损失和训练阶段损失函数，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述梯度图和预设梯度阈值确定所述每个样本实例对应的实例扰动，且通过所述显式边际均衡损失和所述实例扰动微调所述初始检测器，包括：
5.根据权利要求1所述的方法，其特征在于，所述最大边际损失的数学表达式为
6.根据权利要求1所述的方法，其特征在于，所述显式边际均衡损失的数学表达式为
7.一种基于显式边际均衡的小样本目标检测装置，其特征在于，包括：
8.根据权利要求7所述的装置，其特征在于，还包括：
9.根据权利要求7所述的装置，其特征在于，所述基础训练模块包括：
10.根据权利要求9所述的装置，其特征在于，所述目标检测模块包括：
11.根据权利要求7所述的装置，其特征在于，所述最大边际损失的数学表达式为
12.根据权利要求7所述的装置，其特征在于，所述显式边际均衡损失的数学表达式为
13.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-6任一项所述的基于显式边际均衡的小样本目标检测方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-6任一项所述的基于显式边际均衡的小样本目标检测方法。
