本发明涉及一种目标检测方法,尤其涉及一种基于未知类别感知的水下开放世界目标检测方法。属于计算机视觉以及深度学习。
背景技术:
1、随着人工智能技术的不断发展,研发智能水下机器人以实现海产品的自主抓取已成为海洋渔业的迫切需求。水下目标检测是水下机器人实现自主抓取的关键技术,它直接影响水下机器人自主抓取的准确率。精准地检测和识别目标,并对未知目标做出相应判断,是提高水下机器人抓取性能的核心挑战。
2、开放世界目标检测的研究主要集中在常规场景中,现有的方法难以适用于水下场景的目标检测。虽然一些技术,如对比聚类和能量模型,被用于区分已知和未知目标,但能量模型在水下场景中的应用存在局限性,导致其效果不佳。此外,还有一些方法结合了注意力驱动的伪标签生成、目标新颖性分类和客观性评分。然而,这些方法中使用的注意力机制在水下环境中进行特征细化时效果有限。
3、水下机器人在抓捕海产品时仍存在显著的不足。首先,由于水下成像存在模糊、色偏、对比度差等问题,导致水下目标检测准确率较低,加剧了水下机器人目标抓取的难度。其次,现有方法只能检测标注过参与训练的目标,无法识别未标注的目标,不利于水下机器人在开放海洋牧场中执行抓取任务。在面对未知生物时,现有方法仅能处理一组固定的对象类别,这不利于水下机器人执行抓取任务,从而严重影响了水下机器人在实际应用中的完整性和可用性。因此,研究水下开放世界目标检测技术对于解决水下机器人进行海产品捕捞的相关问题具有重要意义。这项研究不仅能够提升水下机器人在复杂环境中的目标检测和识别能力,还能显著提高海产品捕捞的效率和准确性。通过精准地检测和分类海产品目标,同时对未知目标进行判断和处理,水下机器人能够更好地适应动态的海洋环境,实现高效、可持续的自主抓取。
技术实现思路
1、本发明提出一种基于未知类别感知的水下开放世界目标检测方法,目的在是基于深度学习和计算机视觉技术,针对水下开放世界目标检测对于已知和未知目标的处理,设计了基于未知类别感知的水下开放世界目标检测方法。
2、本发明的技术解决方案是这样实现的:
3、一种基于未知类别感知的水下开放世界目标检测方法,其特征在于基于深度学习和计算机视觉技术,针对水下开放世界目标检测对于已知和未知目标的处理,设计的基于未知类别感知的水下开放世界目标检测方法包括如下创新技术方案:
4、方案一、双卷积块注意力机制(double convolution block attentionmechanism):通过双卷积注意力机制细化水下特征图像,提高目标检测的精确度,使水下机器人能够准确识别和抓取物体;
5、方案二、未知类别感知网络(unknown awareness perception rpn):引入未知类别感知网络,有效区分已知和未知类别,实现未知类别目标的检测;
6、方案三、选择性搜索(selective search):采用选择性搜索技术,生成高质量的候选区域,提高目标检测的精确度;
7、方案四、对比聚类(contrastive clustering):通过学习样本之间的相似性和差异性,有效区分已知和未知类别,提高目标识别的准确性和鲁棒性;
8、方案五、增量学习(incremental learning):在两阶段任务中使用增量学习,逐步识别未知目标,适应新出现的类别;
9、基于未知类别感知的水下开放世界目标检测方法,其特征还在于包括如下步骤:
10、步骤一、输入图像进入以resnet50为主干的特征提取网络,通过双卷积块注意力机制进行特征提取,生成目标建议框,双卷积块注意力机制的计算过程如下:
11、(一)、输入特征图:表示为x,维度为h×w×c,其中,h是高度,w是宽度,c是通道数;
12、(二)、通过最大池化和平均池化得到特征图:
13、最大池化结果mmax=maxpool(x)
14、平均池化结果mavg=avgpool(x);
15、(三)、经过通道注意力模块后的最大池化和平均池化结果:
16、最大池化结果f″max=conv1×1(relu(conv1×1(mmax)))
17、平均池化结果f″avg=conv1×1(relu(conv1×1(mavg)))
18、其中,conv1x1为卷积操作,relu为激活函数;
19、(四)、将两个卷积结果相加并应用sigmoid函数以生成最终的通道注意力图:
20、通道注意力特征图ca=sigmoid(f″max+f″avg);
21、(五)、应用通道注意力后的特征图xca:
22、xca=x×ca
23、其中,原始输入特征图为x,通道注意力图为ca,×表示在通道维度上按元素相乘;
24、(六)、池化操作将每个通道压缩成单个数值,聚合空间信息:
25、最大池化结果
26、平均池化结果
27、(七)、将两个池化结果在通道维度上连接起来:
28、连接结果
29、(八)、应用一次7x7的卷积fspace=conv7×7(mconcat)后使用sigmoid函数后生成空间注意力图sa:
30、sa=sigmoid(fspace)
31、(九)、将空间注意力特征图sa与通道注意力的特征图xca相乘得到最终结果xfinal:
32、xfinal=xca×sa
33、其中,×表示在空间维度上按元素相乘;
34、步骤二:输入图像通过选择性搜索技术,根据区域的形状、大小和位置等信息,筛选出最有可能包含目标的候选区域,生成目标建议框;
35、步骤三:将步骤一和步骤二生成的目标建议框汇总后,使用对比聚类技术划分已知和未知类别,计算每个锚框的分类分数和边界框回归的坐标调整值,生成精确的目标建议框,用于后续目标检测和分类;
36、步骤四:将步骤三中生成的已知和未知目标建议框通过非参数建议模块进一步精确,减少错误检测数量;
37、步骤五:通过两次交并比(iou)计算优化目标建议框的选择,更准确地筛选和区分已知和未知类别的目标建议框,全部类别交并比uk(u1)和未知类别交并比uk(unk)计算公式如下:
38、uk(u1)={b|b∈uk(u),iou(b,uk(a))>0.9}
39、uk(unk)={b|b∈uk(u1),iou(bunk,uk(aunk))>0.7}
40、其中,b为潜在未知对象,uk(u)为初步形成的未知建议框集合,uk(a)为非参数建议模块生成的候选框,bunk为初步筛选后的潜在未知对象,uk(aunk)为初步筛选后的非参数建议模块生成的候选框;
41、步骤六:最后对目标建议框,进行分类和边界框回归,准确地识别和定位图像中的目标对象。
42、与现有技术相比较,本发明的优点是显而易见的,主要表现在:
43、1、针对水下图像进行特征细化提升检测准确度;
44、2、能够区分已知和未知类别,更符合真实的目标检测场景;
45、3、采用选择性搜索策略,筛选出最有可能包含目标的候选区域;
46、4、结合增量学习技术避免了灾难性遗忘,保证了模型的长期有效性;
47、5、本方法的提出提升水下机器人的自主抓取能力和效率,为水下机器人在复杂环境中的应用提供坚实的技术基础。
1.一种基于未知类别感知的水下开放世界目标检测方法,其特征在于基于深度学习和计算机视觉技术,针对水下开放世界目标检测对于已知和未知目标的处理,设计的基于未知类别感知的水下开放世界目标检测方法包括如下创新技术方案: