1.本发明属于水下图像目标检测领域，更具体地，涉及一种水下海胆图像识别模型的训练方法、识别方法及装置。
背景技术：2.随着人工智能技术的不断发展，人工智能技术也被应用到水下海胆自动化捕捞中。水下海胆自动化捕捞中最重要的一环之一就是水下海胆目标检测，由于水下环境复杂，光照强度低，所以水下海胆图像通常会出现模糊，对比度低及色差等一系列的问题。常见的目标识别检测方法比如ssd，yolo等，在陆地环境中具有不错的检测准确率，但却不能很好地应对复杂的水下环境。
技术实现要素：3.提供了本发明以解决现有技术中存在的上述问题。因此，需要一种水下海胆图像识别模型的训练方法、识别方法及装置，以解决水下海胆检测中存在的一系列问题，诸如水下海胆图像通常会出现模糊，对比度低及色差等。
4.根据本发明的第一方案，提供了一种水下海胆图像识别模型的训练方法，所述方法包括：构建水下海胆图像识别模型；获取水下海胆图像数据集；对所述水下海胆图像数据集进行多尺度彩色复原；通过暗通道先验方法对所述水下海胆图像数据集进行处理；将多尺度彩色复原的水下海胆图像数据集和通过暗通道先验方法处理后的水下海胆图像数据集进行图像融合；将融合后的图像数据集进行锐化处理得到训练图像数据集；利用所述训练图像数据集对所述水下海胆图像识别模型进行训练。
5.根据本发明的第二技术方案，提供一种水下海胆图像识别方法，所述方法包括：利用如本发明各实施例所述的训练方法训练得到的水下海胆图像识别模型对水下海胆图像进行识别。
6.根据本发明的第三技术方案，提供一种水下海胆图像识别模型的训练装置，所述装置包括处理器，所述处理器被配置为：构建水下海胆图像识别模型；获取水下海胆图像数据集；对所述水下海胆图像数据集进行多尺度彩色复原；通过暗通道先验方法对所述水下海胆图像数据集进行处理；将多尺度彩色复原的水下海胆图像数据集和通过暗通道先验方法处理后的水下海胆图像数据集进行图像融合；将融合后的图像数据集进行锐化处理得到训练图像数据集；利用所述训练图像数据集对所述水下海胆图像识别模型进行训练。
7.根据本发明的第四技术方案，提供一种水下海胆图像识别装置，所述装置包括处理器，所述处理器被配置为：利用如本发明各实施例所述的训练方法训练得到的水下海胆图像识别模型对水下海胆图像进行识别。
8.根据本发明第五技术方案，提供了一种存储有指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，执行根据本发明各个实施例所述的训练方法或识别方法。
9.根据本发明各个方案的水下海胆图像识别模型的训练方法、识别方法及装置，通
过对图像进多尺度彩色复原及暗通道先验处理，再基于点锐度权重方法进行图像融合并锐化处理，提高了图像质量，提高了后续海胆目标检测的准确率。
附图说明
10.在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
11.图1示出了根据本发明实施例的一种水下海胆图像识别模型的训练方法的流程图；图2示出了根据本发明实施例的ssd模型的网络结构图；图3示出了根据本发明实施例的多尺度彩色复原算法流程图；图4示出了根据本发明实施例的基于点锐度权重的图像融合算法示意图；图5示出了根据本发明实施例的基于点锐度权重的图像融合算法流程图；图6示出了根据本发明实施例的水下海胆图像的目标检测流程图。
具体实施方式
12.为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。下面结合附图和具体实施例对本发明的实施例作进一步详细描述，但不作为对本发明的限定。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。
13.本发明实施例提供一种水下海胆图像识别模型的训练方法，请参阅图1，图1示出了根据本发明实施例的一种水下海胆图像识别模型的训练方法的流程图。该训练方法包括：步骤s100，构建水下海胆图像识别模型。
14.在一些实施例中，请参阅图2，是水下海胆图像识别模型的示意图，所述水下海胆图像识别模型选择以ssd模型为基础，通过如下方法构建：ssd(single shot multibox detector)模型特征提取部分使用了vgg的卷积层，将vgg的两个的全连接层转换成普通的卷积层，并将多个卷积层都连接到最后的检测分类层做回归。本发明构建的ssd模型是ssd 300，其输入图像的大小是 300x300，特征提取部分使用了 vgg16 的卷积层，并将 vgg16的两个全连接层转换成了普通的卷积层（图中conv6和conv7），之后又接了多个卷积（conv8_1，conv8_2，conv9_1，conv9_2，conv10_1，conv10_2），最后用一个global average pool来变成1x1的输出（pool 11）。 从图中我们可以看出，ssd将conv4_3、conv7、conv8_2、conv9_2、conv10_2、pool 11都连接到了最后的检测分类层做回归。
15.步骤s200，获取水下海胆图像数据集。需要说明的是，水下海胆图像数据集至少包括一个水下海胆图像，可以通过调取现有的水下海胆图像组成，也可以通过实地采集得到。
例如，通过采集终端在水下采集到相应的水下海胆图像以构成所述水下海胆图像数据集。采集终端可以是专用的水下影像设备，在水下采集多个水下海胆图像或者水下海胆视频，如果是水下海胆视频时，可以逐帧对其进行提取，得到若干个视频帧，每个视频帧即是一个水下海胆图像。上述水下海胆图像数据集的获取方式仅仅只是示例，在实际应用本方法时，包括但不限于如上所述的获取方式。
16.步骤s300，对所述水下海胆图像数据集进行多尺度彩色复原（multi scale retinex with color restoration，msrcr）。
17.在一些实施例中，请参阅图3，是对所述水下海胆图像数据集进行多尺度彩色复原的流程图。具体是通过如下公式（1）对所述水下海胆图像数据集进行多尺度彩色复原： 公式（1）其中，表示其中一个通道的反射分量；表示其中一个通道的色彩恢复因子，的表达式如公式(2)所示；表示尺度个数，一般取值为3；表示第个尺度的加权系数，且；表示原始图像的第个通道；表示第个尺度上的高斯滤波函数,的表达式如公式(3)所示；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式（2）其中，是增益常数，一般取值为46，的取值大小控制着非线性的强度，一般取值为125。
18.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式（3）其中表示在第个尺度下高斯环绕函数的尺度参数。
19.步骤s400，通过暗通道先验方法对所述水下海胆图像数据集进行处理。暗通道先验方法是图像处理领域常规的方法，本实施例在此不作详细阐述。
20.步骤s500，将多尺度彩色复原的水下海胆图像数据集和通过暗通道先验方法处理后的水下海胆图像数据集进行图像融合。
21.在一些实施例中，请参阅图4和图5，所述将多尺度彩色复原的水下海胆图像数据集和通过暗通道先验方法处理后的水下海胆图像数据集进行图像融合，包括：步骤s501，计算多尺度彩色复原的水下海胆图像和通过暗通道先验方法处理后的水下海胆图像的清晰度。
22.在一些实施例中，通过如下公式（4）计算多尺度彩色复原的水下海胆图像和通过
暗通道先验方法处理后的水下海胆图像的清晰度：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式（4）其中m表示图像的行数，n表示列数；p表示图像的清晰度，表示图像灰度变化的幅度，表示图像像素间距的变化量。
23.步骤s502，根据清晰度计算出融合权重系数。
24.在一些实施例中，通过如下公式（5）计算出融合权重系数：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式（5）是当前图像的清晰度，是另一图像的清晰度，是融合权重系数。
25.步骤s503，基于所述融合权重系数，对多尺度彩色复原的水下海胆图像和通过暗通道先验方法处理后的水下海胆图像按照rgb三通道进行拆分，并根据对应的通道进行融合，获得融合后的图像。
26.步骤s600，将融合后的图像数据集进行锐化处理得到训练图像数据集。
27.在一些实施例中，对步骤s500获得的融合图像进行高斯滤波，然后将当前图像的像素值和经过高斯滤波之后的结果做差，并映射到0-255之间，如下公式（6）所示:
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式（6）其中，是锐化处理后的结果图像，是原图像，是高斯模糊处理后的图像，是锐化调整参数，一般取0.6。使用上述方法对图像进行锐化时，减低的图像噪声的同时，还可以起到一定的图像平滑作用。
28.步骤s700，利用所述训练图像数据集对所述水下海胆图像识别模型进行训练。最后得到训练好的水下海胆图像识别模型。
29.本发明实施例提供一种水下海胆图像识别方法，所述方法包括：利用如本发明各实施例所述的训练方法训练得到的水下海胆图像识别模型对水下海胆图像进行识别。
30.在一些实施例中，请参阅图6，是水下海胆图像识别方法的流程图，所述水下海胆图像识别方法包括：步骤s601，对水下海胆图像进行多尺度彩色复原。该步骤可以通过如上所述的公式（1）-公式（3）实现。
31.步骤s602，通过暗通道先验方法对水下海胆图像进行处理。
32.步骤s603，将多尺度彩色复原的水下海胆图像和通过暗通道先验方法处理后的水下海胆图像进行图像融合。该步骤可以通过如上所述的公式（4）-公式（5）实现。
33.步骤s604，将融合后的图像进行锐化处理后输入至训练好的水下海胆图像识别模型中进行识别。该步骤中的锐化处理可以通过如上所述的公式（6）实现。
34.本发明实施例提供一种水下海胆图像识别模型的训练装置，所述装置包括处理器，所述处理器被配置为：构建水下海胆图像识别模型；获取水下海胆图像数据集；对所述水下海胆图像数据集进行多尺度彩色复原；通过暗通道先验方法对所述水下海胆图像数据集进行处理；将多尺度彩色复原的水下海胆图像数据集和通过暗通道先验方法处理后的水下海胆图像数据集进行图像融合；将融合后的图像数据集进行锐化处理得到训练图像数据集；利用所述训练图像数据集对所述水下海胆图像识别模型进行训练。
35.在一些实施例中，所述处理器被进一步配置为：通过如下公式（1）对所述水下海胆图像数据集进行多尺度彩色复原： 公式（1）其中，表示其中一个通道的反射分量；表示其中一个通道的色彩恢复因子，的表达式如公式(2)所示；表示尺度个数，一般取值为3；表示第个尺度的加权系数，且；表示原始图像的第个通道；表示第个尺度上的高斯滤波函数, 的表达式如公式(3)所示；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式（2）其中，是增益常数，一般取值为46，的取值大小控制着非线性的强度，一般取值为125。
36.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式（3）其中表示在第个尺度下高斯环绕函数的尺度参数。
37.在一些实施例中，所述处理器被进一步配置为：计算多尺度彩色复原的水下海胆图像和通过暗通道先验方法处理后的水下海胆图像的清晰度；根据清晰度计算出融合权重系数；基于所述融合权重系数，对多尺度彩色复原的水下海胆图像和通过暗通道先验方法处理后的水下海胆图像按照rgb三通道进行拆分，并根据对应的通道进行融合，获得融合后的图像。
38.在一些实施例中，所述处理器被进一步配置为：通过如下公式（4）计算多尺度彩色复原的水下海胆图像和通过暗通道先验方法处理后的水下海胆图像的清晰度：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式（4）
其中m表示图像的行数，n表示列数；p表示图像的清晰度，表示图像灰度变化的幅度，表示图像像素间距的变化量。
39.在一些实施例中，所述处理器被进一步配置为：通过如下公式（5）计算出融合权重系数：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式（5）是当前图像的清晰度，是另一图像的清晰度，是融合权重系数。
40.本发明实施例提供一种水下海胆图像识别装置，所述装置包括处理器，所述处理器被配置为：利用如本发明各实施例所述的训练方法训练得到的水下海胆图像识别模型对水下海胆图像进行识别。
41.在一些实施例中，所述处理器被进一步配置为：对水下海胆图像进行多尺度彩色复原；通过暗通道先验方法对水下海胆图像进行处理；将多尺度彩色复原的水下海胆图像和通过暗通道先验方法处理后的水下海胆图像进行图像融合；将融合后的图像进行锐化处理后输入至训练好的水下海胆图像识别模型中进行识别。
42.本发明实施例还提供了一种存储有指令的非暂时性计算机可读介质，当指令由处理器执行时，执行根据本发明任一实施例所述的训练方法或识别方法。
43.此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本发明的具有等同元件、修改、省略、组合（例如，各种实施例交叉的方案）、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本技术的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
44.以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本发明。这不应解释为一种不要求保护的发明的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的发明的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
技术特征：1.一种水下海胆图像识别模型的训练方法，其特征在于，所述方法包括：构建水下海胆图像识别模型；获取水下海胆图像数据集；对所述水下海胆图像数据集进行多尺度彩色复原；通过暗通道先验方法对所述水下海胆图像数据集进行处理；将多尺度彩色复原的水下海胆图像数据集和通过暗通道先验方法处理后的水下海胆图像数据集进行图像融合；将融合后的图像数据集进行锐化处理得到训练图像数据集；利用所述训练图像数据集对所述水下海胆图像识别模型进行训练。2.根据权利要求1所述的方法，其特征在于，通过如下公式（1）对所述水下海胆图像数据集进行多尺度彩色复原：
ꢀꢀꢀꢀ
公式（1）其中，表示其中一个通道的反射分量；表示其中一个通道的色彩恢复因子，的表达式如公式(2)所示；表示尺度个数，取值为3；表示第个尺度的加权系数，且；表示原始图像的第个通道；表示第个尺度上的高斯滤波函数,的表达式如公式(3)所示；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式（2）其中，是增益常数，一般取值为46，的取值大小控制着非线性的强度，一般取值为125；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式（3）其中表示在第个尺度下高斯环绕函数的尺度参数。3.根据权利要求1或2所述的方法，其特征在于，所述将多尺度彩色复原的水下海胆图像数据集和通过暗通道先验方法处理后的水下海胆图像数据集进行图像融合，包括：计算多尺度彩色复原的水下海胆图像和通过暗通道先验方法处理后的水下海胆图像的清晰度；根据清晰度计算出融合权重系数；基于所述融合权重系数，对多尺度彩色复原的水下海胆图像和通过暗通道先验方法处理后的水下海胆图像按照rgb三通道进行拆分，并根据对应的通道进行融合，获得融合后的
图像。4.根据权利要求3所述的方法，其特征在于，通过如下公式（4）计算多尺度彩色复原的水下海胆图像和通过暗通道先验方法处理后的水下海胆图像的清晰度：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式（4）其中m表示图像的行数，n表示列数；p表示图像的清晰度，表示图像灰度变化的幅度，表示图像像素间距的变化量。5.根据权利要求3所述的方法，其特征在于，通过如下公式（5）计算出融合权重系数：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式（5）是当前图像的清晰度，是另一图像的清晰度，是融合权重系数。6.一种水下海胆图像识别方法，其特征在于，所述方法包括：利用如权利要求1至5任一项所述的训练方法训练得到的水下海胆图像识别模型对水下海胆图像进行识别。7.根据权利要求6所述的方法，其特征在于，所述方法包括：对水下海胆图像进行多尺度彩色复原；通过暗通道先验方法对水下海胆图像进行处理；将多尺度彩色复原的水下海胆图像和通过暗通道先验方法处理后的水下海胆图像进行图像融合；将融合后的图像进行锐化处理后输入至训练好的水下海胆图像识别模型中进行识别。8.一种水下海胆图像识别模型的训练装置，其特征在于，所述装置包括处理器，所述处理器被配置为：构建水下海胆图像识别模型；获取水下海胆图像数据集；对所述水下海胆图像数据集进行多尺度彩色复原；通过暗通道先验方法对所述水下海胆图像数据集进行处理；将多尺度彩色复原的水下海胆图像数据集和通过暗通道先验方法处理后的水下海胆图像数据集进行图像融合；将融合后的图像数据集进行锐化处理得到训练图像数据集；利用所述训练图像数据集对所述水下海胆图像识别模型进行训练。9.一种水下海胆图像识别装置，其特征在于，所述装置包括处理器，所述处理器被配置为：利用如权利要求1至5任一项所述的训练方法训练得到的水下海胆图像识别模型对水下海胆图像进行识别。10.一种存储有指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，执行根据权利要求1至5中任一项所述的训练方法或6至7中任一项所述的识别方法。
技术总结本发明公开一种水下海胆图像识别模型的训练方法、识别方法及装置，所述训练方法包括：构建水下海胆图像识别模型；获取水下海胆图像数据集；对所述水下海胆图像数据集进行多尺度彩色复原；通过暗通道先验方法对所述水下海胆图像数据集进行处理；将多尺度彩色复原的水下海胆图像数据集和通过暗通道先验方法处理后的水下海胆图像数据集进行图像融合；将融合后的图像数据集进行锐化处理得到训练图像数据集；利用所述训练图像数据集对所述水下海胆图像识别模型进行训练。本发明通过对图像进行多尺度彩色复原及暗通道先验处理，再基于点锐度权重方法进行图像融合并锐化处理，提高了图像质量，提高了后续海胆目标检测的准确率。提高了后续海胆目标检测的准确率。提高了后续海胆目标检测的准确率。
技术研发人员：彭小红 梁子祥 李思东 陈亮 张军 李一凡 赵晓鹏
受保护的技术使用者：广东海洋大学
技术研发日：2022.05.31
技术公布日：2022/7/5
