1.本发明涉及计算机视觉领域，具体涉及一种火线提取与定位方法、系统及计算机可读介质。
背景技术：2.世界上每年都会有一定数量的山火灾害发生，会造成大量的财产损失和人员伤亡，山火发生时火势蔓延迅速，且覆盖面积巨大，因此，对山火火线的图像识别对抢救、预防山火灾害显得尤为重要。
3.目前，主要采取两种方法对火线进行提取与定位，一是通过传统图像算法从前端成像设备获取的图像中提取高亮区域，传统图像算法对特定的场景图片准确率高，但抗干扰能力差，对图像参数的限制性要求强，且通过无人机视频画面来进行识别会导致提取结果误差较大；二是通过深度学习分割网络算法对前端成像设备获取的图像进行分割，深度学习算法抗干扰能力强，可适用于多种不同场景，但需要大量的图像和对应的标注内容作为训练数据，由于火线轮廓非常复杂，导致这一标注过程极为困难，并会严重影响最后训练结果的准确性。
技术实现要素：4.有鉴于此，本发明提供一种火线提取与定位方法、系统及计算机可读介质，通过传统图像算法、图像裁剪、及深度学习法相结合的方式来提取与定位火线，具有初始数据量小、提取轮廓准确度高的特点。
5.本发明提供一种火线提取与定位方法，所述方法包括：
6.s1：标记初始数据图片中火线轮廓对应像素区域为目标roi；
7.s2：对初始数据图片进行预处理得到第一数据图片；
8.s3：对初始数据图片中的目标roi进行随机尺寸裁剪，得到样本数据图片组，并按各样本数据图片对应像素点位置对第一数据图片进行裁剪，得到标签数据图片组；
9.s4：根据样本数据图片组及标签数据图片组形成训练数据集，将训练数据集输入分割网络模型中进行训练；
10.s5：将待处理图像输入训练完成的分割网络模型，对火线进行提取与定位。
11.优选的，所述对初始数据图片进行预处理得到第一数据图片的步骤包括：
12.将初始数据图片转换到yuv空间，获得yuv色彩空间图像；
13.根据设定第一阈值对yuv色彩空间图像进行明度分量的二值化处理，获得第一数据图片。
14.优选的，所述设定第一阈值的计算方法为直方图中的峰间谷底法、最大类间方差法、p参数法、最大熵阈值法、迭代法中的任意一种。
15.优选的，所述随机尺寸裁剪的长宽比范围为3:1-1:3；
16.优选的，所述根据样本数据图片组及标签数据图片组形成训练数据集的步骤包
括：
17.对样本数据图片组及标签数据图片组进行数据清洗与数据增强，形成训练数据集。
18.优选的，所述数据清洗的方法为：
19.剔除样本数据图片组及标签数据图片组中不包含火线像素或火线像素占比小于第二阈值的图片。
20.优选的，所述数据加强的方法为：
21.通过随机增加噪声点、随机旋转、随机缩放、随机调整亮度与随机调整对比度中的一种或多种对样本数据图片组与标签数据图片组进行处理，得到训练数据集。
22.可选的，所述分割网络模型可以为cnn、fcn、unet、segnet、deeplab、 crfasrnn、pspnet、parsenet、refinenet、reseg、lstm-cf等分割网络模型中的任意一种。
23.本发明还提供一种火线提取与定位系统，包括：
24.图片标记模块：用于标记图片中目标roi；
25.第一图片处理模块：用于对图片进行色彩空间转换及二值化处理；
26.图片裁剪模块：用于对图片进行随机裁剪；
27.第二图片处理模块：用于对图片进行数据清理及数据增强；
28.深度学习模块：用于训练模型，提取与定位非训练集图片火线。
29.一种计算机可读介质，其特征在于，所述计算机可读介质存储有机器可执行指令，所述机器可执行的指令执行时实现权利要求1至8中任一项所述的火线提取与定位方法。
30.本发明结合传统图像处理方法和深度学习方法的优点，首先选定初始数据图片目标roi，对图片进行预处理，再对数据图片进行裁剪，将裁剪后的数据图片输入构建的分割网络模型进行训练，既省去了深度学习训练所需的大量的数据收集和标注工作，又保留了传统图像算法提取轮廓准确度高的优势，对火情巡检、火灾走势分析等应用有巨大的应用价值。
附图说明
31.图1为一种火线提取与定位方法的流程示意图。
32.图2为yuv色彩空间图像的初始数据图片的直方图。
33.图3为实施例第一数据图片。
34.图4为实施例样本数据图片组与标签数据图片组。
35.图5为通过unet网络训练后对非训练样本图片的分割结果。
具体实施方式
36.为了使本领域的技术人员更好地理解本发明的技术方案，下面结合具体实施方式对本发明作进一步的详细说明。
37.本发明提供的一种火线提取与定位方法，图1为本发明提供的一种的火线提取与定位方法的流程示意图，该方法包括如下步骤：
38.s1：标记初始数据图片中火线轮廓对应像素区域为目标roi。
39.本发明通过无人机摄像头拍摄山火的方法获取包含有火线轮廓的图片作为初始
数据图片，用于模型的生成，初始数据图片优选为包含火线轮廓、火焰颜色与背景颜色色差较大，且火焰形状清晰，火焰边缘线条与背景可清楚区分并清晰可见的图片。除本优选实施例以外，本发明所公开的方法也可使用互联网或其他方式获取的包含有火线轮廓的图片作为初始数据图片。
40.通过人工判定的方式，首先找出初始数据图片中的火焰区域，在初始数据图片上用一个矩形区域将火焰区域框选，该矩形区域内包含所有的火线轮廓像素，并将该矩形区域作为目标roi。
41.s2：对初始数据图片进行预处理得到第一数据图片。
42.一般的，初始数据图片的色彩格式为rgb模式，将初始数据图片导入至visualstudio中，通过opencv库及yuv色彩空间转换公式
43.(y＝0.298r+0.612g+0.117b)
44.(u＝-0.168r-0.330g+0.498b+128)
45.(v＝0.449r-0.435g-0.083b+128)
46.将初始数据图片转换到yuv色彩空间，获得yuv色彩图像；
47.通过opencv库，生成yuv色彩图像的直方图，如图2所示，直方图横坐标表示亮度，纵坐标表示像素量，本实施例采用峰间谷底法来得到阈值，取最低的波谷时的亮度值为第一阈值，判断yuv色彩图像的各个像素点亮度与第一阈值的大小关系，若像素点的亮度值大于第一阈值，则将该像素点的值改为灰度极大值，若像素点的亮度值小于第一阈值，则将该像素点的值改为0，使整个初始数据图片中的像素点亮度只存在两个值：灰度极大值与0，得到如图3所示的第一数据图片。
48.本发明通过二值化处理将yuv色彩图像中亮度大于第一阈值的像素值设为灰度极大值，把小于这个值的像素灰度设为0，使第一数据图片只具有黑白两种颜色，消除其他颜色对图片处理的影响，更有利于后续图片处理。
49.s3：对初始数据图片中的目标roi进行随机尺寸裁剪，得到样本数据图片组，并按各样本数据图片对应像素点位置对第一数据图片进行裁剪，得到标签数据图片组；
50.对初始数据图片中的目标roi进行大小随机的裁剪，在本实施例中，初始数据图片的目标roi被裁剪为n份，在裁剪过程之前确定至少n个随机的长宽比，所述长宽比的优选范围为3：1-1：3，对目标roi进行裁剪，将被裁剪后的n份roi图片数据作为样本数据图片组。
51.同样的，对第一数据图片的对应区域进行相同裁剪，裁剪出相同份数的图片数据，将这部分图片数据作为标签数据图片组。
52.在本实施例中，如图4所示，裁剪后图片的长宽比为1:1，基于本实施例但不限于本实施例，裁剪后n份图像的长宽比可以为n种随机长宽比。
53.本发明采用随机裁剪的方法，在图片的火线像素roi上任意截取一小段区域，可以与大范围火线轮廓构成一个相似的系统，通过对初始数据图片中的目标roi与第一数据图片相同像素点位置进行随机尺寸的裁剪，可获得大量的火线小尺寸图片和对应的轮廓图片，用作深度学习算法训练的样本数据图片和标签数据图片，进而直接省去了深度学习算法训练需要的大量收集和标注数据的工作。
54.s4：根据样本数据图片组及标签数据图片组形成训练数据集，将训练数据集输入分割网络模型中进行训练；
55.先对样本数据图片组以及标签数据图片组进行数据清洗，通过计算标签数据图片中火线像素与非火线像素的数量、火线像素与总像素的比值，火线像素在总像素中占比小于第二阈值，如10％的标签数据图片以及对应的样本数据图片被剔除。
56.其中，由于标签数据图片经过二值化处理，火线像素在图片中为有亮度像素，非火线像素为无亮度像素。
57.对样本数据图片组以及标签数据图片组进行数据加强，在本实施例中，进行图像增强的方式为随机加入椒盐噪声以及随机旋转处理，具体步骤为：
58.将样本数据图片组以及标签数据图片组图像输入到导入至visual studio中，通过opencv库，并自定义图像信噪比snr，取值范围为[0,1]，本实施例中将信噪比 snr，通过信噪比snr计算图像像素点个数sp，通过公式np＝sp
×
(1-snr)得到椒盐噪声像素点数量np，通过opencv库中rand函数随机获取每个加入椒盐噪声的像素点位置，随机生成取值范围在[0,1]之间的一个浮点数，判断该浮点是否大于设定值，如0.5，若该浮点数大于设定值，则设置该像素点的像素值为0，若否，则设置该像素点的像素值为255。
[0059]
在本实施例中，实现数据增强采用的方法为对样本数据图片组以及标签数据图片组进行随件旋转处理，通过tensorflow等工具，设定图片随机旋转角度范围，图片随机旋转角度范围设置为[0，360]，将随机加入椒盐噪声后的样本数据图片组以及标签数据图片组输入到tensorflow等工具中，进行随机旋转处理。
[0060]
通过上述方法，对样本数据图片组以及标签数据图片组图像进行图像增强，形成训练数据集。
[0061]
需要说明的是，基于本发明的发明构思，得到本训练数据集的方法不限于本实施例所提供的方法，其余的可获得该训练数据集的方法均包括在内，如随机缩放、随机调整亮度与随机调整对比度等方式。
[0062]
通过数据增强的方式，可以增大在分割网络训练时的训练数据量，提高分割网络的精度和泛化能力。
[0063]
本实施例使用unet分割网络进行图像分割，具体设计如下，unet网络包含编码器与解码器两个模块，其中编码器含有4个子模块，每个子模块包含两个3
×
3 卷积层激活函数为relu，每个子模块后链接一个通过2
×
2最大池化实现的下采样层。在本实施例中，由于卷积采用valid模式，故一个子模块的分辨率＝(前一个子模块的分辨率-4)/2。
[0064]
解码器包含4个子模块，图像分辨率通过上采样依次上升，直到与输入图像的分辨率一致，由于卷积采用valid模式，故实际输出的图像分辨率比输入图像的分辨率小。
[0065]
需要说明的是，输入图片的分辨率大小需满足公式s＝16x+124,s为特征图分辨率的大小，x为自变量，即每一层池化操作前的特征图分辨率大小为偶数，以保证在分割过程中不会损失过多信息。
[0066]
s5：将待处理图像输入火线提取模型，对火线进行提取与定位。
[0067]
通过unet网络训练后对非训练样本图片的分割结果如图5所示。
[0068]
需要说明的是，分割网络模型不限于本发明实施例提供的unet分割网络，其他方法包括，如cnn、fcn、unet、segnet、deeplab、crfasrnn、pspnet、parsenet、 refinenet、reseg、lstm-cf等分割网络模型，本领域技术人员根据本发明的发明构思，可通过上述模型中的任意一种分割网络进行图片分割。
[0069]
本发明还提供一种火线提取与定位系统，包括：
[0070]
图片标记模块：用于标记图片中目标roi；
[0071]
第一图片处理模块：用于对图片进行色彩空间转换及二值化处理；
[0072]
图片裁剪模块：用于对图片进行随机裁剪；
[0073]
第二图片处理模块：用于对图片进行数据清理及数据增强；
[0074]
深度学习模块：用于训练模型，提取与定位非训练集图片火线。
[0075]
本发明也提供一种计算机可读介质，其特征在于，所述计算机可读介质存储有机器可执行指令，所述机器可执行的指令执行时实现权利要求1至8中任一项所述的火线提取与定位方法。
[0076]
以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
技术特征：1.一种火线提取与定位方法，其特征在于，所述方法包括：s1：标记初始数据图片中火线轮廓对应矩形区域为目标roi；s2：对初始数据图片进行预处理得到第一数据图片；s3：对初始数据图片中的目标roi进行随机尺寸裁剪，得到样本数据图片组，并按各样本数据图片对应像素点位置对第一数据图片进行裁剪，得到标签数据图片组；s4：根据样本数据图片组及标签数据图片组形成训练数据集，将训练数据集输入分割网络模型中进行训练；s5：将待处理图像输入训练完成的分割网络模型，对火线进行提取与定位。2.根据权利要求1所述的火线提取与定位方法，其特征在于，所述对初始数据图片进行预处理得到第一数据图片的步骤包括：将初始数据图片转换到yuv空间，获得yuv色彩空间图像；根据设定第一阈值对yuv色彩空间图像进行明度分量的二值化处理，获得第一数据图片。3.根据权利要求2所述的火线提取与定位方法，其特征在于，所述设定第一阈值的计算方法为直方图中的峰间谷底法、最大类间方差法、p参数法、最大熵阈值法、迭代法中的任意一种。4.根据权利要求1所述的火线提取与定位方法，其特征在于，所述随机尺寸裁剪的长宽比范围为3:1-1:3。5.根据权利要求1所述的火线提取与定位方法，其特征在于，所述根据样本数据图片组及标签数据图片组形成训练数据集的步骤包括：对样本数据图片组及标签数据图片组进行数据清洗与数据增强，形成训练数据集。6.根据权利要求5所述的火线提取与定位方法，其特征在于，所述数据清洗的方法为：剔除样本数据图片组及标签数据图片组中火线像素占比小于第二阈值的图片。7.根据权利要求5所述的火线提取与定位方法，其特征在于，所述数据加强的方法为：通过随机增加噪声点、随机旋转、随机缩放、随机调整亮度与随机调整对比度中的一种或多种对样本数据图片组与标签数据图片组进行处理，得到训练数据集。8.根据权利要求1所述的火线提取与定位方法，其特征在于，所述分割网络模型可以为cnn、fcn、unet、segnet、deeplab、crfasrnn、pspnet、parsenet、refinenet、reseg、lstm-cf等分割网络模型中的任意一种。9.一种火线提取与定位系统，其特征在于，所述系统包括：图片标记模块：用于标记图片中目标roi；第一图片处理模块：用于对图片进行色彩空间转换及二值化处理；图片裁剪模块：用于对图片进行随机裁剪；第二图片处理模块：用于对图片进行数据清理及数据增强；深度学习模块：用于训练模型，提取与定位非训练集图片火线。10.一种计算机可读介质，其特征在于，所述计算机可读介质存储有机器可执行指令，所述机器可执行的指令执行时实现权利要求1至8中任一项所述的火线提取与定位方法。
技术总结本发明公开一种火线提取与定位方法、系统及计算机可读介质，首先选定初始数据图片目标ROI，对图片进行YUV色彩空间转换以及二值化处理得到火线区域，作为该初始数据图片的标注结果，然后对初始数据图片进行随机裁剪，并进行数据增强，生成深度学习可用的数据集，将生成的数据集输入构建的分割网络模型进行训练，既极大地减少了制作深度学习数据集所需的大量数据收集和标注工作，又保留了传统图像算法提取轮廓准确度高的优势，对火情巡检、火灾走势分析等具有巨大的应用价值。分析等具有巨大的应用价值。分析等具有巨大的应用价值。
技术研发人员：袁睿 刘夯 王陈 蒋友妮
受保护的技术使用者：成都纵横大鹏无人机科技有限公司
技术研发日：2022.01.07
技术公布日：2022/7/5
