1.本发明涉及图像识别技术领域，尤其涉及图像去雾恢复方法、装置、计算机设备。
背景技术：2.在室外场景条件下，有一定概率出现雾天条件，对于图像拍摄效果和应用局限性。在现有图像识别算法中，雾天可见度图片去雾算法具有不稳定性，和天空效果不准的情况。同时大部分现有公开基于深度学习模型算法依赖于少量公开数据集，因此缺少一定的泛化能力。雾天可见度和颗粒浓度与拍摄点的景深有关，可见物体的透射强度和大气光强在颗粒的散射有关(具体实施细节中介绍透射光和散射参数/景深的计算公式)，现有的去雾算法无考虑景深对去雾效果的影响。
技术实现要素：3.为解决现有存在的技术问题，本发明实施例提供了图像去雾恢复方法、室外雾场景图片的生成方法、装置、计算机设备。
4.为达到上述目的，本发明实施例的技术方案是这样实现的：
5.本发明实施例提供了一种图像去雾恢复方法，其特征在于，所述方法包括：
6.接收输入的原始图像信息；
7.根据所述原始图像信息，得到所述原始图像信息的暗通道图像信息；
8.根据所述暗通道图像信息，按照导向滤波计算策略，得到滤波光透射图；
9.根据所述原始图像信息，得到所述原始图像信息的景深图；
10.根据所述原始图像信息、所述滤波光透射图和所述景深图，按照投射光预测和去雾恢复计算策略，得到所述原始图像信息的去雾恢复图。
11.优选的，所述根据所述原始图像信息、所述滤波光透射图和所述景深图，按照投射光预测和去雾恢复计算策略，得到所述原始图像信息的去雾恢复图，包括：
12.提取所述原始图像信息的金字塔特征图和光透射映射特征图；
13.根据所述金字塔特征图和所述光透射映射特征图的乘积连接得到特征矩阵；
14.将所述特征矩阵经过一层卷积层计算得到去雾恢复图。
15.优选的，所述提取所述原始图像信息的金字塔特征图和光透射映射特征图，包括：
16.使用densenet网络提取所述原始图像信息的金字塔特征图；
17.根据其中的金字塔特征图卷积输出光透射映射特征图。
18.本发明实施例还提供一种室外雾场景图片的生成方法，所述生成方法用于所述的去雾恢复方法的训练，包括以下步骤：
19.采集可用干净可见度高的图片和真实雾天场景图片，区分标定不同无雾图片和雾天图片；
20.使用无雾图片的景深图生成光透射图；
21.根据光透射图、原始图片的辐照图和光照强度，生成加雾图，其中所述原始图片包
括所述无雾图片和所述雾天图片。
22.优选的，所述使用无雾图片的景深图生成光透射图包括：
23.根据不同颗粒浓度对应可见距离下的无雾图片的景深图的散射参数，生成不同距离下的光透射图。
24.优选的，所述生成不同距离下的光透射图采用的计算策略为卷积神经网络cnn估计方法。
25.本发明实施例还提供一种图像去雾恢复装置，包括：
26.接收模块，用于接收输入的原始图像信息；
27.第一计算模块，用于根据所述原始图像信息，得到所述原始图像信息的暗通道图像信息；
28.第二计算模块，用于根据所述暗通道图像信息，按照导向滤波计算策略，得到滤波光透射图；
29.第三计算模块，用于根据所述原始图像信息，得到所述原始图像信息的景深图；
30.第四计算模块，用于根据所述原始图像信息、所述滤波光透射图和所述景深图，按照投射光预测和去雾恢复计算策略，得到所述原始图像信息的去雾恢复图。
31.本发明实施例还提供一种室外雾场景图片的生成装置，包括：
32.采集模块，用于采集可用干净可见度高的图片和真实雾天场景图片，区分标定不同无雾图片和雾天图片；
33.第一生成模块，用于使用无雾图片的景深图生成光透射图；
34.第二生成模块，用于根据光透射图、原始图片的辐照图和光照强度，生成加雾图，其中所述原始图片包括所述无雾图片和所述雾天图片。
35.本发明实施例还提供一种计算机设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中所述处理器用于运行所述计算机程序时，实现所述的去雾恢复方法或所述的生成方法。
36.本发明实施例还提供一种计算机存储介质，存储有可执行程序，所述可执行程序被处理器执行时，实现所述的去雾恢复方法或所述的生成方法。
37.上述实施例所提供的去雾恢复方法联合使用、景深映射图作为输入信息，可以降低单独使用图像暗通道信息计算光透射图的误差和天空效果，同时添加图像的景深信息，平滑过滤光透射图，提高预测光透射图准确性和去雾恢复图的准确性。
附图说明
38.图1为本发明一实施例所提供的去雾恢复方法的流程示意图；
39.图2为本发明一实施例所提供的去雾恢复方法的流程框图；
40.图3为本发明一实施例所提供的去雾恢复方法的计算过程示意图；
41.图4为本发明一实施例所提供的去雾恢复装置的示意图；
42.图5为本发明一实施例所提供的生成方法的流程示意图；
43.图6为本发明一实施例所提供的生成方法的流程框图；
44.图7为本发明一实施例所提供的生成装置的示意图；
45.图8为本发明一实施例所提供的计算机设备的示意图；
具体实施方式
46.以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
47.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
48.本发明实施例中提供的图像去雾恢复方法、室外雾场景图片的生成方法，属于图像识别技术领域，应用场景可以为：雾天交通图像信息的识别场景中。可以理解的是，现有技术中，在室外场景条件下，有一定概率出现雾天条件，对于图像拍摄效果和应用局限性。在现有图像识别算法中，雾天可见度图片去雾算法具有不稳定性，和天空效果不准的情况。同时大部分现有公开基于深度学习模型算法依赖于少量公开数据集，因此缺少一定的泛化能力。雾天可见度和颗粒浓度与拍摄点的景深有关，可见物体的透射强度和大气光强在颗粒的散射有关(具体实施细节中介绍透射光和散射参数/景深的计算公式)，现有的去雾算法无考虑景深对去雾效果的影响。
49.基于此，如何提高去雾的准确性成为了亟需解决的技术问题。
50.需要指出的是，该方法由计算机设备执行。需要说明的是，这里的计算机设备是指任何具有计算处理功能的设备，包括但不限于固定终端设备或者移动终端设备。该固定终端设备可以包括但不限于台式电脑或者计算机设备等，该移动终端设备可以包括但不限于手机、平板电脑、穿戴式设备或者笔记本电脑等。
51.以下结合附图及具体实施例对本发明技术方案做进一步的详细阐述。
52.参考图1，本发明实施例提供本发明实施例提供了一种图像去雾恢复方法，其特征在于，所述方法包括：
53.s11：接收输入的原始图像信息；
54.s12：根据所述原始图像信息，得到所述原始图像信息的暗通道图像信息；
55.s13：根据所述暗通道图像信息，按照导向滤波计算策略，得到滤波光透射图；
56.s14：根据所述原始图像信息，得到所述原始图像信息的景深图；
57.s15：根据所述原始图像信息、所述滤波光透射图和所述景深图，按照投射光预测和去雾恢复计算策略，得到所述原始图像信息的去雾恢复图。
58.在一些实施例中，所述根据所述原始图像信息、所述滤波光透射图和所述景深图，按照投射光预测和去雾恢复计算策略，得到所述原始图像信息的去雾恢复图，包括：
59.提取所述原始图像信息的金字塔特征图和光透射映射特征图；
60.根据所述金字塔特征图和所述光透射映射特征图的乘积连接得到特征矩阵；
61.将所述特征矩阵经过一层卷积层计算得到去雾恢复图。
62.在一些实施例中，所述提取所述原始图像信息的金字塔特征图和光透射映射特征图，包括：
63.使用densenet网络提取所述原始图像信息的金字塔特征图；
64.根据其中的金字塔特征图卷积输出光透射映射特征图。
65.示例性的，参考图2和图3，所述提取所述原始图像信息的金字塔特征图和光透射
映射特征图的具体过程如下：
66.densenet网络提取原始图片大小(512x512)的金字塔特征图，依次卷积下采样5层金字塔结构输出[channel，height，widtd]：(p0[64，512，512]，p1[64，256，256]，p2[128，128，128]，p3[256，64，64]，p4[1664，32，32])；
[0067]
其中，特征图p4依次经过卷积上采样运算得到[1664，64，64]特征结构。特征图p3链接生成[1920，64，64]([256+1664，64，64])，卷积输出得到p3’[832，64，64]，特征图p3’依次经过卷积上采样运算得到[832，128，128]特征结构，特征图p2链接生成[960，128，128]([128+832，128，128])，卷积输出得到p2’[416，128，128]，特征图p2’依次经过卷积上采样运算得到[416，256，256]特征结构，特征图p1链接生成[480，256，256]([64+416，256，256])，卷积输出得到p1’[208，256，256]，特征图p1’依次经过卷积上采样运算得到[208，512，512]特征结构，特征图p0链接生成[272，512，512]([64+208，512，512])，卷积输出得到p0’[104，512，512]，p0’[104，512，512]卷积输出光透射映射t[1，512，512]。
[0068]
需要说明的是，在所述特征矩阵经过一层卷积层计算得到去雾恢复图中，使用densenet输出的金字塔特征和预测光透射映射t构建恢复卷积运算，具体为，根据前一步骤得到的[p0,p1,p2,p3,p4]和预测光透射映射t[1,512,512]乘积后再连接得到特征矩阵[52x5，512，512](图三中右侧黄色计算方块)，最后一层卷积层计算后输出恢复rgb图像[3,512,512]。其中p4经过4个上采用卷积块运算得到特征矩阵，p3经过3个上采用卷积块运算,p2经过2个上采用卷积块运算,p1经过1个上采用卷积块,p0经过1卷积块(不做上采样)运算得到相同大小的特征映射图矩阵[52，512，512]，其中上采用卷积块(separable_conv2d)运算由3*3depthwise卷积核、1*1pointwise卷积核构成，用3*3separable-conv2d代替传统3
×
3conv2d卷积核有效减少模型的参数量。
[0069]
在一些实施例中，所述去雾恢复方法中还包括有联合损失函数，包含光透射图损失函数，光透射图梯度损失函数，恢复去雾图片损失函数，进一步提高所述去雾恢复方法的准确度。其中光透射图损失函数是卷积网络输出预测透射图和标签透射图的均方误差损失函数，光透射图梯度损失函数是卷积网络输出预测透射图和标签透射图的梯度边缘图的均方误差损失函数，恢复去雾图片损失函数是卷积网络输出预测去雾还原图和原始无雾图的均方误差损失(包含均方误差损失，ssim图像相似度量信息)。
[0070]
总的来说，本发明方法的联合使用、景深映射图作为输入信息，可以降低单独使用图像暗通道信息计算光透射图的误差和天空效果，同时添加图像的景深信息，平滑过滤光透射图，提高预测光透射图准确性和去雾恢复图的准确性。
[0071]
如图4所示，本发明实施例还提供一种图像去雾恢复装置，包括：
[0072]
接收模块，用于接收输入的原始图像信息；
[0073]
第一计算模块41，用于根据所述原始图像信息，得到所述原始图像信息的暗通道图像信息；
[0074]
第二计算模块42，用于根据所述暗通道图像信息，按照导向滤波计算策略，得到滤波光透射图；
[0075]
第三计算模块43，用于根据所述原始图像信息，得到所述原始图像信息的景深图；
[0076]
第四计算模块44，用于根据所述原始图像信息、所述滤波光透射图和所述景深图，按照投射光预测和去雾恢复计算策略，得到所述原始图像信息的去雾恢复图。
[0077]
同时在一些实施例中使用hazerd人工方法生成室外雾场景图，根据不同随机参数设置，生成不同可见浓度加雾图片，和采集的真是场景图片组成数据集，提高所述去雾恢复方法模型预测的准确度。
[0078]
参考图5，本发明实施例还提供一种室外雾场景图片的生成方法，所述生成方法用于所述的去雾恢复方法的训练，包括以下步骤：
[0079]
s21：采集可用干净可见度高的图片和真实雾天场景图片，区分标定不同无雾图片和雾天图片；
[0080]
s22：使用无雾图片的景深图生成光透射图；
[0081]
s23：根据光透射图、原始图片的辐照图和光照强度，生成加雾图，其中所述原始图片包括所述无雾图片和所述雾天图片。
[0082]
在一些实施例中，所述使用无雾图片的景深图生成光透射图包括：
[0083]
根据不同颗粒浓度对应可见距离下的无雾图片的景深图的散射参数，生成不同距离下的光透射图。
[0084]
在一些实施例中，所述生成不同距离下的光透射图采用的计算策略为卷积神经网络cnn估计方法。
[0085]
示例性的，参考图6，hazerd人工方法生成室外雾场景，使用无雾图片的景深图(depthmap)生成光透射图(transmissionmap)，景深图使用常用的卷积神经网络cnn估计得到。根据不同颗粒浓度对应可见距离下的散射参数β，生成不同距离下的光透射图，如下公式得到，d(x,y)表示图像景深，t(x,y)表示光透射图。
[0086]
t(x，y)＝e-βd(x，y)
[0087]
由光透射图t(x,y),原始图片ec(x,y),光照强度ac(x,y)，得到人工加雾生成图。
[0088]
ic(x，y)＝ec(x，y)t(x，y)+ac(x，y)(1-t(x，y))
[0089]
其中，原始图片辐照图ec(x,y)rgb通道使用下公式线性插值计算，其中cl表示图片rgb像素值
[0090][0091]
为了使生成的人工数据集合具有适应性。随机组合不同参数集合(散射参数β，图像景深d(x,y)，光照强度ac(x,y))，图像景深d(x,y)中加入噪声扰动。
[0092]
参考图7，本发明实施例还提供一种室外雾场景图片的生成装置，包括：
[0093]
采集模块，用于采集可用干净可见度高的图片和真实雾天场景图片，区分标定不同无雾图片和雾天图片；
[0094]
第一生成模块，用于使用无雾图片的景深图生成光透射图；
[0095]
第二生成模块，用于根据光透射图、原始图片的辐照图和光照强度，生成加雾图，其中所述原始图片包括所述无雾图片和所述雾天图片
[0096]
这里需要指出的是：以上装置项的描述，与上述方法项描述是类似的，同方法的有益效果描述，不做赘述。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述。
[0097]
参考图8，本发明实施例还提供了一种计算机设备，包括处理器81和用于存储能够
在处理器上运行的计算机程序的存储器82，其中所述处理器81用于运行所述计算机程序时，实现应用于所述的去雾恢复或生成方法。
[0098]
在一些实施例中，本发明实施例中的存储器82可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0099]
而处理器81可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器82，处理器81读取存储器中的信息，结合其硬件完成上述去雾恢复或生成方法的步骤。
[0100]
在一些实施例中，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(application specific integrated circuits，asic)、数字信号处理器(digital signal processing，dsp)、数字信号处理设备(dsp device，dspd)、可编程逻辑设备(programmable logic device，pld)、现场可编程门阵列(field-programmable gate array，fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
[0101]
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
[0102]
本发明又一实施例提供了一种计算机存储介质，该计算机可读存储介质存储有可执行程序，所述可执行程序被处理器执行时，可实现应用于所述图像去雾恢复方法或室外雾场景合成图片的生成方法的步骤。例如，如图1或图5所示的方法中的一个或多个。
[0103]
在一些实施例中，所述计算机存储介质可以包括：u盘、移动硬盘、只读存储器
(rom，read only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0104]
需要说明的是：本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
[0105]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
技术特征：1.一种图像去雾恢复方法，其特征在于，所述方法包括：接收输入的原始图像信息；根据所述原始图像信息，得到所述原始图像信息的暗通道图像信息；根据所述暗通道图像信息，按照导向滤波计算策略，得到滤波光透射图；根据所述原始图像信息，得到所述原始图像信息的景深图；根据所述原始图像信息、所述滤波光透射图和所述景深图，按照投射光预测和去雾恢复计算策略，得到所述原始图像信息的去雾恢复图。2.根据权利要求1所述的去雾恢复方法，其特征在于，所述根据所述原始图像信息、所述滤波光透射图和所述景深图，按照投射光预测和去雾恢复计算策略，得到所述原始图像信息的去雾恢复图，包括：提取所述原始图像信息的金字塔特征图和光透射映射特征图；根据所述金字塔特征图和所述光透射映射特征图的乘积连接得到特征矩阵；将所述特征矩阵经过一层卷积层计算得到去雾恢复图。3.根据权利要求2所述的去雾恢复方法，其特征在于，所述提取所述原始图像信息的金字塔特征图和光透射映射特征图，包括：使用densenet网络提取所述原始图像信息的金字塔特征图；根据其中的金字塔特征图卷积输出光透射映射特征图。4.一种室外雾场景图片的生成方法，所述生成方法用于如权利要求1-3任一项所述的去雾恢复方法的训练，其特征在于，包括以下步骤：采集可用干净可见度高的图片和真实雾天场景图片，区分标定不同无雾图片和雾天图片；使用无雾图片的景深图生成光透射图；根据光透射图、原始图片的辐照图和光照强度，生成加雾图，其中所述原始图片包括所述无雾图片和所述雾天图片。5.根据权利要求4所述的生成方法，其特征在于，所述使用无雾图片的景深图生成光透射图包括：根据不同颗粒浓度对应可见距离下的无雾图片的景深图的散射参数，生成不同距离下的光透射图。6.根据权利要求5所述的生成方法，其特征在于，所述生成不同距离下的光透射图采用的计算策略为卷积神经网络cnn估计方法。7.一种图像去雾恢复装置，包括：接收模块，用于接收输入的原始图像信息；第一计算模块，用于根据所述原始图像信息，得到所述原始图像信息的暗通道图像信息；第二计算模块，用于根据所述暗通道图像信息，按照导向滤波计算策略，得到滤波光透射图；第三计算模块，用于根据所述原始图像信息，得到所述原始图像信息的景深图；第四计算模块，用于根据所述原始图像信息、所述滤波光透射图和所述景深图，按照投射光预测和去雾恢复计算策略，得到所述原始图像信息的去雾恢复图。
8.一种室外雾场景图片的生成装置，包括：采集模块，用于采集可用干净可见度高的图片和真实雾天场景图片，区分标定不同无雾图片和雾天图片；第一生成模块，用于使用无雾图片的景深图生成光透射图；第二生成模块，用于根据光透射图、原始图片的辐照图和光照强度，生成加雾图，其中所述原始图片包括所述无雾图片和所述雾天图片。9.一种计算机设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中所述处理器用于运行所述计算机程序时，实现权利要求1至3任一项所述的去雾恢复方法或如权利要求4-6任一项所述的生成方法。10.一种计算机存储介质，其特征在于，存储有可执行程序，所述可执行程序被处理器执行时，实现权利要求1至3任一项所述的去雾恢复方法或如权利要求4-6任一项所述的生成方法。
技术总结本发明实施例公开了去雾恢复方法，接收输入的原始图像信息，得到原始图像信息的暗通道图像信息和原始图像信息的景深图，再根据暗通道图像信息，按照导向滤波计算策略，得到滤波光透射图，然后根据原始图像信息、滤波光透射图和所述景深图，按照投射光预测和去雾恢复计算策略，得到原始图像信息的去雾恢复图，本方法联合使用、景深映射图作为输入信息，可以降低单独使用图像暗通道信息计算光透射图的误差和天空效果，同时添加图像的景深信息，平滑过滤光透射图，提高预测光透射图准确性和去雾恢复图的准确性。恢复图的准确性。恢复图的准确性。
技术研发人员：蔡孙增 黄丽莉 于洪洲
受保护的技术使用者：江西小马机器人有限公司
技术研发日：2022.03.28
技术公布日：2022/7/5
