1.本技术涉及图像处理技术领域，尤其是涉及一种图像融合方法、装置、设备和存储介质。
背景技术：2.红外探测器主要依靠物体自身的热辐射进行成像，不易受气候、光线等环境影响，抗干扰能力较强，对目标的热辐射信息描述更准确，能够很好地捕捉隐藏的热源目标。然而，红外图像成像质量受景物的热辐射特性、系统工作波长、传输距离和大气衰减等因素的影响，导致红外图像存在对比度较低，目标细节的反映能力比较差等问题。可见光图像是反射图像，其中高频成分多，图像分辨率较高，对场景的细节信息描述更全面。然而，可见光图像其成像过程易受环境和光照条件的影响。
3.为了兼容红外图像和可见光图像二者的优点，目前行业内逐渐提出通过图像融合技术，将红外图像和微光下的可见光图像进行融合，以使得融合后的图像可以弥补单一图像的不足。但是，目前已知的图像融合方法对红外图像和可见光图像进行融合后，容易出现图像结构信息描述不清楚，图像细节模糊，视觉效果较差的问题。
技术实现要素：4.有鉴于此，本技术提供一种图像融合方法、装置、设备和计算机存储介质，可以增加融合图像的信息量、提高融合图像的质量，提升视觉效果。
5.为达到上述目的，本技术实施例的技术方案是这样实现的：
6.第一方面，本技术实施例提供一种图像融合方法，包括：
7.获取同步采集的目标场景的红外图像和可见光图像；
8.提取可见光图像的亮度通道分量，得到对应的亮度分量图像；
9.分别对红外图像和所述亮度分量图像进行分解，得到红外图像和亮度分量图像各自对应的基础层图像和多个细节层图像；
10.将红外图像和所述亮度分量图像各自的基础层图像进行融合，得到基础层融合图像；
11.将红外图像和亮度分量图像各自的多个细节层图像分别对应进行融合，得到对应的多个细节层融合图像；
12.将基础层融合图像和多个细节层融合图像叠加，得到亮度分量融合图像，根据亮度分量融合图像和可见光图像的其它通道分量合并，得到融合图像。
13.第二方面，本技术实施例提供一种图像融合装置，包括：
14.图像获取模块，用于获取同步采集的目标场景的红外图像和可见光图像；
15.图像得到模块，用于提取可见光图像的亮度通道分量，得到对应的亮度分量图像；
16.图像分解模块，用于分别对红外图像和所述亮度分量图像进行分解，得到红外图像和亮度分量图像各自对应的基础层图像和多个细节层图像；
17.基础层图像融合模块，用于将红外图像和所述亮度分量图像各自的基础层图像进行融合，得到基础层融合图像；
18.细节层图像融合模块，用于将红外图像和亮度分量图像各自的多个细节层图像分别对应进行融合，得到对应的多个细节层融合图像；
19.融合图像得到模块，用于将基础层融合图像和多个细节层融合图像叠加，得到亮度分量融合图像，根据亮度分量融合图像和可见光图像的其它通道分量合并，得到融合图像。
20.第三方面，本技术实施例提供一种图像识别设备，包括处理器及存储器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如本技术任一实施例所述的图像融合方法。
21.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被控制器执行时本技术任一实施例所述的图像融合方法。
22.本技术上述实施例所提供的图像融合方法、装置、设备以及计算机存储介质，图像融合方法通过获取同步采集的目标场景的红外图像和可见光图像，提取可见光图像的亮度通道分量，得到对应的亮度分量图像，分别对红外图像和亮度分量图像进行分解，得到各自的基础层图像和多个细节层图像。将红外图像和亮度分量图像的基础层图像进行融合，得到基础层融合图像，以及将红外图像和亮度分量图像各自的多个细节层图像分别对应进行融合，得到对应的多个细节层融合图像，最后将基础层融合图像以及所有细节层融合图像进行叠加，得到亮度分量融合图像，合并亮度分量融合图像与其它通道分量，得到目标场景的融合图像。如此，通过从可见光图像中提取与颜色无关的亮度分量图像，并对亮度分量图像和红外图像进行分解，得到各自对应的基础层图像和多个细节层图像，将亮度分量图像与红外图像的细节层图像以及基础层图像分别进行融合，以得到尽可能保留源图像的信息的亮度分量融合图像，减少图像融合时图像颜色的干扰，再将亮度分量融合图像与原始其它分量合并得到目标场景的融合图像，融合图像可以尽可能地继承源图像的信息，增加融合图像的信息量、提高融合图像的质量以及提升融合图像的对比度，实现良好的视觉效果，融合后的图像较好地兼容了红外图像和可见光图像各自的优势，克服了单一图像各自的缺陷。
附图说明
23.图1示出本技术实施例提供的一种图像融合系统的架构示意图；
24.图2示出本技术实施例提供的一种图像融合方法的流程示意图；
25.图3示出本技术实施例提供的一种图像分解方法的流程示意图；
26.图4示出本技术实施例提供的一种细节层图像与自适应脉冲耦合神经网络中神经元对应关系的示意图；
27.图5示出本技术实施例提供的一种自适应脉冲耦合神经网络单个神经元的简化模型示意图；
28.图6示出本技术实施例提供的一种红外图像；
29.图7示出本技术实施例提供的一种可见光图像；
30.图8示出本技术实施例提供的一种图像融合方法处理结果的示意图；
31.图9示出现有技术提供的一种adf方法处理结果的示意图；
32.图10示出现有技术提供的一种fpde方法处理结果的示意图；
33.图11示出现有技术提供的一种gff方法处理结果的示意图；
34.图12示出现有技术提供的一种gvt方法处理结果的示意图；
35.图13示出现有技术提供的一种grad方法处理结果的示意图；
36.图14示出现有技术提供的一种nsct方法处理结果的示意图；
37.图15示出本技术实施例提供的一种边缘强度的对比示意图；
38.图16示出本技术实施例提供的一种方差的对比示意图；
39.图17示出本技术实施例提供的一种互信息量的对比示意图；
40.图18示出本技术实施例提供的一种空间频率的对比示意图；
41.图19示出本技术实施例提供的一种平均梯度的对比示意图；
42.图20示出本技术实施例提供的一种信息熵的对比示意图；
43.图21示出本技术实施例提供的一种图像融合装置的结构示意图；
44.图22示出本技术实施例提供的一种图像融合设备的结构示意图。
具体实施方式
45.以下结合说明书附图及具体实施例对本技术技术方案做进一步的详细阐述。
46.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
47.在以下的描述中，涉及到“一些实施例”的表述，其描述了所有可能实施例的子集，需要说明的是,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
48.在以下的描述中，所涉及的术语“第一、第二、第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一、第二、第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
49.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
50.图像融合是一种图像增强技术，旨在合并由不同类型的传感器获得的图像，以生成可促后续处理或有助于决策的鲁棒性或信息性图像，从而提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于目标识别和监测等应用。
51.融合结果图像既有可见光图像中的边缘特征，同时也反映了红外图像中目标物体或者场景的温度分布信息，实现了可见光图像特点与红外图像特征的有效结合，能更全面并且准确地表达目标物体或者场景所包含的信息，能够很好地实现目标识别和监测等实际应用。
52.rgb(red-green-blue,红绿蓝)色彩空间可以是指以红色、绿色和蓝色三种基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色。
53.hsi(hue-saturation-intensity,色调、饱和度、亮度)色彩空间可以是采用色调、饱和度以及亮度来描述物体的颜色。色调可以表示颜色的频率。饱和度可以表示颜色的深浅程度。亮度可以表示明暗度。在hsi色彩空间中，i分量与图像的彩色信息无关，而h分量和s分量与人感受颜色的方式密切相关。
54.矩阵的奇异值分解可以简述为，若矩阵c∈rm×n，则存在一个分解，使得 c＝usv
*
，其中u是m
×
m阶酉矩阵，s是m
×
n阶梯非负实数对角矩阵，而v
*
是n
×
n阶酉矩阵，s对角线上的元素即为c的奇异值。
55.在图像融合过程中，pcnn(pulse coupled neural network，脉冲耦合神经网络)是一种常用的方法，pcnn是为了模拟猫、猴等哺乳动物的大脑视觉皮层细胞处理视觉信号的过程而提出的。pcnn可以用于图像处理的多个领域，使用pcnn对图像信息进行处理能保留更多的细节信息，提高目标识别率。然而脉冲耦合神经网络中大量参数需要人为设置，不具备自适应性。
56.脉冲耦合神经网络的工作过程可以描述为：将一个二维pcnn网络的m*n 个神经元分别与二维输入图像的m*n个像素相对应，在第1次迭代时，神经元的内部活动项就等于外部刺激，若大于阈值，这时神经元输出为1，表示自然激活，此时其阈值将急剧增大，然后随时间呈指数衰减。在此之后的各次迭代中，被激活的神经元通过与之相邻神经元的连接作用激励邻接神经元，若邻接神经元的内部活动项大于阈值则被捕获激活。如果邻接神经元与前一次迭代激活的神经元所对应的像素具有相似强度，则邻接神经元容易被捕获激活，反之不能被捕获激活。因此，利用某一神经元的自然激活会触发其周边相似神经元的集体激活，产生脉动输出序列，且它们形成了一个神经元集群，从而可实现图像分割、去噪及识别等处理。
57.红外图像是指收集目标视场内通过物体的红外光，将红外光信号转换为图像信号形成的图像。可见光图像是指收集目标视场内通过物体表面反射的可见光，将可见光信号转换为图像信号形成的图像。红外图像的成像信号和可见光图像的成像信号来自不同的模态，可以从不同方面提供目标场景信息。可见光图像具有较高的空间分辨率以及较多的细节和明暗对比。但是其易受恶劣条件干扰。然而红外图像可以抵抗这些条件干扰。因此，红外图像与可见光图像具有互补的特性。基于此，在本技术实施例中，采用红外图像与可见光图像进行图像融合，从而能够得到健壮且信息丰富的融合图像。
58.图1示出本技术实施例提供的一种图像融合系统的架构示意图。如图1所示，该图像融合系统的架构可以包括红外图像采集设备11、可见光图像采集设备12以及图像融合装置13。其中，红外图像采集设备11用于采集目标场景的红外图像。可见光图像采集设备12用于采集目标场景的可见光图像。这里，红外图像采集设备11可以为红外摄像设备，可见光图像采集设备12可以为数字彩色摄像设备。
59.图像融合装置13可以用于获取红外图像采集设备11与可见光图像采集设备12同步采集的红外图像与可见光图像，并采用本技术实施例所提供的图像融合方法对红外图像与可见光图像进行图像融合，得到高质量的融合图像。
60.在一些实施例中，如图1所示，图像融合装置13可以用于获取红外图像采集设备11
与可见光图像采集设备12同步采集的红外图像与可见光图像，将红外图像与可见光图像进行配准；对配准后的可见光图像进行色彩模型转换，获取可见光图像对应的亮度分量图像；对配准后的红外图像和亮度分量图像通过子窗方差滤波进行分解，得到各自的基础层图像以及n个细节层图像，对两个基础层图像通过奇异值分解融合算法进行融合，得到基础层融合图像；对红外图像与亮度分量图像的各自匹配的多个细节层图像通过自适应pcnn(pulse coupled neural network，脉冲耦合神经网络)进行融合，得到每层细节层融合图像；融合基础层融合图像和多个细节层融合图像，得到亮度通道融合图像；合并亮度通道融合图像与可见光图像的其它通道分量图像并进行色彩模型转换，得到彩色融合图像。
61.在上述实施例中，红外图像采集设备与可见光图像采集设备分别采集红外图像与可见光图像，并将图像传输至图像融合装置。图像融合装置通过对可见光图像的亮度分量图像以及红外图像进行多尺度分解，得到各自的基础层图像和细节层图像，采用不同的图像融合方法分别对基础层图像与细节层图像进行融合，得到亮度融合图像，最后将亮度融合图像与其它分量合并，如此融合后的图像可以尽可能保留源图像的细节信息以及结构信息，提升融合图像的对比度，实现良好的视觉效果。
62.图2示出本技术实施例提供的一种图像融合方法的流程示意图，可应用于如图1所示的图像融合装置13。该图像融合方法可以包括但不限于s21、s22、 s23、s24、s25和s26，具体介绍如下：
63.s21,获取同步采集的目标场景的红外图像和可见光图像。
64.s22,提取可见光图像的亮度通道分量，得到对应的亮度分量图像；
65.s23,分别对红外图像和所述亮度分量图像进行分解，得到红外图像和亮度分量图像各自对应的基础层图像和多个细节层图像。
66.s24,将红外图像和所述亮度分量图像各自的基础层图像进行融合，得到基础层融合图像。
67.s25,将红外图像和亮度分量图像各自的多个细节层图像分别对应进行融合，得到对应的多个细节层融合图像。
68.s26,将基础层融合图像和多个细节层融合图像叠加，得到亮度分量融合图像，根据亮度分量融合图像和可见光图像的其它通道分量合并，得到融合图像。
69.在上述实施例中，通过从可见光图像中提取与颜色无关的亮度分量图像，并对亮度分量图像和红外图像进行分解，得到各自对应的基础层图像和多个细节层图像，将亮度分量图像与红外图像的细节层图像以及基础层图像分别进行融合，以得到尽可能保留源图像的信息的亮度分量融合图像，减少图像融合时图像颜色的干扰，再将亮度分量融合图像与原始其它分量合并得到目标场景的融合图像，融合图像可以尽可能地继承源图像的信息，增加融合图像的信息量、提高融合图像的质量以及提升融合图像的对比度，实现良好的视觉效果，融合后的图像较好地兼容了红外图像和可见光图像各自的优势，克服了单一图像各自的缺陷。
70.下面对图2实施例中各步骤的实现做进一步说明，具体如下所示。
71.其中，步骤s21中，目标场景可以为包含任意景物或者人物的场景。目标场景的红外图像可以通过如图1所示的红外图像采集设备11采集。目标场景的可见光图像可以通过如图1所示的可见光图像采集设备12采集。
72.在本技术实施例中，图像融合装置可以从红外图像采集设备获取目标场景的红外图像，以及从可见光图像采集设备获取目标场景的可见光图像。或者，红外图像采集设备将目标场景的红外图像上传至网络，以及可见光图像采集设备将目标场景的可见光图像上传至网络，图像融合装置可以从网络中获取目标场景的红外图像和可见光图像。在本技术实施例中，获取红外图像和可见光图像的方式不做限制。
73.在s21中，目标场景的红外图像与目标场景的可见光图像均为描述某个时间点的目标场景的图像。两者通过不同的图像采集设备在同一个时间点进行采集。
74.步骤s22中，亮度通道分量可以为表示图像明暗度的分量。在可见光图像中，亮度通道分量与图像的颜色信息不相关。
75.在本技术实施例中，在可见光图像为hsi色彩空间图像的情况下，图像融合装置直接提取可见光图像的亮度通道分量，从而得到与可见光图像对应的亮度分量图像。在可见光图像为除hsi色彩空间外的其它色彩空间图像的情况下，图像融合装置将可见光图像的色彩空间转换成hsi色彩空间，然后提取转换后的可见光图像的亮度通道分量，从而得到与可见光图像对应的亮度分量图像。
76.步骤s23中，分解可以是指基于多尺度变换的图像分解。在本技术实施例中，图像融合装置通过图像分解算法将图像分解成基础层图像和细节层图像。其中，基础层图像可以包括图像的低频分量，反映图像在大尺度上的强度变化。细节层图像包含图像的高频分量，反映图像在小尺度上的细节。这里，图像分解方法可以包括但不限于空间域分解方法和变换域分解方法。
77.在s23中，分别对红外图像和亮度分量图像进行分解，得到红外图像和亮度分量图像各自对应的基础层图像和多个细节层图像，可以理解为图像融合装置基于图像分解算法对红外图像进行图像分解，得到红外图像对应的基础层图像和多个细节层图像，以及图像融合装置基于图像分解算法对亮度分量图像进行图像分解，得到亮度分量图像对应的基础层图像和多个细节层图像。可选地，细节层图像的个数可以为3个及以上。
78.步骤s24中，融合可以是指图像融合。在本技术实施例中，图像融合装置通过图像融合算法将红外图像的基础层图像与亮度分量图像的基础层图像进行图像融合，得到目标场景的基础层融合图像。这里，基础层图像的融合算法可以包括但不限于加权融合算法以及平均融合算法。
79.步骤s25中，融合可以是指图像融合。在本技术实施例中，图像融合装置基于图像融合算法将红外图像的每一层细节层图像与亮度分量图像的对应层细节层图像进行融合，从而得到每层细节层融合图像。例如，图像融合装置基于图像融合算法将红外图像的第一层细节层图像与亮度分量图像的第一层细节层图像进行融合，得到第一层细节层融合图像，以此类推，得到多层细节层的细节层融合图像。这里，细节层图像的融合方法可以采用神经网络以及深度学习等图像融合方法。
80.步骤s26中，亮度分量融合图像可以为单通道分量的融合图像。将基础层融合图像和细节层融合图像叠加，可以理解为，图像融合装置通过加法将基础层融合图像与多个细节层融合图像进行叠加，从而得到亮度分量融合图像。
81.在s26中，可见光图像的其它通道分量可以为s22从可见光图像提取亮度通道分量后保留的其它多个通道分量。这里，可见光图像的其它通道分量可以包括但不限于可见光
图像的色调通道分量以及饱和度通道分量。
82.在s26中，根据亮度分量融合图像和可见光图像的其它通道分量合并，得到融合图像，可以理解为将亮度分量融合图像对应的亮度分量与其它通道分量合并，从而得到融合图像。
83.为了进一步提升融合效果，以及得到图像的亮度分量，在一些实施例中，在s22提取所述可见光图像的亮度通道分量，得到对应的亮度分量图像之前，该图像融合方法还包括：
84.对红外图像和可见光图像进行配准；
85.将配准后的彩色的可见光图像进行色彩空间变换，得到hsi色彩空间的可见光图像。
86.这里，配准是指图像配准。图像配准可以为图像融合的一个预处理的步骤。图像配准可以是指通过寻找一种空间变换把一幅图像映射到另一幅图像上，使得相同场景不同视角的图像进行几何位置的对齐。图像配准的方法可以包括但不限于基于图像区域的配准方法和基于图像特征的配准方法。如此，将目标场景的红外图像与可见光图像进行图像配准以后，可以达到更好的融合效果。
87.在本技术实施例中，hsi色彩空间的可见光图像可以为通过h分量、s分量以及i分量描述目标场景的图像。色彩空间转换可以为hsi色彩空间图像与非 hsi色彩空间图像之间的转换。图像融合装置可以通过色彩空间转换模型进行色彩空间变换，得到hsi色彩空间的可见光图像。彩色的可见光图像为非hsi 色彩空间的图像，例如可见光图像为rgb色彩空间的图像，图像融合装置可以通过rgb-hsi色彩空间转换模型进行色彩空间变化，得到hsi色彩空间的可见光图像。在本技术实施例中，rgb-hsi色彩空间转换模型有几何模型、标准模型、分段模型和坐标转换模型等多种转换模型。例如，rgb-hsi色彩空间转换模型可以为：
[0088][0089]
其中，i表示亮度分量，h＝tan-1
(v1/v2)表示色调分量，表示饱和度分量，r表示红色分量，g表示绿色分量以及b表示蓝色分量。
[0090]
为了得到非hsi色彩空间的融合图像，在一些实施例，s26，将基础层融合图像和细节层融合图像叠加，得到亮度分量融合图像，根据所述亮度分量融合图像和可见光图像的其它通道分量合并，得到融合图像，包括：
[0091]
将基础层融合图像和细节层融合图像叠加，得到亮度分量融合图像，根据亮度分量融合图像和可见光图像的其它通道分量合并，得到初始融合图像；
[0092]
将初始融合图像进行色彩空间转换，得到最终融合图像。
[0093]
这里，可见光图像的其它通道分量可以为可见光图像的色调分量和饱和度分量。初始融合图像可以为hsi色彩空间图像。色彩空间转换可以为hsi色彩空间图像与非hsi色彩空间图像之间的转换。最终融合图像可以为非hsi色彩空间图像。例如，最终融合图像可
以为rgb色彩空间图像。
[0094]
需要说明的是，最终融合图像与s21中获取的可见光图像为相同类型的色彩空间图像。例如，获取的可见光图像为rgb色彩空间图像，最终融合图像也为rgb色彩空间图像。如此，有利于融合图像的颜色显示。
[0095]
在本技术实施例中，通过色彩空间转换，将初始融合图像转换成与原可见光图像的色彩空间类型相同的最终融合图像，如此，可以尽可能保留源图像信息，提高融合图像的真实性，有利于后续检测和目标识别的应用。
[0096]
现有图像分解方法可以包括基于多尺度的图像分解方法。基于多尺度的图像分解方法通常使用边缘保持滤波器对源图像进行分解。边缘保持滤波器主要为双边滤波、加权最小二乘滤波、导向滤波以及各向异性扩散导向滤波等。然而上述边缘保持滤波器在对图像进行边缘保持滤波时，使得图像纹理边缘的梯度信息发生变化，图像的对比度降低，进而使得之后融合图像细节失真、对比度降低。
[0097]
为了解决上述问题，在一些实施例中，s23,分别对红外图像和所述亮度分量图像进行分解，得到红外图像和亮度分量图像各自对应的基础层图像和多个细节层图像，可以包括：
[0098]
通过子窗方差滤波分别对红外图像和所述亮度分量图像进行滤波，得到各自对应的细节层图像和中间层图像；
[0099]
通过子窗方差滤波分别对红外图像和亮度分量图像的中间层图像进行滤波，得到各自对应的另一细节层图像和另一中间层图像，并返回通过子窗方差滤波分别对红外图像和亮度分量图像的中间层图像进行滤波，直至得到各自对应的最后一层细节层图像和基础层图像。
[0100]
这里，子窗方差滤波的结果可以为原图像与经过盒状滤波器滤波后的图像的线性混合，其中的线性权值与原图像区块的像素方差和该区块的子窗的像素方差相关，相较于其他边缘保持滤波方法，该方法在图像滤波过程中可以最大程度保持图像的对比度信息和边缘梯度信息。
[0101]
具体地，子窗方差滤波可以描述为：对给定的输入图像i，以像素k为中心划分图像区块ik，再将图像区块ik划分成多个大小相同的子窗，计算每个子窗的像素的方差，基于图像区块ik的像素的方差与其子窗的像素的方差确定原始图像区块ik在子窗方差滤波得到的图像区块i'k中的保留因子，以及原始图像区块ik经过盒状滤波器平滑滤波后在子窗方差滤波得到的图像区块i'k中的保留因子。
[0102]
例如，对给定的输入图像i，以像素k为中心划分图像区块ik(大小为r
×r[0103]
)，再将图像区块ik划分成4个大小相同的子窗a、b、c和d(大小为
[0104]
)，然后计算每个子窗的像素的方差以及图像区块ik的像素的方差
[0105]
图像区块ik的保留因子ak的计算公式如下：
[0106]
[0107]
其中，ε为一个正值参数。
[0108]
区块ik滤波后的区块i'k的计算公式如下：
[0109][0110]
i'k＝akik+bkꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0111]
其中，ωk可以为滤波器以像素k为中心所覆盖的局部区域(大小为r
×
r )，|ω|为局部区域的像素个数，pi为第i个像素的像素值，项代表的是区块ik经过盒式滤波器平滑滤波后的结果。
[0112]
在滤波过程中，由于每个像素都经历了相同数量的滤波区块的作用，因此对于整个的输入图像i，滤波后每个像素点i的值可以表示为：
[0113][0114][0115][0116]
其中，ωi可以为所有覆盖像素i的局部区域，ω是所有覆盖像素i的局部区域的数量。
[0117]
在本技术上述实施例中，图像融合装置对原图像连续进行多次子窗方差滤波，从而得到基础层图像以及多个细节层图像。这里，将最终的滤波结果作为基础层图像，将每次滤波的差分图像作为细节层图像。如此，实现对原图像的多尺度分解。其中，原图像可以为红外图像或者亮度分量图像。需要说明的是，本技术实施例中，细节层图像的个数与滤波次数相同。例如，图像融合装置对原图像连续进行l次子窗方差滤波，从而依次得到l个细节层图像以及一个基础层图像。
[0118]
以l次为三次为例，对原图像连续进行三次滤波，说明本技术实施例提供的图像分解方法。图3示出本技术实施例提供的一种图像分解方法的流程示意图。如图3所示，图像融合装置通过子窗方差滤波器连续滤波三次。首先，对源图像进行第一次子窗方差滤波器滤波得到中间层图像u1与细节层图像1，其中，细节层图像1为原图像与中间层图像u1的差分图像。然后，对中间层图像 u1进行第二次子窗方差滤波，得到细节层图像2与中间层图像u2，其中，细节层图像2为中间层图像u1与中间层图像u2的差分图像。最后，对中间层图像 u3进行第三次子窗方差滤波，得到细节层图像3与基础层图像。也就是说，执行滤波操作后，红外图像和可见光的亮度分量图像会各自产生三个细节层图像和一个基础层图像。
[0119]
在上述实施例中，子窗方差滤波属于边缘保持滤波的一种，相对其它边缘保持滤波对图像进行多尺度分解而言，使用子窗方差滤波对图像进行分解可以保持图像纹理的梯度信息，抑制图像分解时造成的失真，保持图像的细节信息。并且在分解过程中，可以对图
像信号在空间尺度和幅值尺度保持统一，即在进行分解时，将幅值较大的信号也作为大尺度信号，与空间尺度较大的信号一同保留在大尺度空间中，有利于提高后续融合图像的视觉对比度。
[0120]
为了进一步地提升融合后图像保留源图像的结构信息的能力，在一些实施例中，在基础层图像可以包括红外图像的第一基础层图像和亮度分量图像的的第二基础层图像的情况下。s24，将红外图像和亮度分量图像各自的基础层图像进行融合，得到基础层融合图像，可以包括：
[0121]
分别对第一基础层图像与第二基础层图像进行奇异值分解，利用各自的奇异值向量对第一基础层图像与第二基础层图像进行线性加权融合，得到基础层融合图像。
[0122]
这里，每个基础层图像的奇异值向量可以包括每个基础层图像中每个像素的奇异值。例如，第一基础层图像的奇异值向量可以包括第一基础层图像中每个像素的奇异值。第二基础层图像的奇异值向量可以包括第二基础层图像中每个像素的奇异值。需要说明的是，基础层图像的奇异值向量的规模与基础层图像的规模一致。例如，基础层图像的大小为s*h,基础层图像的奇异值向量的大小也为s*h。
[0123]
本技术实施例涉及的“线性加权融合”可以理解为各个基础层图像乘以各自的权重后相加。由于图像的奇异值向量可以反映图像的绝大部分的结构信息。从图像中剥离出奇异值向量后可以屏蔽大部分图像的结构信息。因此，在本技术实施例中，利用第一基础层图像的奇异值向量与第二基础层的奇异值向量对两个基础层图像进行线性加权融合，可以得到继承较多的两个基础层图像的结构信息的融合图像。
[0124]
在上述实施例中，由于图像的奇异值可以反映图像结构信息的性质，因此，在对基础层图像进行融合时，通过对基础层图像进行奇异值分解，并基于各自的奇异值大小对所有基础层图像进行线性加权融合，有利于基础层融合图像继承源图像中的结构信息，尽可能保留源图像的结构信息。
[0125]
由于图像边界像素至少有一边为空，在图像处理过程中，一般无法处理边界像素。因此，在分别对所述第一基础层图像与所述第二基础层图像进行奇异值分解之前，该图像融合方法还可以包括：对基础层图像的边界进行图像填充。
[0126]
这里，对基础层图像的边缘进行图像填充可以理解为，在基础层图像的基础上，对基础层图像的边界进行填充。在本技术实施例中，图像填充方法可以为现有图像填充方法，包括但不限于对称填充法。如此，通过对图像边界的填充，可以使得图像边界像素得以处理。
[0127]
在一些实施例中，分别对第一基础层图像与所述第二基础层图像进行奇异值分解，利用奇异值向量对所述第一基础层图像与所述第二基础层图像进行线性加权融合，得到基础层融合图像，可以包括：
[0128]
分别对第一基础层图像与第二基础层图像进行奇异值分解，得到第一基础层图像与第二基础层图像中各自的奇异值向量；
[0129]
基于各自的奇异值向量，得到第一基础层图像的第一像素权重图与第二基础层图像的第二像素权重图；
[0130]
基于第一像素权重图与第二像素权重图，对第一基础层图像与第二基础层图像进行线性融合，得到基础层融合图像。
[0131]
这里，第一像素权重图可以包括第一基础层图像中每个像素的第一像素权重。第二像素权重图可以包括第二基础层图像中每个像素的第二像素权重。第一基础层图像与第二基础层图像中相同位置的像素对应的第一像素权重与第二像素权重相加为1。
[0132]
在本技术实施例中，第一像素权重可以根据第一基础层图像的像素的奇异值与第一基础层图像和第二基础层图像的像素的奇异值之和的占比确定。第二像素权重可以根据第二基础层图像的像素的奇异值与第一基础层图像和第二基础层图像的像素的奇异值之和的占比确定。或者，第二像素权重可以为1与第一像素权重之差。
[0133]
具体地，第一基础层图像中第(x,y)个像素的奇异值为ir
svd
(x,y)，第二基础层图像中第(x,y)个像素的奇异值为vis
svd
(x,y)。第一基础层图像中第(x,y)个像素的第一像素权重ir
base_weightmap
(x,y)可以表示为：
[0134][0135]
第二基础层图像中第(x,y)个像素的第二像素权重vis
base_weightmap
(x,y)可以表示为：
[0136][0137]
或者，vis
baseweightmap
(x,y)＝1-ir
baseweightmap
(x,y)
ꢀꢀꢀꢀ
(10)
[0138]
这里，基于公式8可以得到第一基础层图像中每个像素的第一像素权重值，从而得到与第一基础层图像对应的第一像素权重图。基于公式9或公式10可以得到第二基础层图像中每个像素的第二像素权重值，从而得到与第二基础层图像对应的第二像素权重图。
[0139]
在本技术实施例中，基于第一像素权重图与第二像素权重图，对第一基础层图像与第二基础层图像进行线性融合，得到基础层融合图像，可以理解为，基础层融合图像中第(x,y)个像素的像素值，可以为第一基础层图像中第(x,y)个像素的像素值与第一像素权重乘积和第二基础层图像中第(x,y)个像素的像素值与第二像素权重乘积之和。
[0140]
这里，基础层融合图像中第(x,y)个像素的像素值fusion
base
(x,y)可以表示为：
[0141]
fusion
base
(x,y)＝vis
baseweightmap
(x,y)*vis
base
(x,y)+ir
baseweightmap
(x,y)*ir
base
(x,y)
ꢀꢀꢀꢀꢀꢀ
(11)
[0142]
其中，vis
base
(x,y)为第二基础层图像中第(x,y)个像素的像素值，ir
base
(x,y)第二基础层图像中第(x,y)个像素的像素值。
[0143]
在上述实施例中，图像融合装置通过对第一基础层图像进行奇异值分解可以得到第一基础层图像的奇异值向量，以及通过对第二基础层图像进行奇异值分解可以得到第二基础层图像的奇异值向量，基于第一基础层图像的奇异值向量以及第二基础层图像的奇异值向量，确定出第一基础层图像对应的第一像素权重图以及第二基础层图像对应的第二像素权重图，并基于这些像素权重对第一基础层图像与第二基础层图像进行线性融合，从而得到基础层融合图像。如此，融合后的基础层图像可以更好继承两个基础层图像的结构信息。
[0144]
在一些实施例中，分别对第一基础层图像与第二基础层图像进行奇异值分解，得到第一基础层图像与第二基础层图像各自的奇异值向量，可以包括：
[0145]
对于第一基础层图像与第二基础层图像中每个像素，执行以下步骤：
[0146]
获取以像素为中心的m阶邻域矩阵，m为大于2的正整数；
[0147]
对领域矩阵进行奇异值分解，得到m个奇异值；
[0148]
将m个奇异值的平均值作为对应像素的奇异值。
[0149]
这里，m阶邻域矩阵可以m*m的矩阵，可以包含m2个元素。针对第一基础层图像与第二基础层图像中每个像素，图像融合装置以每个像素为中心形成邻域矩阵，并对该邻域矩阵进行奇异值分解，得到与该邻域矩阵对应的非负对角矩阵，非负对角矩阵对角线上的元素为该邻域矩阵的奇异值。对邻域矩阵的奇异值取平均后，将该奇异值的平均值作为对应像素的奇异值。依次类推，可以计算出第一基础层图像中每个像素的奇异值，从而得到第一基础层图像的奇异值向量，以及第二基础层图像中每个像素的奇异值，从而得到第二基础层图像的奇异值向量。
[0150]
以像素值为76的像素为中心的邻域矩阵c为3阶矩阵为例，说明求取像素的奇异值过程：
[0151][0152]
对c进行奇异值分解：
[0153][0154]
由此可知，c的奇异值为164.2、63.75以及7.36，对c的奇异值取平均，则中心像素对应的奇异值为78.43。
[0155]
在上述实施例中，一方面相对于直接对整个基础层图像进行奇异值分解而言，基于像素邻域矩阵求取奇异值，可以降低计算难度，另一方面，采用奇异值的平均值计算融合基础层图像时各个像素的权重，将基础层图像每个像素邻域内的结构信息反映到融合时的权重上，可以使得融合的基础层图像可以更好的继承源图像的结构信息。
[0156]
基于细节层图像的特点，可以采用神经网络进行融合，在一些实施例中，多个细节层图像包括红外图像的n层红外细节层图像和亮度分量图像的n层亮度细节层图像。s25，将红外图像和所述亮度分量图像各自的多个细节层图像分别对应进行融合，得到对应的多个细节层融合图像，可以包括：
[0157]
通过自适应脉冲耦合神经网络，分别对n层红外细节层图像与n层亮度细节层图像按对应层的匹配关系一一对应地进行融合，得到n层细节层融合图像。
[0158]
这里，自适应脉冲耦合神经网络可以是改进的脉冲耦合神经网络。例如将脉冲耦合神经网络某些固定参数设置为根据输入内容进行调节，有利于提高网络的自适应性，提高融合精度。
[0159]
在本技术实施例中，n为正整数。为了使得融合效果较好，降低融合过程中的计算量，可选地，n可以为3。图像融合装置将红外细节层图像与亮度细节层图像按对应层的匹配关系一一对应地进行融合，可以理解为，图像融合装置将第r层红外细节层图像与第r层亮度细节层图像经过自适应脉冲耦合神经网络进行融合，得到第r层细节层融合图像，其中，r为小于等于n的正整数，依次类推，可以得到n层细节层融合图像。
[0160]
在上述实施例中，一方面，在图像融合过程中，根据细节层图像特点，选择自适应pcnn对细节层图像进行融合，可以更好保留图像细节信息。另一方面，相比pcnn，改进的pcnn更具自适应性，可以提升图像融合效果。此外，针对细节层图像的融合可选择与基础层图像不同的融合方法，使得在图像融合过程中能够根据细节层图像与基础层图像的各自特点，分别选择适合的融合方法进行融合，进一步有利于提高图像融合质量。
[0161]
在一些实施例中，通过自适应脉冲耦合神经网络，分别对所述n层红外细节层图像与所述n层亮度细节层图像按对应层的匹配关系一一对应地进行融合，得到n层细节层融合图像之前，该图像融合方法还可以包括：
[0162]
计算n层红外细节层图像与n层亮度细节层图像中每个像素的平均梯度值，得到与红外细节层图像对应的第一梯度图，以及与亮度细节层图像对应的第二梯度图；
[0163]
基于第一梯度图与第二梯度图确定自适应脉冲耦合神经网络中突触链接强度系数。
[0164]
这里，图像的梯度值可以指示图像在不同方向上的变化趋势。第一梯度图可以为每层红外细节层图像对应的梯度图。第一梯度图可以包括红外细节层图像中每个像素的梯度值。第二梯度图可以为每层亮度细节层图像对应的梯度图。第二梯度图可以包括亮度细节层图像中每个像素的梯度值，各细节层图像按匹配关系一一对应融合时，通过图像梯度值设置网络参数，可以使得pcnn适应图像特征。
[0165]
在一些实施例中，细节层图像中某个像素的平均梯度值可以通过相邻的多个像素与该像素的平方差得到。具体地，细节层图像中某个像素(x,y)的平均梯度值ag(x,y)可以为：
[0166][0167]
其中，i(x,y)表示像素(x,y)的像素值。
[0168]
上述实施例中，为了计算图像边界的梯度值，可以对图像边界进行像素填充，以计算图像边界像素的梯度值。需要说明的是，计算图像梯度也可以采用现有计算图像梯度的方法。
[0169]
这里，自适应脉冲耦合神经网络中突触链接强度系数，可以为一个位置处的神经元与周围神经元的突触链接强度系数。对于视觉皮层中不同神经元之间的耦合具有差异性，差异性体现在pcnn中就是神经元的突触链接强度系数的不同。突触链接强度系数应随图像特征的变化而改变，以此来表征图像不同区域的像素间的耦合性的差异。
[0170]
在本技术实施例中，基于第一梯度图与第二梯度图确定自适应脉冲耦合神经网络中突触链接强度系数，可以理解为，基于第一梯度图确定红外细节层图像输入自适应脉冲耦合神经网络时的突触链接强度系数，以及基于第二梯度图确定亮度细节层图像输入自适应脉冲耦合神经网络时的突触链接强度系数。
[0171]
具体地，图像融合装置可以将第一梯度图中的梯度值作为红外细节层图像输入自适应脉冲耦合神经网络时的突触链接强度系数，以及将第二梯度图中的梯度值作为亮度细节层图像输入自适应脉冲耦合神经网络时的突触链接强度系数。
[0172]
在上述实施例中，通过图像梯度设置自适应pcnn的突触链接强度系数，可以使得突触链接强度系数可以表征图像不同区域的特征信息，从而提高pcnn 的适应性，有利于提
升细节层图像融合效果，以及提升融合图像的视觉效果。
[0173]
为了提高自适应脉冲耦合神经网络的准确性，在一些实施例中，图像融合装置可以对第一梯度图与第二梯度图进行归一化处理，并将处理后的第一梯度图的梯度值与处理后的第二梯度图的梯度值作为自适应脉冲耦合神经网络中突触链接强度系数。
[0174]
为了使融合后细节层图像保留更多细节信息，可以通过基于图像平均梯度改进的脉冲耦合神经网络来进行细节层图像融合，在一些实施例中，通过自适应脉冲耦合神经网络，分别对n层红外细节层图像与n层亮度细节层图像按对应层的匹配关系一一对应地进行融合，得到n层细节层融合图像，可以包括：
[0175]
对n层红外细节层图像与n层亮度细节层图像按对应层的匹配关系，对各对应层的红外细节层图像和所述亮度细节层图像分别进行数据预处理，得到各对应层的第一绝对值化图像与第二绝对值化图像；
[0176]
将各对应层的第一绝对值化图像与第二绝对值化图像作为初始激励输入至自适应脉冲耦合神经网络，按照设定次数进行迭代，得到各对应层的红外细节层点火矩阵以及亮度细节层点火矩阵；
[0177]
基于各对应层的红外细节层点火矩阵及亮度细节层点火矩阵，对红外细节层图像与亮度细节层图像进行图像融合，分别得到各对应层的细节层融合图像。
[0178]
这里，数据预处理可以是将细节图像中每个像素的像素值替换成原像素值的绝对值。第一绝对值化图像可以为每层红外细节层图像对应的绝对值化图像。第一绝对值化图像可以包括每层红外细节层图像中每个像素值的绝对值。也就是说，第一绝对值化图像与红外细节层图像大小相等，但是在相同位置处，第一绝对值化图像的像素值为红外细节层图像的像素值的绝对值。
[0179]
以及，第二绝对值化图像可以为每层亮度细节层图像对应的绝对值化图像。第二绝对值化图像可以包括每层亮度细节层图像中每个像素值的绝对值。也就是说，第二绝对值化图像与亮度细节层图像大小相等，但是在相同位置处，第二绝对值化图像的像素值为亮度细节层图像的像素值的绝对值。
[0180]
在本技术实施例中，图像融合装置可以按对应层的匹配关系，可以将对n 层红外细节层图像与n层亮度细节层图像进行匹配，得到n对待融合的细节层图像。也就是说，一个对应层的红外细节层图像和亮度细节层图像可以为第一层红外细节层图像与第一层亮度细节层图像，或者，第二层红外细节层图像与第二层亮度细节层图像等等。
[0181]
这里，图像融合装置对各对应层的红外细节层图像和亮度细节层图像分别进行数据预处理，可以理解为图像融合装置对所有红外细节层图像和所有亮度细节层图像进行数据预处理。
[0182]
在本技术实施例中，自适应脉冲耦合神经网络可以为基于图像平均梯度改进的脉冲耦合神经网络。图4示出本技术实施例提供的一种细节层图像与自适应脉冲耦合神经网络中神经元对应关系的示意图。如图4所示，在自适应脉冲耦合神经网络的单层网络中，网络中的神经元与细节层图像的像素是一一对应的关系。自适应脉冲耦合神经网络对输入图像进行多次迭代，以细节层图像为输入图像，以及第n次迭代为例说明自适应脉冲耦合神经网络的结构。图5示出本技术实施例提供的一种自适应脉冲耦合神经网络单个神经元的简化模型示意图。如图5所示，自适应脉冲耦合神经网络可以包括接收域、调制域以及脉冲产
生域。自适应脉冲耦合神经网络具体如下：
[0183]
在接收域中，
[0184][0185]
其中，l
ij
[n]表示输入图像中(i，j)位置处的神经元的第n次线性连接输入部分。α
l
表示线性连接输入部分的衰减常数。v
l
表示神经元固有电压，w为一个 3阶神经元内部连接矩阵。w中各元素表示邻域内神经元的脉冲响应值参与到当前神经元的连接输入中的权重，该权重可以由邻域内神经元距离当前神经元的欧式距离的倒数决定。(k，l)表示w涵盖的邻域范围的神经元位置索引。e表示自然指数。
[0186]
在调制域中，以及
[0187]fij
[n]＝s
ij
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0188]
其中，f
ij
[n]为输入图像中(i，j)位置处的神经元的第n次迭代的反馈输入部分。s
ij
为外部激励输入部分。正如式(16)所示，在本方法中，将反馈输入部分直接简化为等于外部激励的输入部分。在本技术实施例中，s
ij
可以为输入图像中(i，j)位置处的像素值的绝对值。
[0189]
在脉冲产生域中，
[0190]uij
[n]＝f
ij
[n](1+β
ij
l
ij
[n])
ꢀꢀꢀꢀꢀ
(17)
[0191][0192][0193]
其中，u
ij
表示非线性连接的调制部分，即神经元的内部活动项，该项由加有偏置的线性连接输入部分与反馈输入部分相乘获得。β
ij
可以为当前(i，j)位置处神经元与周围神经元的突触链接强度系数，在本技术实施例中，β
ij
可以为输入图像中(i，j)位置处的梯度值。θ
ij
[n]表示神经元内部活动项u能否激发脉冲产生所需的动态门限。α
θ
表示动态门限衰减常数，v
θ
为神经元固有电压。y
kl
[n-1]表示邻域范围内(k，l)位置处神经元第n-1次迭代的输出状态。y
ij
[n]表示(i，j)位置处的神经元第n次迭代的输出状态。
[0194]
需要说明的是，本技术实施例中，神经元的输出状态为1时，表示激发成功后或者点火成功，输出状态为0时，表示未激发或者未点火成功。
[0195]
本技术实施例涉及的“点火矩阵”中每个元素为细节层图像经过自适应脉冲耦合神经网络多次迭代后每个像素激发成功或者点火成功的总次数。红外细节层点火矩阵可以为红外细节层图像经过自适应脉冲耦合神经网络多次迭代后输出的点火矩阵。亮度细节层点火矩阵可以为亮度细节层图像经过自适应脉冲耦合神经网络多次迭代后输出的点火矩阵。
[0196]
需要说明的是，每层红外细节层图像经过自适应脉冲耦合神经网络多次迭代后，均可以得到对应的红外细节层点火矩阵。每层亮度细节层图像经过自适应脉冲耦合神经网络多次迭代后，均可以得到对应的亮度细节层点火矩阵。
[0197]
本技术实施例中，设定次数可以根据需求设定。为了提高融合效率，可选地，设定次数可以设定为30次到60次之间。
[0198]
在本技术实施例中，通过自适应脉冲耦合神经网络可以得到各红外细节层图像的
红外细节层点火矩阵，以及各亮度细节层图像的亮度细节层点火矩阵。
[0199]
为了获取第h层的细节层融合图像，其中，h为小于等于n的正整数，图像融合装置根据第h层的红外细节层点火矩阵以及第h层的亮度细节层点火矩阵，对第h层的红外细节层图像与第h层的亮度细节层图像进行图像融合，可以得到第h层的细节层融合图像。依次类推，图像融合装置可以得到n个细节层融合图像。
[0200]
在本技术实施例中，在细节层图像融合过程中，可以根据红外细节层点火矩阵与亮度细节层点火矩阵设置融合权重。红外细节层图像与亮度细节层图像根据各自的融合权重进行线性融合，得到细节层融合图像。
[0201]
在上述实施例中，将像素强度值作为自适应pcnn的输入，以及通过自适应 pcnn对各个细节层图像进行处理，得到对应的点火矩阵，根据点火矩阵确定细节层融合图像的各个像素，如此，通过自适应pcnn可以保留更多的细节信息，提升细节层融合图像的融合效果。
[0202]
为了尽可能多的保留细节信息，在一些实施例中，基于各对应层的红外细节层点火矩阵及亮度细节层点火矩阵，对红外细节层图像与亮度细节层图像进行图像融合，分别得到各对应层的细节层融合图像，可以包括：
[0203]
基于各对应层的红外细节层点火矩阵及所述亮度细节层点火矩阵，比较红外细节层点火矩阵与亮度细节层点火矩阵中第(i,j)个元素的大小；其中，i，j 均为整数；
[0204]
在红外细节层点火矩阵中的第(i,j)个元素大于所述亮度细节层点火矩阵中第(i,j)个元素的情况下，确定红外细节层图像中第(i,j)个像素值为对应层的细节层融合图像中第(i,j)个像素值；
[0205]
在红外细节层点火矩阵中的第(i,j)个元素小于亮度细节层点火矩阵中第 (i,j)个元素的情况下，确定亮度细节层图像中第(i,j)个像素值为所述对应层的细节层融合图像中第(i,j)个像素值；
[0206]
在红外细节层点火矩阵中的第(i,j)个元素等于亮度细节层点火矩阵中第 (i,j)个元素的情况下，确定亮度细节层图像与所述红外细节层图像中第(i,j)个像素的均值为对应层的细节层融合图像中第(i,j)个像素值。
[0207]
这里，点火矩阵中的元素值越大，表示激活或者点火次数多，也就是说，该元素对应的图像中的像素包含的细节信息越多。因此，可以通过比较各对应层的红外点火矩阵与亮度点火矩阵中相同位置元素的大小，确定融合图像的对应位置的像素值。
[0208]
在本技术实施例中，在位置(i,j)处，第t层的红外点火矩阵大于第t层的亮度点火矩阵时，将第t层红外细节层图像处像素的融合权重设置为1，以及第t层亮度细节层图像处像素的融合权重设置为0。也就是，第t层细节融合图像中位置(i,j)处的像素值等于其中，t为不大于n的正整数。
[0209]
或者，第t层的红外点火矩阵小于第t层的亮度点火矩阵时，将第t层红外细节层图像处像素的融合权重设置为 0，以及
第t层亮度细节层图像处像素的融合权重设置为1。也就是，第t层细节融合图像中位置(i,j)处的像素值等于
[0210]
或者，第t层的红外点火矩阵等于第t层的亮度点火矩阵时，将第t层红外细节层图像处像素的融合权重设置为 0.5，以及第t层亮度细节层图像处像素的融合权重设置为0.5。也就是，第t层细节融合图像中位置(i,j)处的像素值等于与之和。
[0211]
具体地，第t层细节融合图像中位置(i,j)处的像素值可以表示为：
[0212][0213]
如此，按照上述融合方法，可以得到细节层融合图像的每个像素值，进而得到各层细节层融合图像。
[0214]
在上述实施例中，通过比较各个点火矩阵的相同位置的元素大小，确定融合图像的像素选择红外细节层图像的像素或者亮度细节层图像的像素，或者两者像素值的均值。如此，可以使得融合图像可以继承原图像的细节信息，提升细节层融合图像效果。如图6至14所示，为采用本技术实施例所述的图像融合方法对红外图像(图6)和可见光图像(图7)进行融合后得到的融合图像(图8)与现有技术融合方法得到的融合图像的对比图。其中，图9至图14分别是指根据现有图像融合技术adf(anisotropic diffusion filter，各向异性扩散滤波)、fpde(fourth-order partial differential equations，四阶偏微分方程)、gff(guided fliter，导向滤波)、cvt(curvelet transform，曲波变换)、grad(gradient pyramid，梯度金字塔)以及nsct(non-subsampledcontourlet transform，非下采样轮廓波变换)，对图6所示图像以及图7所示图像进行图像融合后得到的融合图像。图8所示的处理结果相比图9至图14 所示的处理结果，图像更加清晰，对比度高，保留源图像的结构信息和细节信息，实现了良好的视觉效果。
[0215]
此外，对图8所示融合图像与图9至14中各融合图像的图像评价指标进行了对比，如图15至图20所示。图像评价指标可以包括但不限于边缘强度、方差、互信息量、空间频率、平均梯度以及信息熵等指标。如图15至图20所示，本方法的各项指标均高于其它融合方法的各项指标，也就是说本技术提供的图像融合方法性能优于其它融合方法。
[0216]
本技术实施例另一方面，还提供一种图像融合装置。图21示出本技术实施例提供的一种图像融合装置的结构示意图，如图21所示，该图像融合装置包括图像获取模块211，用于获取同步采集的目标场景的红外图像和可见光图像；
[0217]
图像得到模块212，用于提取可见光图像的亮度通道分量，得到对应的亮度分量图像；
[0218]
图像分解模块213，用于分别对红外图像和亮度分量图像进行分解，得到红外图像和亮度分量图像各自对应的基础层图像和多个细节层图像；
[0219]
基础层图像融合模块214，用于将红外图像和所述亮度分量图像各自的基础层图像进行融合，得到基础层融合图像；
[0220]
细节层图像融合模块215，用于将红外图像和亮度分量图像各自的多个细节层图像分别对应进行融合，得到对应的多个细节层融合图像；
[0221]
融合图像得到模块216，用于将基础层融合图像和细节层融合图像叠加，得到亮度分量融合图像，根据亮度分量融合图像和可见光图像的其它通道分量合并，得到融合图像。
[0222]
在一些实施例中，基础层图像包括红外图像的第一基础层图像和亮度分量图像的第二基础层图像，基础层图像融合模214可以包括：
[0223]
基础融合子模块，用于分别对第一基础层图像与第二基础层图像进行奇异值分解，利用各自的奇异值向量对第一基础层图像与第二基础层图像进行线性加权融合，得到基础层融合图像。
[0224]
在一些实施例中，多个细节层图像包括红外图像的n层红外细节层图像和亮度分量图像的n层亮度细节层图像，细节层图像融合模块215可以包括：
[0225]
细节层融合子模块，用于通过自适应脉冲耦合神经网络，分别对n层红外细节层图像与n层亮度细节层图像按对应层的匹配关系一一对应地进行融合，得到n层细节层融合图像。
[0226]
在一些实施例中，基础融合子模块可以包括：
[0227]
梯度图得到单元，用于计算所述n层红外细节层图像与所述n层亮度细节层图像中每个像素的平均梯度值，得到与红外细节层图像对应的第一梯度图，以及与所述亮度细节层图像对应的第二梯度图；
[0228]
系数确定单元，用于基于第一梯度图与第二梯度图确定自适应脉冲耦合神经网络中突触链接强度系数。
[0229]
在一些实施例中，细节层融合子模块可以包括：
[0230]
绝对值图像得到单元，用于对n层红外细节层图像与n层亮度细节层图像按对应层的匹配关系，对各对应层的红外细节层图像和所述亮度细节层图像分别进行数据预处理，得到各对应层的第一绝对值化图像与第二绝对值化图像；
[0231]
点火矩阵得到单元，用于将各对应层的第一绝对值化图像与第二绝对值化图像作为初始激励输入至自适应脉冲耦合神经网络，按照设定次数进行迭代，得到各对应层的红外细节层点火矩阵以及亮度细节层点火矩阵；
[0232]
细节层融合图像得到单元，用于基于各对应层的红外细节层点火矩阵及亮度细节层点火矩阵，对红外细节层图像与亮度细节层图像进行图像融合，分别得到各对应层的细节层融合图像。
[0233]
在一些实施例中，细节层融合图像得到单元具体用于，基于各对应层的红外细节层点火矩阵及亮度细节层点火矩阵，比较红外细节层点火矩阵与亮度细节层点火矩阵中第(i,j)个元素的大小；其中，i，j均为整数；
[0234]
在红外细节层点火矩阵中的第(i,j)个元素大于亮度细节层点火矩阵中第 (i,j)个元素的情况下，确定红外细节层图像中第(i,j)个像素值为对应层的细节层融合图像中
第(i,j)个像素值；
[0235]
在红外细节层点火矩阵中的第(i,j)个元素小于亮度细节层点火矩阵中第 (i,j)个元素的情况下，确定亮度细节层图像中第(i,j)个像素值为对应层的细节层融合图像中第(i,j)个像素值；
[0236]
在红外细节层点火矩阵中的第(i,j)个元素等于亮度细节层点火矩阵中第 (i,j)个元素的情况下，确定亮度细节层图像与所述红外细节层图像中第(i,j)个像素的均值为对应层的细节层融合图像中第(i,j)个像素值。
[0237]
在一些实施例中，该图像融合装置还包括：
[0238]
配准模块，用于对红外图像和可见光图像进行配准；
[0239]
色彩转换模块，用于将配准后的彩色的可见光图像进行色彩空间变换，得到hsi色彩空间的可见光图像。
[0240]
融合图像得到模块216，具体用于将基础层融合图像和细节层融合图像叠加，得到亮度分量融合图像，根据亮度分量融合图像和可见光图像的其它通道分量合并，得到初始融合图像；
[0241]
将初始融合图像进行色彩空间转换，得到最终融合图像。
[0242]
需要说明的是：上述实施例提供的图像融合装置在实现图像融合方法过程中，仅以上述各程序模块的划分进行举例说明，在实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即可将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或部分方法步骤。另外，上述实施例提供的图像融合装置与图像融合方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0243]
本技术实施例另一方面，还提供一种图像融合设备，图22示出本技术实施例提供的一种图像融合设备的结构示意图。如图22所示，图像融合设备包括处理器221及存储器222，所述存储器222内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现本技术任一实施例所述的图像融合方法，图像融合设备与前述实施例提供的图像融合方法能够达到相同的技术效果，为避免重复，这里不再赘述。
[0244]
本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像融合方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。所述计算机可读存储介质，如只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等。
[0245]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。
技术特征：1.一种图像融合方法，其特征在于，包括：获取同步采集的目标场景的红外图像和可见光图像；提取所述可见光图像的亮度通道分量，得到对应的亮度分量图像；分别对所述红外图像和所述亮度分量图像进行分解，得到所述红外图像和所述亮度分量图像各自对应的基础层图像和多个细节层图像；将所述红外图像和所述亮度分量图像各自的所述基础层图像进行融合，得到基础层融合图像；将所述红外图像和所述亮度分量图像各自的多个所述细节层图像分别对应进行融合，得到对应的多个细节层融合图像；将所述基础层融合图像和所述多个细节层融合图像叠加，得到亮度分量融合图像，根据所述亮度分量融合图像和所述可见光图像的其它通道分量合并，得到融合图像。2.根据权利要求1所述的图像融合方法，其特征在于，所述基础层图像包括所述红外图像的第一基础层图像和所述亮度分量图像的第二基础层图像，所述将所述红外图像和所述亮度分量图像各自的所述基础层图像进行融合，得到基础层融合图像，包括：分别对所述第一基础层图像与所述第二基础层图像进行奇异值分解，利用各自的奇异值向量对所述第一基础层图像与所述第二基础层图像进行线性加权融合，得到基础层融合图像。3.根据权利要求2所述的图像融合方法，其特征在于，所述分别对所述第一基础层图像与所述第二基础层图像进行奇异值分解，利用各自的奇异值向量对所述第一基础层图像与所述第二基础层图像进行线性加权融合，得到基础层融合图像，包括：分别对所述第一基础层图像与所述第二基础层图像进行奇异值分解，得到所述第一基础层图像与所述第二基础层图像中各自的奇异值均值向量；基于所述各自的奇异值均值向量，得到所述第一基础层图像的第一像素权重图与所述第二基础层图像的第二像素权重图；基于所述第一像素权重图与所述第二像素权重图，对所述第一基础层图像与所述第二基础层图像进行线性融合，得到基础层融合图像。4.根据权利要求3所述的图像融合方法，其特征在于，所述分别对所述第一基础层图像与所述第二基础层图像进行奇异值分解，得到所述第一基础层图像与所述第二基础层图像中各自的奇异值向量，包括：对于第一基础层图像与第二基础层图像中每个像素，执行以下步骤：获取以所述像素为中心的m阶邻域矩阵，m为大于2的正整数；对所述领域矩阵进行奇异值分解，得到m个奇异值；将所述m个奇异值的平均值作为对应所述像素的奇异值。5.根据权利要求1所述的图像融合方法，其特征在于，所述多个细节层图像包括所述红外图像的n层红外细节层图像和所述亮度分量图像的n层亮度细节层图像，所述将所述红外图像和所述亮度分量图像各自的多个所述细节层图像分别对应进行融合，得到对应的多个细节层融合图像，包括：通过自适应脉冲耦合神经网络，分别对所述n层红外细节层图像与所述n层亮度细节层图像按对应层的匹配关系一一对应地进行融合，得到n层细节层融合图像。
6.根据权利要求5所述的图像融合方法，其特征在于，所述通过自适应脉冲耦合神经网络，分别对所述n层红外细节层图像与所述n层亮度细节层图像按对应层的匹配关系一一对应地进行融合，得到n层细节层融合图像之前，还包括：计算所述n层红外细节层图像与所述n层亮度细节层图像中每个像素的平均梯度值，得到与红外细节层图像对应的第一梯度图，以及与所述亮度细节层图像对应的第二梯度图；基于所述第一梯度图与所述第二梯度图确定自适应脉冲耦合神经网络中突触链接强度系数。7.根据权利要求6所述的图像融合方法，其特征在于，所述通过自适应脉冲耦合神经网络，分别对所述n层红外细节层图像与所述n层亮度细节层图像按对应层的匹配关系一一对应地进行融合，得到n层细节层融合图像，包括：对所述n层红外细节层图像与所述n层亮度细节层图像按对应层的匹配关系，对各对应层的所述红外细节层图像和所述亮度细节层图像分别进行数据预处理，得到各对应层的第一绝对值化图像与第二绝对值化图像；将各对应层的所述第一绝对值化图像与所述第二绝对值化图像作为初始激励输入至自适应脉冲耦合神经网络，按照设定次数进行迭代，得到各对应层的红外细节层点火矩阵以及亮度细节层点火矩阵；基于各对应层的所述红外细节层点火矩阵及所述亮度细节层点火矩阵，对所述红外细节层图像与所述亮度细节层图像进行图像融合，分别得到各对应层的细节层融合图像。8.根据权利要求7所述的图像融合方法，其特征在于，所述基于各对应层的所述红外细节层点火矩阵及所述亮度细节层点火矩阵，对所述红外细节层图像与所述亮度细节层图像进行图像融合，分别得到各对应层的细节层融合图像，包括：基于各对应层的所述红外细节层点火矩阵及所述亮度细节层点火矩阵，比较所述红外细节层点火矩阵与所述亮度细节层点火矩阵中第(i,j)个元素的大小；其中，i，j均为整数；在所述红外细节层点火矩阵中的第(i,j)个元素大于所述亮度细节层点火矩阵中的第(i,j)个元素的情况下，确定所述红外细节层图像中第(i,j)个像素值为所述对应层的细节层融合图像中第(i,j)个像素值；在所述红外细节层点火矩阵中的第(i,j)个元素小于所述亮度细节层点火矩阵中的第(i,j)个元素的情况下，确定所述亮度细节层图像中第(i,j)个像素值为所述对应层的细节层融合图像中第(i,j)个像素值；在所述红外细节层点火矩阵中的第(i,j)个元素等于所述亮度细节层点火矩阵中的第(i,j)个元素的情况下，确定所述亮度细节层图像与所述红外细节层图像中第(i,j)个像素的均值为所述对应层的细节层融合图像中第(i,j)个像素值。9.根据权利要求1所述的图像融合方法，其特征在于，在所述提取所述可见光图像的亮度通道分量，得到对应的亮度分量图像之前，还包括：对所述红外图像和所述可见光图像进行配准；将配准后的彩色的所述可见光图像进行色彩空间变换，得到hsi色彩空间的可见光图像；所述将所述基础层融合图像和所述多个细节层融合图像叠加，得到亮度分量融合图像，根据所述亮度分量融合图像和所述可见光图像的其它通道分量合并，得到融合图像，包
括：将所述基础层融合图像和所述多个细节层融合图像叠加，得到亮度分量融合图像，根据所述亮度分量融合图像和所述可见光图像的其它通道分量合并，得到初始融合图像；将所述初始融合图像进行色彩空间转换，得到最终融合图像。10.根据权利要求1所述的图像融合方法，其特征在于，所述分别对所述红外图像和所述亮度分量图像进行分解，得到所述红外图像和所述亮度分量图像各自对应的基础层图像和多个细节层图像，包括：通过子窗方差滤波分别对所述红外图像和所述亮度分量图像进行滤波，得到各自对应的细节层图像和中间层图像；通过子窗方差滤波分别对所述红外图像和所述亮度分量图像的中间层图像进行滤波，得到各自对应的另一细节层图像和另一中间层图像，并返回所述通过子窗方差滤波分别对所述红外图像和所述亮度分量图像的中间层图像进行滤波，直至得到各自对应的最后一层细节层图像和基础层图像。11.一种图像融合装置，其特征在于，包括：图像获取模块，用于获取同步采集的目标场景的红外图像和可见光图像；图像得到模块，用于提取所述可见光图像的亮度通道分量，得到对应的亮度分量图像；图像分解模块，用于分别对所述红外图像和所述亮度分量图像进行分解，得到所述红外图像和所述亮度分量图像各自对应的基础层图像和多个细节层图像；基础层图像融合模块，用于将所述红外图像和所述亮度分量图像各自的所述基础层图像进行融合，得到基础层融合图像；细节层图像融合模块，用于将所述红外图像和所述亮度分量图像各自的多个所述基础层图像分别对应进行融合，得到对应的多个细节层融合图像；融合图像得到模块，用于将所述基础层融合图像和所述多个细节层融合图像叠加，得到亮度分量融合图像，根据所述亮度分量融合图像和所述可见光图像的其它通道分量合并，得到融合图像。12.一种图像融合设备，其特征在于，包括处理器及存储器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至10中任一项所述的图像融合方法。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被控制器执行时实现如权利要求1至10中任一项所述的图像融合方法。
技术总结本申请提供一种图像融合方法、装置、设备和存储介质，所述方法包括：获取同步采集的目标场景的红外图像和可见光图像；提取可见光图像的亮度通道分量，得到对应的亮度分量图像；分别对红外图像和亮度分量图像进行分解，得到红外图像和亮度分量图像各自对应的基础层图像和多个细节层图像；将红外图像和亮度分量图像各自的所述基础层图像进行融合，得到基础层融合图像；将红外图像和亮度分量图像各自的多个细节层图像对应进行融合，分别得到对应的多个细节层融合图像；将基础层融合图像和多个细节层融合图像叠加，得到亮度分量融合图像，根据亮度分量融合图像和所述可见光图像的其它通道分量合并，得到融合图像。得到融合图像。得到融合图像。
技术研发人员：张大鹏 刘宇廷
受保护的技术使用者：烟台艾睿光电科技有限公司
技术研发日：2022.04.18
技术公布日：2022/7/5
