1.本发明涉及一种基于引导滤波与稀疏表示的遥感影像融合方法，属于遥感图像处理技术领域。
背景技术：2.在遥感领域，由于传感器相关技术的限制，遥感卫星难以同时获取具有高空间分辨率和高光谱分辨率的遥感影像。光学遥感卫星获取的全色影像(pan)具有高空间分辨率，能够体现地物细节信息，但缺少地物光谱与色彩信息，多光谱影像包含地物对不同波段的光谱特性，能够为地物目标的识别分类提供有效的色彩信息，但其空间分辨率相比全色影像较低，因此，需要利用全色影像对多光谱影像进行超分辨率融合处理以实现多光谱影像分辨率的提升，提高基于高分辨多光谱地面遥感图像的地面特征目标的分类识别能力
3.多光谱影像和全色影像的融合可以看作是多源图像融合，一般采用三种方法：1)直接对图像像素或在其他变换域执行融合的方法；其利用全色影像代替多光谱影像的强度信息或者第一主成分分量来实现的。2)基于多尺度分解的方法；其将通过全色图像的多分辨率分解得到的空间细节注入重采样的多光谱阶段来实现的。3)基于稀疏表示的方法；其通过求解超分辨率图像重建这个np方法来实现的。方法1)的缺点为：没有考虑到全色影像和多光谱影像光谱响应之间的局部差异，因此可能会在融合图像中造成颜色失真。方法2)的缺点为：由于此方法涉及到信号滤波及像素级融合，所以融合结果容易出现混叠效应，会引起轮廓或纹理的偏移和模糊。且多尺度变换虽然在不同尺度提取各种空间结果，但是不能稀疏地表示低频分量，由于低频分量包含大量能量，这时如果直接用平均或最大值选取低频系数，则会降低融合效果。方法3)的缺点为：一是缺少高分辨率多光谱影像，字典建立困难。二是字典中atoms数量的限制使小尺度细节信息(细节信息)较难重构。
4.综上所述，设计一种运行时间短，光谱保真度高，并能有效提高空间分辨率的多光谱影像超分辨算法十分有必要。如何更好的提取全色影像空间细节，并在空间细节的注入过程中减少由于传感器光谱响应不同等原因带来的色彩混叠等现象，同时产生有利于人们目译及分类的遥感影像仍然是值得解决的关键问题。
技术实现要素：5.本发明主要目的是提供一种基于引导滤波与稀疏表示的遥感影像融合方法，对多光谱影像进行非线性hsv(六角锥体)变换降低图像混叠，减小计算量；使用引导滤波的手段，对全色影像和多光谱影像的细节信息进行多次的提取，得到有效提取结构特征信息的细节影像；通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量；根据提取的高频分量结构特征信息和低频分量信息，融合得到亮度图像v'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像v'进行hsv空间逆变换，实现多光谱影像的超分辨成像。
6.本发明的目的是通过下述技术方案实现的。
7.本发明公开的一种基于引导滤波与稀疏表示的遥感影像融合方法，首先，对插值后的多光谱影像进行非线性hsv变换，得到非线性hsv变换后的多光谱影像，并对变换后提取的v分量与全色影像进行直方图匹配。其次，使用引导滤波的手段多次提取全色影像与多光谱影像亮度分量v的边缘细节信息，并通过稀疏表示对利用引导滤波提取的全色影像和多光谱影像的低频信息进行融合。最后，将提取后的高频分量结构特征信息和提取后的低频分量信息，融合得到亮度图像v'，并对亮度图像v'进行hsv空间逆变换，实现多光谱影像的超分辨成像。相比于his等算法，本发明运行时间短，光谱保真度高，并能有效提高空间分辨率。
8.本发明公开的一种基于引导滤波与稀疏表示的遥感影像融合方法，包括如下步骤：
9.步骤一、对多光谱影像(遥感影像)进行图像插值操作，使其扩大到与全色影像(遥感影像)相同的尺度，便于后续多光谱影像和全色影像间的融合操作。
10.图像插值操作包括最近邻插值，双线性插值，双三次插值。因为最近邻插值不会改变图像像素的辐射测量值，且当数据是偶对齐的时候，最近邻插值能够补偿插值后多光谱和全色影像之间的1.5像素位移，减小扩大后的多光谱影像与全色影像之间的系统性偏移，有助于保证最终融合结果的质量。作为优选，选择最近邻插值操作。
11.步骤二、对多光谱影像进行非线性hsv变换，得到非线性hsv变换后的亮度影像，降低后续操作带来的图像混叠，减小后续操作计算量，提高遥感影像融合效率。
12.由于多光谱影像的亮度分量v的主观感知比色彩分量的主观感知强烈，因此在图片和视频的数字表示上对色彩分量进行降采样，亮度分量不会进行任何退化。根据如公式(1)(2)(3)所示的hsv变换模型，对多光谱影像进行非线性hsv变换，相比于其他变换能够使融合后的图像会更加锐化，有利于降低后续操作带来的图像混叠，减小后续操作计算量，提高遥感影像融合效率，但相比his等变换，非线性hsv变换引入更多的噪声。
13.v＝max(r,g,b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0014][0015][0016]
其中r表示图像的红色通道，g表示图像的绿色通道，b表示图像的蓝色通道，h表示色调，s表示饱和度，v表示亮度。
[0017]
步骤三、对步骤二多光谱影像提取的v分量和全色影像间进行直方图匹配，减少多光谱影像和全色影像由于传感器光谱响应函数不一致而导致融合结果产生的光谱失真。
[0018]
根据公式(4)对步骤二多光谱影像提取的v分量和全色影像间进行直方图匹配，减少多光谱影像和全色影像由于传感器光谱响应函数不一致而导致融合结果产生的光谱失真。
[0019][0020]
其中pan是全色影像，μ
pan
和σ
pan
是全色影像的均值和方差，μv和σv是亮度分量的均值和方差，p是直方图匹配后的全色影像。
[0021]
步骤四、利用引导滤波的结构转移特性，以全色影像(遥感影像)为引导图像，对多光谱影像的亮度分量做引导滤波，去除多光谱影像在hsv变换阶段产生的噪声。
[0022]
对步骤二非线性hsv变换后的多光谱影像，利用引导滤波的结构转移特性，以步骤三经直方图匹配后的全色影像为引导图像，根据公式(5)(6)(7)对多光谱影像的亮度分量做引导滤波，去除多光谱影像在hsv变换阶段产生的噪声。
[0023]
q1＝a1i+b1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0024][0025][0026]
其中p为输入图像，i为引导图像，ε2是正则化参数，q为输出图像，a1和b1为(5)式的超参数。
[0027]
步骤五、利用引导滤波的保边平滑特性，使用引导滤波的手段提取全色影像与多光谱影像亮度分量v的边缘细节信息，并对全色影像与多光谱影像亮度分量v的边缘细节信息进行融合，且提取过程不依赖于滑块窗口的大小，提高提取速度。
[0028]
对步骤二非线性hsv变换后的多光谱影像以及步骤三经直方图匹配后的全色影像，利用引导滤波的保边平滑特性，根据公式(8)(9)(10)所示的引导滤波公式提取全色影像与多光谱影像亮度分量v的边缘细节信息，并对全色影像与多光谱影像亮度分量v的边缘细节信息进行融合，且提取过程不依赖于滑块窗口的大小，提高提取速度。
[0029]
q2＝a2p+b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0030][0031][0032]
其中p为输入图像，ε2是正则化参数，q为输出图像，a2和b2为(8)式的超参数。
[0033]
步骤六：针对多光谱影像亮度分量及全色影像引导滤波后的高频分量，重复迭代步骤五，对全色影像和多光谱影像的细节信息进行多次的提取，直至实现对全色影像的高频分量结构特征信息的有效提取。
[0034]
步骤七、针对多光谱影像亮度分量及全色影像引导滤波后的低频分量，通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量，实现对全色影像及多光谱影像低频分量信息的有效提取。
[0035]
步骤七所述稀疏表示方法实现方法如下：获取低频信息训练影像，将图像转变为特征矩阵，通过字典学习算法求解字典，求解全色影像和亮度分量在字典下的稀疏系数，根据稀疏系数融合并重构出低频分量。
[0036]
步骤7.1、选择若干幅包含地铁沿线地物信息的全色影像作为训练影像，将其进行低通滤波并降采样至多光谱影像大小，以获得其相对应的低分辨训练影像。为了使融合前后的维度相同，将降采样至多光谱影像大小的低分辨率训练影像升采样至全色影像大小以获得高分辨的低频信息训练影像。
[0037]
步骤7.2、使用滑动窗口将步骤7.1获得的低频信息的影像划分为大小的影像块，并将影像块变为n
×
1大小的列向量，将所得到的这些列向量组成特征矩阵。
[0038]
步骤7.3、利用公式(11)通过字典学习算法求解字典。
[0039][0040]
其中β＝(α1，α2，...，αm)是影像的稀疏系数，d
l
为训练得到的低分辨率字典，x
l
为步骤7.2获得的影像矩阵，t为稀疏系数的稀疏度(稀疏系数中的非零值的个数)。
[0041]
字典学习算法大体包括2类，一类是由一组参数和一套选取的含有参数的若干函数构成，用其近似表达信号。这类字典不需要存储整个字典，只需要存储相关参数信息即可，因此大大降低了存储量，但由于涉及的字典与原始信号无关，所以不具有适应性；另一类字典学习方法则是根据信号或图像特点进行训练学习得到的自适应字典。包括k-svd算法、mod字典学习算法等。鉴于k-svd算法能更好的适用于不同特征的各类图像，具有适应性强的特点。
[0042]
作为优选，选用k-svd算法学习字典。步骤7.3具体实现方法如下：
[0043]
7.3.1、字典初始化：从步骤7.2获得的特征矩阵中随机选取k个列向量作为初始字典的原子。
[0044]
7.3.2、稀疏编码：利用公式(12)进行稀疏编码，获得稀疏系数。
[0045]
x＝dα
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0046]
其中d表示从7.3.1获得的字典，x是图像的特征矩阵；
[0047]
7.3.3、字典更新：利用omp算法逐列更新字典d并重复步骤7.3.2，同时利用式(13)计算误差矩阵，当收敛到指定误差时，停止更新，获得具有能表征低频分量信息的字典d。
[0048][0049]
其中ek表示误差矩阵，dj表示字典d(d1，d2....dk)的第j列原子。
[0050]
步骤7.4、针对多光谱影像亮度分量及全色影像引导滤波后的低频分量，利用步骤7.2转换为特征矩阵，求解(14)式获得多光谱影像亮度分量及全色影像的稀疏系数，
[0051][0052]
其中d
l
是步骤7.3获得的低分辨字典，ε是容许误差，y
lf
是图像的特征矩阵，α是待求解的稀疏系数。
[0053]
步骤7.5、根据式(15)所示的采用稀疏系数绝对值取最大的融合规则对步骤7.4获得的多光谱影像亮度分量及全色影像的稀疏系数进行重构得到新的稀疏系数。并根据式(12)重构出新的特征矩阵，以实现通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用多光谱影像和全色影像的低频特征信息，实现对全色影像及多光谱影像低频分量信息的有效提取。
[0054]
α＝max(α1,α2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0055]
其中α1和α2表示利用步骤7.4获得的全色影像和多光谱影像亮度分量在字典d
l
下获得的稀疏系数。
[0056]
步骤八：根据步骤六提取的高频分量结构特征信息和步骤七提取的低频分量信息，融合得到亮度图像v'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像v'进行hsv空间逆变换，实现多光谱影像的超分辨成像。
[0057]
根据步骤六提取的高频分量结构特征信息和步骤七提取的低频分量信息，融合得到亮度图像v'，并根据公式(16)(17)(18)(19)(20)(21)对亮度图像v'进行hsv空间逆变换，
实现多光谱影像的超分辨成像。
[0058]
h＝floor(h/60)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0059]
f＝h/60-h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0060]
p＝v*(1-s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)
[0061]
q＝v*(1-f*s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(19)
[0062]
t＝v*(1-(1-f)*s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(20)
[0063][0064]
其中：floor表示向下取整。
[0065]
有益效果：
[0066]
1、本发明公开的一种基于引导滤波与稀疏表示的遥感影像融合方法，对多光谱影像进行非线性hsv变换降低图像混叠，减小计算量；使用引导滤波的手段，对全色影像和多光谱影像的细节信息进行多次的提取，得到有效提取结构特征信息的细节影像；通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量，有利于光谱细节的保持。；根据提取的高频分量结构特征信息和低频分量信息，融合得到亮度图像v'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像v'进行hsv空间逆变换，实现多光谱影像的超分辨成像。
[0067]
2、本发明公开的一种基于引导滤波与稀疏表示的遥感影像融合方法，利用全色影像直接重构低频字典的方法，避免由于缺少高分辨率多光谱影像而进行大量的猜测型假设，减少结果的不确定性。
附图说明
[0068]
图1为本发明公开的一种基于引导滤波与稀疏表示的遥感影像融合方法流程图。
[0069]
图2为本发明对多光谱影像进行非线性hsv变换提取的v分量。
[0070]
图3为本发明对全色影像进行直方图变换后的图像。
[0071]
图4为本发明应用全色图像对自身做引导滤波获得的低频与高频图像。
[0072]
图5为本发明建立的低分辨率字典。
具体实施方式
[0073]
为使本发明的目的、技术方案和优点更加清楚，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0074]
如图1所示，本实施例公开的一种基于引导滤波与稀疏表示的遥感影像融合方法流程图，具体实现步骤如下：
[0075]
步骤一、对多光谱影像(遥感影像)进行图像最近邻插值操作，使其扩大到与全色
影像(遥感影像)相同的尺度，便于后续多光谱影像和全色影像间的融合操作。
[0076]
步骤二、对多光谱影像进行非线性hsv变换，得到如图2所示的非线性hsv变换后的亮度影像，降低后续操作带来的图像混叠，减小后续操作计算量，提高遥感影像融合效率。
[0077]
由于多光谱影像的亮度分量v的主观感知比色彩分量的主观感知强烈，因此在图片和视频的数字表示上对色彩分量进行降采样，亮度分量不会进行任何退化。根据如公式(1)(2)(3)所示的hsv变换模型，对多光谱影像进行非线性hsv变换，相比于其他变换可以使融合后的图像会更加锐化，有利于降低后续操作带来的图像混叠，减小后续操作计算量，提高遥感影像融合效率，但相比his等变换，非线性hsv变换引入更多的噪声。
[0078]
v＝max(r,g,b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0079][0080][0081]
其中r表示图像的红色通道，g表示图像的绿色通道，b表示图像的蓝色通道，h表示色调，s表示饱和度，v表示亮度。
[0082]
步骤三、根据公式(4)对步骤二多光谱影像提取的v分量和全色影像间进行直方图匹配得到如图3所示的经直方图匹配的全色影像。减少多光谱影像和全色影像由于传感器光谱响应函数不一致而导致融合结果产生的光谱失真。
[0083][0084]
其中pan是全色影像，μ
pan
和σ
pan
是全色影像的均值和方差，μv和σv是亮度分量的均值和方差，p是直方图匹配后的全色影像。
[0085]
步骤四、利用引导滤波的结构转移特性，以全色影像(遥感影像)为引导图像，对多光谱影像的亮度分量做引导滤波，去除多光谱影像在hsv变换阶段产生的噪声。
[0086]
对步骤二非线性hsv变换后的多光谱影像，利用引导滤波的结构转移特性，以步骤三经直方图匹配后的全色影像为引导图像，根据公式(5)(6)(7)对多光谱影像的亮度分量做引导滤波，去除多光谱影像在hsv变换阶段产生的噪声。
[0087]
q1＝a1i+b1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0088][0089][0090]
其中p为输入图像，i为引导图像，ε2是正则化参数，q为输出图像，a1和b1为(5)式的超参数。
[0091]
步骤五、利用引导滤波的保边平滑特性，使用引导滤波的手段提取全色影像与多光谱影像亮度分量v的边缘细节信息，得到如图4所示的高频细节图像以及低频图像，并对全色影像与多光谱影像亮度分量v的边缘细节信息进行融合，且提取过程不依赖于滑块窗口的大小，提高提取速度。
[0092]
对步骤二非线性hsv变换后的多光谱影像以及步骤三经直方图匹配后的全色影
像，利用引导滤波的保边平滑特性，根据公式(8)(9)(10)所示的引导滤波公式提取全色影像与多光谱影像亮度分量v的边缘细节信息，并对全色影像与多光谱影像亮度分量v的边缘细节信息进行融合，且提取过程不依赖于滑块窗口的大小，提高提取速度。
[0093]
q2＝a2p+b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0094][0095][0096]
其中p为输入图像，ε2是正则化参数，q为输出图像，a2和b2为(8)式的超参数。
[0097]
步骤六：针对多光谱影像亮度分量及全色影像引导滤波后的高频分量，重复迭代步骤五，对全色影像和多光谱影像的细节信息进行多次的提取，直至实现对全色影像的高频分量结构特征信息的有效提取。
[0098]
步骤七、针对多光谱影像亮度分量及全色影像引导滤波后的低频分量，通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量，实现对全色影像及多光谱影像低频分量信息的有效提取。
[0099]
步骤七所述稀疏表示方法实现方法如下：获取低频信息训练影像，将图像转变为特征矩阵，通过字典学习算法求解字典，求解全色影像和亮度分量在字典下的稀疏系数，根据稀疏系数融合并重构出低频分量。
[0100]
步骤7.1、选择若干幅包含地铁沿线地物信息的全色影像作为训练影像，将其进行低通滤波并降采样至多光谱影像大小，以获得其相对应的低分辨训练影像。为了使融合前后的维度相同，将降采样至多光谱影像大小的低分辨率训练影像升采样至全色影像大小以获得高分辨的低频信息训练影像。
[0101]
步骤7.2、使用滑动窗口将步骤7.1获得的低频信息的影像划分为大小的影像块，并将影像块变为n
×
1大小的列向量，将所得到的这些列向量组成特征矩阵。
[0102]
步骤7.3、利用ksvd字典学习算法求解公式(11)，得到如图5所示的字典。
[0103][0104]
其中β＝(α1，α2，...，αm)是影像的稀疏系数，d
l
为训练得到的低分辨率字典，x
l
为步骤7.2获得的影像矩阵，t为稀疏系数的稀疏度(稀疏系数中的非零值的个数)。
[0105]
步骤7.4、针对多光谱影像亮度分量及全色影像引导滤波后的低频分量，利用步骤7.2转换为特征矩阵，求解(14)式获得多光谱影像亮度分量及全色影像的稀疏系数，
[0106][0107]
其中d
l
是步骤7.3获得的低分辨字典，ε是容许误差，y
lf
是图像的特征矩阵，α是待求解的稀疏系数。
[0108]
步骤7.5、根据式(15)所示的采用稀疏系数绝对值取最大的融合规则对步骤7.4获得的多光谱影像亮度分量及全色影像的稀疏系数进行重构得到新的稀疏系数。并根据式(12)重构出新的特征矩阵，以实现通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用多光谱影像和全色影像的低频特征信息，实现对全色影像及多光谱影像低频分量信息的有效提取。
[0109]
α＝max(α1,α2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0110]
其中α1和α2表示利用步骤7.4获得的全色影像和多光谱影像亮度分量在字典d
l
下获得的稀疏系数。
[0111]
步骤八：根据步骤六提取的高频分量结构特征信息和步骤七提取的低频分量信息，融合得到亮度图像v'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像v'进行hsv空间逆变换，实现多光谱影像的超分辨成像。
[0112]
根据步骤六提取的高频分量结构特征信息和步骤七提取的低频分量信息，融合得到亮度图像v'，并根据公式(16)(17)(18)(19)(20)(21)对亮度图像v'进行hsv空间逆变换，实现多光谱影像的超分辨成像。
[0113]
h＝floor(h/60)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0114]
f＝h/60-h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0115]
p＝v*(1-s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)
[0116]
q＝v*(1-f*s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(19)
[0117]
t＝v*(1-(1-f)*s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(20)
[0118][0119]
其中：floor表示向下取整。
[0120]
需要说明，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：1.一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：包括如下步骤，步骤一、对多光谱影像进行图像插值操作，使其扩大到与全色影像相同的尺度，便于后续多光谱影像和全色影像间的融合操作；步骤二、对多光谱影像进行非线性hsv变换，得到非线性hsv变换后的亮度影像，降低后续操作带来的图像混叠，减小后续操作计算量，提高遥感影像融合效率；步骤三、对步骤二多光谱影像提取的v分量和全色影像间进行直方图匹配，减少多光谱影像和全色影像由于传感器光谱响应函数不一致而导致融合结果产生的光谱失真；步骤四、利用引导滤波的结构转移特性，以全色影像为引导图像，对多光谱影像的亮度分量做引导滤波，去除多光谱影像在hsv变换阶段产生的噪声；步骤五、利用引导滤波的保边平滑特性，使用引导滤波的手段提取全色影像与多光谱影像亮度分量v的边缘细节信息，并对全色影像与多光谱影像亮度分量v的边缘细节信息进行融合，且提取过程不依赖于滑块窗口的大小，提高提取速度；步骤六、针对多光谱影像亮度分量及全色影像引导滤波后的高频分量，重复迭代步骤四，对全色影像和多光谱影像的细节信息进行多次的提取，直至实现对全色影像的高频分量结构特征信息的有效提取；步骤七、针对多光谱影像亮度分量及全色影像引导滤波后的低频分量，通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量，实现对全色影像及多光谱影像低频分量信息的有效提取；步骤八：根据步骤六提取的高频分量结构特征信息和步骤七提取的低频分量信息，融合得到新的亮度图像v'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像v'进行hsv空间逆变换，实现多光谱影像的超分辨成像。2.如权利要求1所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：步骤二实现方法为，由于多光谱影像的亮度分量v的主观感知比色彩分量的主观感知强烈，因此在图片和视频的数字表示上对色彩分量进行降采样，亮度分量不会进行任何退化；根据如公式(1)(2)(3)所示的hsv变换模型，对多光谱影像进行非线性hsv变换，相比于其他变换能够使融合后的图像会更加锐化，有利于降低后续操作带来的图像混叠，减小后续操作计算量，提高遥感影像融合效率，但相比his等变换，非线性hsv变换引入更多的噪声；v＝max(r,g,b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)(1)(3)其中r表示图像的红色通道，g表示图像的绿色通道，b表示图像的蓝色通道，h表示色调，s表示饱和度，v表示亮度。3.如权利要求1所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：步骤三实现方法为，根据公式(4)对步骤二多光谱影像提取的v分量和全色影像间进行直方图匹配，减少多
光谱影像和全色影像由于传感器光谱响应函数不一致而导致融合结果产生的光谱失真；其中pan是全色影像，μ
pan
和σ
pan
是全色影像的均值和方差，μv和σv是亮度分量的均值和方差，p是直方图匹配后的全色影像。4.如权利要求1所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：步骤四实现方法为，对步骤二非线性hsv变换后的多光谱影像，利用引导滤波的结构转移特性，以步骤三经直方图匹配后的全色影像为引导图像，根据公式(5)(6)(7)对多光谱影像的亮度分量做引导滤波，去除多光谱影像在hsv变换阶段产生的噪声；q1＝a1i+b1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)(5)其中p为输入图像，i为引导图像，ε2是正则化参数，q为输出图像，a1和b1为(5)式的超参数。5.如权利要求1所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：步骤五实现方法为，对步骤二非线性hsv变换后的多光谱影像以及步骤三经直方图匹配后的全色影像，利用引导滤波的保边平滑特性，根据公式(8)(9)(10)所示的引导滤波公式提取全色影像与多光谱影像亮度分量v的边缘细节信息，并对全色影像与多光谱影像亮度分量v的边缘细节信息进行融合，且提取过程不依赖于滑块窗口的大小，提高提取速度；q2＝a2p+b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)(8)其中p为输入图像，ε2是正则化参数，q为输出图像，a2和b2为(8)式的超参数。6.如权利要求1所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：步骤七所述稀疏表示方法实现方法如下：获取低频信息训练影像，将图像转变为特征矩阵，通过字典学习算法求解字典，求解全色影像和亮度分量在字典下的稀疏系数，根据稀疏系数融合并重构出低频分量；步骤6.1、选择若干幅包含地铁沿线地物信息的全色影像作为训练影像，将其进行低通滤波并降采样至多光谱影像大小，以获得其相对应的低分辨训练影像；为了使融合前后的维度相同，将降采样至多光谱影像大小的低分辨率训练影像升采样至全色影像大小以获得高分辨的低频信息训练影像；步骤6.2、使用滑动窗口将步骤6.1获得的低频信息的影像划分为大小的影像块，并将影像块变为n
×
1大小的列向量，将所得到的这些列向量组成特征矩阵；步骤6.3、利用公式(11)通过字典学习算法求解字典；
其中β＝(α1,α2,...,α
m
)是影像的稀疏系数，d
l
为训练得到的低分辨率字典，x
l
为步骤6.2获得的影像矩阵，t为稀疏系数的稀疏度(稀疏系数中的非零值的个数)；字典学习算法大体包括2类，一类是由一组参数和一套选取的含有参数的若干函数构成，用其近似表达信号；这类字典不需要存储整个字典，只需要存储相关参数信息即可，因此大大降低存储量，但由于涉及的字典与原始信号无关，所以不具有适应性；另一类字典学习方法则是根据信号或图像特点进行训练学习得到的自适应字典，包括k-svd算法、mod字典学习算法；鉴于k-svd算法能更好的适用于不同特征的各类图像，具有适应性强的特点；选用k-svd算法学习字典；步骤6.3具体实现方法如下：6.3.1、字典初始化：从步骤6.2获得的特征矩阵中随机选取k个列向量作为初始字典的原子；6.3.2、稀疏编码：利用公式(12)进行稀疏编码，获得稀疏系数；x＝dα
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)其中d表示从6.3.1获得的字典，x是图像的特征矩阵；6.3.3、字典更新：利用omp算法逐列更新字典d并重复步骤2，同时利用式(13)计算误差矩阵，当收敛到指定误差时，停止更新，获得具有能表征低频分量信息的字典d；其中e
k
表示误差矩阵，d
j
表示字典d(d1,d2....d
k
)的第j列原子；步骤6.4、针对多光谱影像亮度分量及全色影像引导滤波后的低频分量，利用步骤6.2转换为特征矩阵，求解(14)式获得多光谱影像亮度分量及全色影像的稀疏系数，其中d
l
是步骤6.3获得的低分辨字典，ε是容许误差，y
lf
是图像的特征矩阵，α是待求解的稀疏系数；步骤6.5、根据式(15)所示的采用稀疏系数绝对值取最大的融合规则对步骤6.4获得的多光谱影像亮度分量及全色影像的稀疏系数进行重构得到新的稀疏系数；并根据式(12)重构出新的特征矩阵，以实现通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用多光谱影像和全色影像的低频特征信息，实现对全色影像及多光谱影像低频分量信息的有效提取；α＝max(α1,α2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)其中α1和α2表示利用步骤6.4获得的全色影像和多光谱影像亮度分量在字典d
l
下获得的稀疏系数。7.如权利要求1所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：步骤八实现方法为，根据步骤四提取的高频分量结构特征信息和步骤五提取的低频分量信息，融合得到亮度图像v'，并根据公式(16)(17)(18)(19)(20)(21)对亮度图像v'进行hsv空间逆变换，实现多光谱影像的超分辨成像；h＝floor(h/60)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)f＝h/60-h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)p＝v*(1-s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)
q＝v*(1-f*s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(19)t＝v*(1-(1-f)*s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(20)其中：floor表示向下取整。8.如权利要求1、2、3、4、5、6和7所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：对多光谱影像进行非线性hsv变换降低图像混叠，减小计算量；使用引导滤波的手段，对全色影像和多光谱影像的细节信息进行多次的提取，得到有效提取结构特征信息的细节影像；通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量，有利于光谱细节的保持。；根据提取的高频分量结构特征信息和低频分量信息，融合得到亮度图像v'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像v'进行hsv空间逆变换，实现多光谱影像的超分辨成像。
技术总结本发明公开的一种基于引导滤波与稀疏表示的遥感影像融合方法，属于遥感图像处理技术领域。本发明实现方法为：对多光谱影像进行非线性HSV变换降低图像混叠，减小计算量；使用引导滤波的手段，对全色影像和多光谱影像的细节信息进行多次的提取，得到有效提取结构特征信息的细节影像；通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量；根据提取的高频分量结构特征信息和低频分量信息，融合得到新的亮度图像V'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像V'进行HSV空间逆变换，实现多光谱影像的超分辨成像。本发明利用全色影像直接重构低频字典，减少了由于缺少理想影像训练字典带来的结果的不确定性。不确定性。不确定性。
技术研发人员：金伟其 李颖捷 左东升 郭宏 裘溯
受保护的技术使用者：北京理工大学
技术研发日：2022.03.30
技术公布日：2022/7/4
