基于Spark的高光谱激光雷达多通道加权系统及方法

基于spark的高光谱激光雷达多通道加权系统及方法
技术领域
1.本发明涉及遥感测绘技术领域，具体涉及基于spark的高光谱激光雷达多通道加权系统， 还涉及基于spark的高光谱激光雷达多通道加权方法，适用于高光谱激光雷达多个通道的海 量高速实时与离线波形数据。


背景技术：

2.高光谱激光雷达作为一种全新对地观测技术，其采用超连续谱激光器，可在一个激光脚 印上获取不同波段的光谱信息与距离信息，从而实现多个地物的距离探测与目标识别。相较 于传统的单波长激光雷达，高光谱激光雷达通道数较多，采用多类型探测器阵列，覆盖从可 见光到近红外的宽谱探测(400nm-2500nm),所获取到的地物目标信息更为丰富。由于超连 续谱激光器的能量分布不均匀且不同地物的反射特性不同；多类型探测器响应曲线、探测效 率等存在差异，导致不同通道的后向散射回波波形、强弱等存在明显差异； 高光谱激光雷达的多通道波形数据具有海量、高速等大数据的特点，是现有单一通道单一波 形数据量的百倍甚至千倍。以上对多通道光谱波形参数的提取精度与提取速度提出了挑战。 传统的单通道单波长分解算法，只针对单一通道、单一波形进行单线程分解，对于高光谱激 光雷达多通达海量波形数据分解已不再适用。本发明提出基于spark的高光谱激光雷达多通 道加权系统及方法，通过建立基于spark的高光谱激光雷达海量波形数据多通道加权算法系 统，在此基础上建立spark计算分析框架，利用高光谱激光雷达多通道加权处理算法，来处 理实时和离线的高光谱激光雷达多通道海量波形数据。可提高高光谱激光雷达波形数据的每 个通道、每发脉冲的光谱信息和距离信息的提取精度以及高光谱激光雷达海量多通道数据加 权处理算法的运行速率。


技术实现要素：

3.本发明的目的是在于针对现有技术存在的上述问题，提供一基于spark的高光谱激光雷 达多通道加权系统，还提供基于spark的高光谱激光雷达多通道加权方法，通过建立基于 spark的高光谱激光雷达海量波形数据多通道加权算法系统，并通过建立spark计算分析框 架，利用高光谱激光雷达多通道加权处理算法，来处理实时或者离线的高光谱激光雷达多通 道海量波形数据，有效的提高高光谱激光雷达波形数据的每个通道、每发脉冲的光谱信息和 距离信息的提取精度以及高光谱激光雷达多通道加权处理算法的运行速率。
4.基于spark的高光谱激光雷达多通道加权系统，包括数据分发层，还包括数据存储层，
5.数据分发层，与高光谱激光雷达采集系统进行交互，用于采集高光谱激光雷达系统的海 量多通道全波形的通道数据，根据光谱通道的不同，高光谱激光雷达系统的海量多通道全波 形的通道数据预分类并发送给数据存储层相应的数据存储层节点，将检索结果及时反馈给用 户；
6.数据存储层包括批量处理层，服务层，以及速度层，
7.在离线的高光谱激光雷达系统海量多通道全波形的通道数据的索引阶段：
8.批量处理层，用于从hdfs分布式文件系统中读取海量的高光谱激光雷达多通道全波形 的通道数据，并对读取的海量高光谱激光雷达多通道全波形的通道数据进行分布式并行预处 理，生成海量噪声数据表和海量波形数据表，对海量波形数据表进行二次分布式并行处理， 生成各光谱通道相应的通道数据，存储在hdfs分布式文件系统中；
9.在实时的高光谱激光雷达系统海量多通道全波形的通道数据索引阶段：
10.服务层，用于从hdfs分布式文件系统中读取海量的实时的高光谱激光雷达多通道全波 形的通道数据，并对读取的实时的海量高光谱激光雷达多通道全波形的通道数据进行分布式 并行预处理，生成海量噪声数据表和海量波形数据表，对海量波形数据表进行二次分布式并 行处理，生成各光谱通道相应的通道数据，存储在hdfs分布式文件系统中，
11.速度层采用sparkstreaming流式处理框架，通过实时查询直接返回服务层和速度层的合 并查询结果，存储在hdfs分布式文件系统中。
12.基于spark的高光谱激光雷达多通道加权系统，还包括数据处理层，用于对数据存储层 的海量噪声数据表、各通道相应的通道数据进行解码，基于高光谱激光雷达海量波形数据多 通道加权处理方法的spark框架，利用基于spark的高光谱激光雷达多通道加权方法，对通 道数据进行分析，输出距离及强度数据集rdd1，存储在hdfs分布式文件系统中；结合点 云合成算法，生成高光谱激光雷达点云数据集rdd2，存储在hdfs分布式文件系统中；对 高光谱激光雷达点云数据集rdd2中的前k个数据进行聚类学习训练，输出机器学习数据集 rdd3，存储在hdfs分布式文件系统中。
13.基于spark的高光谱激光雷达多通道加权系统，还包括数据应用层，用于接收数据应用 层分配的距离及强度数据集rdd1、高光谱激光雷达点云数据集rdd2、以及机器学习数据 集rdd3，设立对应的可视化功能窗口。
14.基于spark的高光谱激光雷达多通道加权方法，包括以下步骤：
15.步骤1、对管理器分配的通道数据进行平滑滤波，输出平滑后的通道数据；
16.步骤2、对平滑的通道数据进行时域校正，输出时域校正后的通道数据；
17.步骤3、对时域校正后的通道数据进行加权累积，输出加权累积后的通道数据；
18.步骤4、对加权累积后的通道数据进行参数提取优化，输出距离数据集与强度数据集。
19.如上所述的步骤2中的时域校正基于以下公式：
20.t
j,i
＝(t
2,j,i-t
j,i”)-(t
1,j-tj')
21.式中，t
j,i
代表时域校正后的第j个光谱通道第i个后向散射回波脉冲的飞行时间；t
2，j,i
代表记录的第j个光谱通道第i个后向散射回波脉冲的时刻，t
j,i”代表第j个光谱通道第i个 后向散射回波脉冲的传播时间误差，t
1，j
代表记录的第j个光谱通道发射脉冲的时刻，tj'代 表第j个光谱通道发射脉冲的传播时间误差。
22.如上所述的步骤3包括以下步骤：
23.步骤3.1、基于以下公式计算时域校正后的通道数据多回波质量值meqj，
24.25.式中，f(x)j代表时域校正后的通道数据，包含发射脉冲与后向散射回波脉冲数据，m 代表波形长度，s
noise,j
表示第j个光谱通道的背景噪声均方差；
26.步骤3.2、建立多通道加权累积模型fa(x)，输出加权累积后的通道数据ch3_index(j)，
[0027][0028][0029]
式中，ωj表示第j个光谱通道的权重；n代表参加累积的光谱通道数；s
noise，j
代表第j 个光谱通道噪声的均方差；fa(x)为多通道加权累积模型；f(x)j代表时域校正后的通道数据， 包含发射脉冲与后向散射回波脉冲数据。
[0030]
如上所述的步骤4包括以下步骤：
[0031]
步骤4.1、建立混合高斯拟合模型；
[0032]
步骤4.2、在加权累积后的通道数据ch3_index(j)中提取待优化发射脉冲参数和待优化 后向散射回波脉冲参数，依据混合高斯拟合模型分别对待优化发射脉冲参数和待优化后向散 射回波脉冲参数进行优化，获得最优发射脉冲参数和最优后向散射回波脉冲参数；
[0033]
步骤4.3、根据最优发射脉冲参数和最优后向散射回波脉冲参数，计算最优后向散射回 波脉冲的中心位置和对应的发射脉冲的中心位置之间的距离。
[0034]
如上所述的步骤4.2包括以下步骤：
[0035]
步骤4.2.1、在加权累积后的通道数据ch3_index(j)中搜索每个光谱通道的发射脉冲强 度的极大值ψ
0,j
；获取每个光谱通道的发射脉冲的极大值ψ
0,j
对应的中心位置x
0,j
；获取发 射脉冲强度极大值ψ
0,j
左右两侧的拐点间距f
0,j
，每个光谱通道的发射脉冲强度的极大值 ψ
0,j
、中心位置x
0,j
、拐点间距f
0,j
构成一组待优化发射脉冲参数；
[0036]
步骤4.2.2、将各组待优化发射脉冲参数依次输入到混合高斯拟合模型中，采用基于非 线性最小二乘曲线拟合的lm算法获得每个光谱通道对应的最优发射脉冲参数，包括最优发 射脉冲强度的极大值ψ'
0,j
、最优中心位置x'
0,j
、拐点间距f'
0,j
；
[0037]
步骤4.2.3、在加权累积后的通道数据ch3_index(j)中搜索每个光谱通道的各个后向散 射回波脉冲强度的极大值ψ
j，i
；获取每个光谱通道的各个后向散射回波脉冲强度的极大值 ψ
j，i
对应的中心位置x
j,i
；获取每个光谱通道的各个后向散射回波脉冲强度的极大值ψ
j，i
左 右两侧的拐点间距f
j,i
，将光谱通道对应的各个后向散射回波脉冲对应的后向散射回波脉冲 强度的极大值ψ
j，i
、中心位置x
j,i
、拐点间距f
j,i
构成一组待优化后向散射回波脉冲参数；
[0038]
步骤4.2.4、多线程同步遍历各个光谱通道，将光谱通道中的各组待优化后向散射回波 脉冲参数输入到混合高斯拟合模型中，采用基于非线性最小二乘曲线拟合的lm算法获得光 谱通道对应的各组优化散射回波脉冲参数，在光谱通道对应的各组优化后向散射
回波脉冲参 数中，将后向散射回波脉冲的幅值小于阈值thrj对应的优化后向散射回波脉冲参数删除，获 得最优后向散射回波脉冲参数，包括后向散射回波脉冲强度的极大值ψ'
j，p
、中心位置x'
j,p
、 拐点间距f'
j,p
。
[0039]
如上所述的混合高斯拟合模型为：
[0040][0041]
其中，fj(t)为第j个光谱通道的混合高斯拟合模型，ψ表示振幅；t表示采样时间；x 表示中心位置；f表示半高宽；s
noise,j
表示第j个光谱通道的噪声均方差。
[0042]
本发明相对于现有技术，具有以下有益效果：
[0043]
1、本发明对高光谱激光雷达海量多通道全波形数据由数据分发到数据应用进行系统操 作，搭建快速查询处理系统，解决了高光谱激光雷达海量多通道波形数据在索引运算阶段效 率低的问题，具有很好的系统性和可扩展性。
[0044]
2、本发明将spark框架与高光谱激光雷达海量多通道波形的通道数据相结合，形成了 基于spark的高光谱激光雷达多通道加权方法的spark并行计算系统，利用多个工作站并行 处理的方式，相比于传统的单线程算法，有效提高了基于spark的高光谱激光雷达海量波形 数据多通道加权算法运行速率，大大提高了高光谱激光雷达海量波形数据多通道加权处理算 法运行速度。
[0045]
3、本方法采用基于spark的高光谱激光雷达多通道加权方法，建立高光谱激光雷达多 通道波形的通道数据时域校正方法，有效地将飞行时间存在偏差的通道数据进行时域统一校 正，整合到后续的数据处理当中；建立多通道加权累积模型，利用强通道的波形脉冲信号定 位弱通道的波形脉冲信号，相比传统单通道波形分解算法，解决了弱回波无法检测以及波形 参数初始化精度不高的问题，大大提高了距离检测、地物分类识别等的精度。
具体实施方式
[0046]
为了便于本领域技术人员理解与实施本发明，下面结合实例对本发明做进一步阐述，应 当理解，此处描述的实施实例仅用于说明和解释本发明，并不限定本发明。本发明可通过另 外不同具体实施方式应用，在没有背离本发明的精神下进行各种修饰。
[0047]
基于高光谱激光雷达海量波形数据多通道加权处理系统，包括数据分发层，数据存储层， 数据处理层，数据应用层，具体如下：
[0048]
数据分发层，与高光谱激光雷达采集系统进行交互，用于采集高光谱激光雷达系统的海 量多通道全波形的通道数据，根据光谱通道的不同，高光谱激光雷达系统的海量多通道全波 形的通道数据预分类并发送给数据存储层相应的数据存储层节点，将检索结果及时反馈给用 户；
[0049]
数据存储层，与数据分发层连接，包括批量处理层，服务层，以及速度层。
[0050]
(1)、在离线的高光谱激光雷达系统海量多通道全波形的通道数据的索引阶段，启动 批量处理层，用于从hdfs分布式文件系统中读取海量的高光谱激光雷达多通道全波形的通 道数据，并对读取的海量高光谱激光雷达多通道全波形的通道数据进行分布式并行预处理。 为了在高光谱激光雷达多通道海量波形的通道数据中挑拣出发射脉冲与对应的
后向散射回波 脉冲，需要对噪声水平进行评估。一般认为背景噪声满足平均背景噪声的标准差的三倍，因 此设置噪声阈值thr来区分信号和噪声。由于背景噪声服从正态分布，发射脉冲之前没有信 号回波，一般选择开始到发射脉冲这段时间长度的噪声计算其平均值m
noise
与均方差s
noise
， 进而计算噪声阈值thr。
[0051]
thrj＝3s
noise,j
+m
noise,j
ꢀꢀꢀ
(1)
[0052]
其中，thrj是第j个光谱通道的噪声阈值，用来区分信号和噪声；s
noise，j
代表第j个光 谱通道的噪声的均方差，m
noise
代表第j个光谱通道的噪声的平均值。
[0053]
当高光谱激光雷达海量波形的通道数据的幅值小于thrj，认为是噪声数据，存储在海量 噪声数据表noise_rdd；
[0054]
当高光谱激光雷达海量波形的通道数据的幅值大于阈值thrj，认为是有效波形数据，存 储在海量波形数据表data_rdd中。生成海量噪声数据表noise_rdd和海量波形数据表 data_rdd，对海量波形数据表data_rdd进行二次分布式并行处理，生成各光谱通道相应的 通道数据ch_rdd(j)，存储在hdfs分布式文件系统中；
[0055]
(2)、在实时的高光谱激光雷达系统海量多通道全波形的通道数据索引阶段，启动服 务层，用于从hdfs分布式文件系统中读取海量的实时的高光谱激光雷达多通道全波形的通 道数据，并对读取的实时的海量高光谱激光雷达多通道全波形的通道数据进行分布式并行预 处理，生成海量噪声数据表noise_rdd和海量波形数据表data_rdd，对海量波形数据表 data_rdd进行二次分布式并行处理，生成各光谱通道相应的通道数据ch_rdd(j)，存储在 hdfs分布式文件系统中；在速度层，可采用sparkstreaming流式处理框架，随着数据量的 增加，通过实时查询直接返回服务层和速度层的合并查询结果，存储在hdfs分布式文件系 统中；
[0056]
所述hdfs分布式文件系统，用于分布式存储海量高光谱激光雷达多通道全波形的通道 数据以及基于spark的高光谱激光雷达海量波形数据多通道加权处理方法所有中间步骤产生 的各类数据表和最终数据集；
[0057]
所述批量处理层，用于对离线的海量高光谱激光雷达多通道全波形的通道数据进行预处 理，对所有通道的高光谱激光雷达海量的通道数据构建查询所对应的噪声索引函数，波形数 据索引函数,以及通道数据索引函数，生成相应的海量噪声数据表noise_rdd，海量波形数 据表data_rdd，以及通道数据ch_index(j)，存储在hdfs分布式文件系统中。
[0058]
所述服务层，是对批量处理层的实时补充，用于对实时的海量多通道全波形的通道数据 进行预处理，对所有光谱通道的高光谱激光雷达海量数据构建查询所对应的噪声索引函数， 波形数据索引函数，以及通道数据索引函数，生成相应的实时的海量噪声数据表noise_rdd，海量波形数据表data_rdd，以及通道数据ch_index(j)，存储在hdfs分布式 文件系统中。
[0059]
所述速度层，采用sparkstreaming流式处理框架，随着通道数据的增加，通过实时查询 直接返回结果，得到服务层和速度层的合并查询结果。
[0060]
数据处理层，与数据存储层连接，用于对数据存储层的海量噪声数据表noise_rdd、 各通道相应的通道数据ch_index(j)进行解码，基于高光谱激光雷达海量波形数据多通道加 权处理方法的spark框架，利用基于高光谱激光雷达海量波形数据多通道加权处理方法，对 通道数据进行分析，输出距离及强度数据集rdd1，存储在hdfs分布式文件系统中；
结合 点云合成算法，生成高光谱激光雷达点云数据集rdd2，存储在hdfs分布式文件系统中； 利用机器学习相关算法，对高光谱激光雷达点云数据集rdd2中的前k个数据进行聚类学习 训练，输出机器学习数据集rdd3，存储在hdfs分布式文件系统中；
[0061]
与数据处理层连接的数据应用层，用于接收数据应用层分配的距离及强度数据集rdd1、 高光谱激光雷达点云数据集rdd2、机器学习数据集rdd3，对应设立空间位置测量功能模 块、地物识别监测功能模块、地物分类功能模块等应用型功能窗口，为用户提供可视化界面。
[0062]
提供实施例的基于高光谱激光雷达海量波形数据多通道加权处理算法的spark框架说明 如下：
[0063]
驱动器，用于运行main函数，创建并启动sparkcontext，搭建spark应用程序所需的运 行环境，从hdfs分布式文件系统中读取高光谱激光雷达多通道数据存储层的索引表 noise_rdd、ch_index(j)，并行分配给执行器；
[0064]
管理器，与驱动器互联，用于控制整个spark集群，监控所有的工作站；驱动器中 sparkcontext向管理器申请注册，申请运行执行器资源；返回所有基于高光谱激光雷达海量 波形数据多通道加权处理方法的spark框架中间环节产生的数据集索引表以及距离及强度数 据集rdd1,存储在hdfs分布式文件系统中。
[0065]
执行器，与管理器互联，用于接收、处理管理器分配的高光谱激光雷达多通道数据存储 层的海量噪声数据表noise_rdd、通道数据ch_index(j)；将各索引表分配到分布式并行工 作站，利用高光谱激光雷达多通道加权处理算法，采用多线程流式并行计算，执行相应工作 任务；各个分布式工作站的中间结果以及距离及强度数据集rdd1汇总后，提交给管理器， 运行完毕后存储到hdfs分布式文件系统中，sparkcontext向管理器注销并释放所有资源；
[0066]
基于spark的高光谱激光雷达多通道加权方法，包括以下步骤：
[0067]
步骤1、波形预处理，具体为:
[0068]
对管理器分配的通道数据进行平滑滤波，通道数据包括离线通道数据ch_index(j)和实 时通道数据表ch_index(j)，离线通道数据ch_index(j)和实时通道数据表ch_index(j)中均 包含发射脉冲与后向散射回波脉冲，具体为：
[0069]
利用低通滤波器遍沥各个光谱通道，滤除各光谱通道的噪声影响，输出平滑后的通道数 据。
[0070]
步骤2、对平滑的通道数据进行时域校正，输出时域校正后的通道数据，具体为:
[0071]
由于不同探测器的响应时间偏差，仪器内多个光谱通道的传播偏差等因素，高光谱激光 雷达后向散射回波脉冲在多个不同的光谱通道之间存在飞行时间差异，需要对多个光谱通道 的后向散射回波脉冲飞行时间进行时域统一校正定标。
[0072]
同一目标在不同光谱通道的波形传播时间存在时间差，目标回波的接收时间等于目标回 波的记录时间与目标回波传播时间误差的差值，发射脉冲的接收时间等于发射脉冲的记录时 间与发射脉冲传播时间误差的差值，目标回波的传播时间以每个光谱通道的发射脉冲接收时 间为基准。对每个光谱通道的回波波形时间进行同步后，对时域统一校准，使所有通道的位 置分布都能整合到后续的数据处理中，
[0073]
t
j,i
＝(t
2,j,i-t
j,i”)-(t
1,j-tj')
ꢀꢀꢀ
(2)
[0074]
式(2)中，t
j,i
代表时域校正后的第j个光谱通道第i个后向散射回波脉冲的飞行时间； t
2，j,i
代表记录的第j个光谱通道第i个后向散射回波脉冲的时刻，一般以后向散射回波脉冲 的中心位置处的时刻为基准；t
j,i”代表第j个光谱通道第i个后向散射回波脉冲的传播时间误 差；t
1，j
代表记录的第j个光谱通道发射脉冲的时刻，一般以发射脉冲的中心位置处的时刻 为基准；tj'代表第j个光谱通道发射脉冲的传播时间误差。
[0075]
步骤3、对时域校正后的通道数据进行加权累积，输出加权累积后的通道数据，具体为：
[0076]
步骤3.1、计算时域校正后的通道数据多回波质量值meqj(multiple echo quality)，
[0077][0078]
式(3)中，meqj表示第j个光谱通道的多回波质量，f(x)j代表时域校正后的通道数 据，包含发射脉冲与后向散射回波脉冲数据，m代表波形长度。s
noise,j
表示第j个光谱通道 的背景噪声均方差。多回波质量值meqj与多回波质量呈现正相关，可以较好地表征高光谱 激光雷达多通道海量多回波数据质量。
[0079]
步骤3.2、建立多通道加权累积模型fa(x)，
[0080]
由于高光谱激光雷达系统通道数较多，其中有些通道的发射脉冲与后向散射回波脉冲信 号较弱，对单一通道进行波形分解，受噪声影响，初始化的波形参数集存在偏差。利用通道 之间的互联性，建立多通道加权累积模型fa(x)，可以利用强信号通道精确定位弱信号通道， 提高波形参数提取精度，
[0081][0082][0083]
式(4)-(5)中，ωj表示第j个光谱通道的权重；n代表参加累积的光谱通道数； s
noise，j
代表第j个光谱通道噪声的均方差；fa(x)为多通道加权累积模型，存储在通道数据 ch3_index(j)中；f(x)j代表时域校正后的通道数据ch2_index(j)，包含发射脉冲与后向散 射回波脉冲数据。
[0084]
如果激光足迹中只存在一个目标，根据各个通道的meqj值，向多通道加权累积模型 fa(x)中降序添加f(x)j；如果激光足迹中存在多个目标，依据式(4)计算每个光谱通道的 权重ωj，提出两种加权累积的情况：第一、每个光谱通道的权重ωj是相同的，根据各个通 道的meqj值，向多通道加权累积模型fa(x)降序添加f(x)j，此加权累加法适用于噪声水平 较低的情况，每个光谱通道数据质量相似，具有较高的计算效率；第二、每个光谱通道的权 重ωj与对应的背景噪声水平成反比，按照式(5)对各光谱通道依次进行加权累积，更有利 于抑制高噪声水平的光谱通道对累积后的通道数据ch3_index(j)的影响。每添加一个光谱通 道的时域校正后的通道数据到通道数据ch2_index(j)，就根据式(3)同步更新新增加的
光 谱通道的多回波质量meqj值，直到新增加的光谱通道的多回波质量meqj值得到改善或所 有光谱通道均参与公式(5)的运算，停止更新并输出加权累积后的通道数据ch3_index(j)。
[0085]
步骤4、对加权累积后的通道数据ch3_index(j)进行参数提取优化，输出距离数据集与 强度数据集rdd1，具体为：
[0086]
步骤4.1、建立混合高斯拟合模型，
[0087]
由于高光谱激光雷达脉冲信号近似高斯分布，同一束激光扫描地物时，光斑可能被不同 的目标所捕获，在后向散射回波波形中会出现多个回波脉冲，可视为多个高斯函数的线性叠 加。传统的高斯分解模型没有考虑多个回波的状态，这可能导致波形参数初始化存在误差。 此处建立混合高斯拟合模型，针对后向散射多回波通道，可以有效提高高光谱激光雷达多通 道海量波形参数提取精度。
[0088][0089]
其中，fj(t)为第j个光谱通道的混合高斯拟合模型，表示拟合后第j个光谱通道的波形 数据；k表示光谱通道的发射脉冲数量或后向散射回波脉冲数量；ψ表示振幅；t为采样时 间；x表示中心位置；f表示半高宽；s
noise,j
表示第j个光谱通道的噪声均方差。
[0090]
步骤4.2、在加权累积后的通道数据ch3_index(j)中提取待优化发射脉冲参数和待优化 后向散射回波脉冲参数，依据混合高斯拟合模型分别对待优化发射脉冲参数和待优化后向散 射回波脉冲参数进行优化，获得最优发射脉冲参数和最优后向散射回波脉冲参数并存入参数 集rdd0中。
[0091]
步骤4.2.1、在加权累积后的通道数据ch3_index(j)中搜索每个光谱通道的发射脉冲强 度的极大值ψ
0,j
；获取每个光谱通道的发射脉冲的极大值ψ
0,j
对应的中心位置x
0,j
；搜索每 个光谱通道中发射脉冲的极大值ψ
0,j
对应的拐点，获取发射脉冲强度极大值ψ
0,j
左右两侧的 拐点间距f
0,j
，每个光谱通道的发射脉冲强度的极大值ψ
0,j
、中心位置x
0,j
、拐点间距f
0,j
构 成一组待优化发射脉冲参数；
[0092]
步骤4.2.2、将各组待优化发射脉冲参数依次输入到混合高斯拟合模型中，即ψ
0,j
代入到 ψ，x
0,j
代入到x，f
0,j
代入到f，采用基于非线性最小二乘曲线拟合的lm算法获得每个 光谱通道对应的最优发射脉冲参数，包括最优发射脉冲强度的极大值ψ'
0,j
、最优中心位置 x'
0,j
、拐点间距f'
0,j
，并存储在优化参数集rdd0_1中；
[0093]
步骤4.2.3、在加权累积后的通道数据ch3_index(j)中搜索每个光谱通道的各个后向散 射回波脉冲强度的极大值ψ
j，i
；获取每个光谱通道的各个后向散射回波脉冲强度的极大值 ψ
j，i
对应的中心位置x
j,i
；搜索每个光谱通道的各个后向散射回波脉冲强度的极大值ψ
j，i
对 应的拐点；获取每个光谱通道的各个后向散射回波脉冲强度的极大值ψ
j，i
左右两侧的拐点间 距f
j,i
，将光谱通道对应的各个后向散射回波脉冲对应的后向散射回波脉冲强度的极大值 ψ
j，i
、中心位置x
j,i
、拐点间距f
j,i
构成一组待优化后向散射回波脉冲参数，每个光谱通道 对应i组待优化后向散射回波脉冲参数；
[0094]
步骤4.2.4、多线程同步遍历各个光谱通道，将光谱通道中的各组待优化后向散射回波 脉冲参数输入到混合高斯拟合模型中，即ψ
j，i
代入到ψ，x
j,i
代入到x，f
j,i
代入到f，采 用基于非线性最小二乘曲线拟合的lm算法获得光谱通道对应的各组优化散射回波脉冲参
数， 在光谱通道对应的各组优化后向散射回波脉冲参数中，将后向散射回波脉冲的幅值小于阈值 thrj对应的优化后向散射回波脉冲参数删除，获得最优后向散射回波脉冲参数，包括后向散 射回波脉冲强度的极大值ψ'
j，p
、中心位置x'
j,p
、拐点间距f'
j,p
，将光谱通道对应的各个最 优后向散射回波脉冲参数存储在优化参数集rdd0_1中；
[0095]
步骤4.3、计算目标的距离，
[0096]
将优化参数集rdd0_1中的最优后向散射回波脉冲的中心位置x'
j,p
和对应的最优发射 脉冲参数中发射脉冲的中心位置x'
0,j
输入式(7)，计算得到最优后向散射回波脉冲的中心 位置x'
j,p
和对应的发射脉冲的中心位置x'
0,j
之间的距离l
j,p
，输出距离及强度数据集 rdd1，
[0097]
l
j,p
＝(x'
j,p-x'
0,j
)
×c÷2ꢀꢀꢀ
(7)
[0098]
其中，l
j,p
表示最优后向散射回波脉冲的中心位置x'
j,p
和对应的发射脉冲的中心位置 x'
0,j
之间的距离；c表示光速。将最优发射脉冲强度的极大值ψ'
0,j
、最优后向散射回波脉冲 强度的极大值ψ'
j，p
、目标的距离l
j,p
依次存储到距离及强度数据集rdd1中。
[0099]
需要指出的是，本发明中所描述的具体实施例仅是对本发明精神作举例说明。本发明所 属技术领域的技术人员可以对所描述的具体实施例作各种各样的修改或补充或采用类似的方 式替代，但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。

技术特征：
1.基于spark的高光谱激光雷达多通道加权系统，包括数据分发层，其特征在于，还包括数据存储层，数据分发层，与高光谱激光雷达采集系统进行交互，用于采集高光谱激光雷达系统的海量多通道全波形的通道数据，根据光谱通道的不同，高光谱激光雷达系统的海量多通道全波形的通道数据预分类并发送给数据存储层相应的数据存储层节点，将检索结果及时反馈给用户；数据存储层包括批量处理层，服务层，以及速度层，在离线的高光谱激光雷达系统海量多通道全波形的通道数据的索引阶段：批量处理层，用于从hdfs分布式文件系统中读取海量的高光谱激光雷达多通道全波形的通道数据，并对读取的海量高光谱激光雷达多通道全波形的通道数据进行分布式并行预处理，生成海量噪声数据表和海量波形数据表，对海量波形数据表进行二次分布式并行处理，生成各光谱通道相应的通道数据，存储在hdfs分布式文件系统中；在实时的高光谱激光雷达系统海量多通道全波形的通道数据索引阶段：服务层，用于从hdfs分布式文件系统中读取海量的实时的高光谱激光雷达多通道全波形的通道数据，并对读取的实时的海量高光谱激光雷达多通道全波形的通道数据进行分布式并行预处理，生成海量噪声数据表和海量波形数据表，对海量波形数据表进行二次分布式并行处理，生成各光谱通道相应的通道数据，存储在hdfs分布式文件系统中，速度层采用sparkstreaming流式处理框架，通过实时查询直接返回服务层和速度层的合并查询结果，存储在hdfs分布式文件系统中。2.根据权利要求1所述的基于spark的高光谱激光雷达多通道加权系统，其特征在于，还包括数据处理层，用于对数据存储层的海量噪声数据表、各通道相应的通道数据进行解码，基于高光谱激光雷达海量波形数据多通道加权处理方法的spark框架，利用基于spark的高光谱激光雷达多通道加权方法，对通道数据进行分析，输出距离及强度数据集rdd1，存储在hdfs分布式文件系统中；结合点云合成算法，生成高光谱激光雷达点云数据集rdd2，存储在hdfs分布式文件系统中；对高光谱激光雷达点云数据集rdd2中的前k个数据进行聚类学习训练，输出机器学习数据集rdd3，存储在hdfs分布式文件系统中。3.根据权利要求2所述的基于spark的高光谱激光雷达多通道加权系统，其特征在于，还包括数据应用层，用于接收数据应用层分配的距离及强度数据集rdd1、高光谱激光雷达点云数据集rdd2、以及机器学习数据集rdd3，设立对应的可视化功能窗口。4.基于spark的高光谱激光雷达多通道加权方法，其特征在于，包括以下步骤：步骤1、对管理器分配的通道数据进行平滑滤波，输出平滑后的通道数据；步骤2、对平滑的通道数据进行时域校正，输出时域校正后的通道数据；步骤3、对时域校正后的通道数据进行加权累积，输出加权累积后的通道数据；步骤4、对加权累积后的通道数据进行参数提取优化，输出距离数据集与强度数据集。5.根据权利要求4所述的基于spark的高光谱激光雷达多通道加权方法，其特征在于，所述的步骤2中的时域校正基于以下公式：t
j,i
＝(t
2,j,i-t
j,i”)-(t
1,j-t
j
')式中，t
j,i
代表时域校正后的第j个光谱通道第i个后向散射回波脉冲的飞行时间；t
2，j,i
代表记录的第j个光谱通道第i个后向散射回波脉冲的时刻，t
j,i”代表第j个光谱通道第i个
后向散射回波脉冲的传播时间误差，t
1，j
代表记录的第j个光谱通道发射脉冲的时刻，t
j
'代表第j个光谱通道发射脉冲的传播时间误差。6.根据权利要求5所述的基于spark的高光谱激光雷达多通道加权方法，其特征在于，所述的步骤3包括以下步骤：步骤3.1、基于以下公式计算时域校正后的通道数据多回波质量值meq
j
，式中，f(x)
j
代表时域校正后的通道数据，包含发射脉冲与后向散射回波脉冲数据，m代表波形长度，s
noise,j
表示第j个光谱通道的背景噪声均方差；步骤3.2、建立多通道加权累积模型f
a
(x)，输出加权累积后的通道数据ch3_index(j)，(x)，输出加权累积后的通道数据ch3_index(j)，式中，ω
j
表示第j个光谱通道的权重；n代表参加累积的光谱通道数；s
noise，j
代表第j个光谱通道噪声的均方差；f
a
(x)为多通道加权累积模型；f(x)
j
代表时域校正后的通道数据，包含发射脉冲与后向散射回波脉冲数据。7.根据权利要求6所述的基于spark的高光谱激光雷达多通道加权方法，其特征在于，所述的步骤4包括以下步骤：步骤4.1、建立混合高斯拟合模型；步骤4.2、在加权累积后的通道数据ch3_index(j)中提取待优化发射脉冲参数和待优化后向散射回波脉冲参数，依据混合高斯拟合模型分别对待优化发射脉冲参数和待优化后向散射回波脉冲参数进行优化，获得最优发射脉冲参数和最优后向散射回波脉冲参数；步骤4.3、根据最优发射脉冲参数和最优后向散射回波脉冲参数，计算最优后向散射回波脉冲的中心位置和对应的发射脉冲的中心位置之间的距离。8.根据权利要求7所述的基于spark的高光谱激光雷达多通道加权方法，其特征在于，所述的步骤4.2包括以下步骤：步骤4.2.1、在加权累积后的通道数据ch3_index(j)中搜索每个光谱通道的发射脉冲强度的极大值ψ
0,j
；获取每个光谱通道的发射脉冲的极大值ψ
0,j
对应的中心位置x
0,j
；获取发射脉冲强度极大值ψ
0,j
左右两侧的拐点间距f
0,j
，每个光谱通道的发射脉冲强度的极大值ψ
0,j
、中心位置x
0,j
、拐点间距f
0,j
构成一组待优化发射脉冲参数；步骤4.2.2、将各组待优化发射脉冲参数依次输入到混合高斯拟合模型中，采用基于非线性最小二乘曲线拟合的lm算法获得每个光谱通道对应的最优发射脉冲参数，包括最优发射脉冲强度的极大值ψ'
0,j
、最优中心位置x'
0,j
、拐点间距f'
0,j
；步骤4.2.3、在加权累积后的通道数据ch3_index(j)中搜索每个光谱通道的各个后向散射回波脉冲强度的极大值ψ
j，i
；获取每个光谱通道的各个后向散射回波脉冲强度的极大
值ψ
j，i
对应的中心位置x
j,i
；获取每个光谱通道的各个后向散射回波脉冲强度的极大值ψ
j，i
左右两侧的拐点间距f
j,i
，将光谱通道对应的各个后向散射回波脉冲对应的后向散射回波脉冲强度的极大值ψ
j，i
、中心位置x
j,i
、拐点间距f
j,i
构成一组待优化后向散射回波脉冲参数；步骤4.2.4、多线程同步遍历各个光谱通道，将光谱通道中的各组待优化后向散射回波脉冲参数输入到混合高斯拟合模型中，采用基于非线性最小二乘曲线拟合的lm算法获得光谱通道对应的各组优化散射回波脉冲参数，在光谱通道对应的各组优化后向散射回波脉冲参数中，将后向散射回波脉冲的幅值小于阈值thr
j
对应的优化后向散射回波脉冲参数删除，获得最优后向散射回波脉冲参数，包括后向散射回波脉冲强度的极大值ψ'
j，p
、中心位置x'
j,p
、拐点间距f'
j,p
。9.根据权利要求8所述的基于spark的高光谱激光雷达多通道加权方法，其特征在于，所述的混合高斯拟合模型为：其中，f
j
(t)为第j个光谱通道的混合高斯拟合模型，ψ表示振幅；t表示采样时间；x表示中心位置；f表示半高宽；s
noise,j
表示第j个光谱通道的噪声均方差。

技术总结
本发明公开了基于Spark的高光谱激光雷达多通道加权系统，包括数据分发层，还包括数据存储层，数据存储层包括批量处理层，服务层，以及速度层，本发明还公开了基于Spark的高光谱激光雷达多通道加权方法，对管理器分配的通道数据进行平滑滤波，输出平滑后的通道数据；对平滑的通道数据进行时域校正，输出时域校正后的通道数据；对时域校正后的通道数据进行加权累积，输出加权累积后的通道数据；对加权累积后的通道数据进行参数提取优化，输出距离数据集与强度数据集。本发明有效的提高高光谱激光雷达波形数据的每个通道、每发脉冲的光谱信息和距离信息的提取精度以及高光谱激光雷达多通道加权处理算法的运行速率。通道加权处理算法的运行速率。


技术研发人员：厚霞霞 冉艳红 王滨辉 刘中正 陈振威 宋沙磊
受保护的技术使用者：中国科学院精密测量科学与技术创新研究院
技术研发日：2022.03.29
技术公布日：2022/7/5