1.本发明涉及激光雷达技术领域，具体地，涉及一种基于自监督结构的点云超频采样方法及系统。
背景技术：2.激光雷达(laser radar)，是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号(激光束),然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较,作适当处理后,就可获得目标的有关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数,从而对飞机、导弹等目标进行探测、跟踪和识别。它由激光发射机、光学接收机、转台和信息处理系统等组成，激光器将电脉冲变成光脉冲发射出去，光接收机再把从目标反射回来的光脉冲还原成电脉冲，送到显示器。
3.在自动驾驶等场景中，激光雷达的低采样频率限制了多传感器融合的效率，进而影响感知系统的精度。激光雷达的采集频率通常为10～20赫兹，而rgb相机、惯性测量单元等传感器的采集频率能达到100赫兹以上，较大的采集频率差距影响了多传感器信息融合的效率，因此提升激光雷达采集频率的需求是迫切的。
4.专利文献cn111458724a公开了一种适用于自动驾驶的激光雷达点云成像装置和方法。其中，对于每辆汽车，所述装置包括一个输出波长可调的激光器、定位系统和探测系统；所述激光器用于产生探测光信号并传输至每个探测点；所述探测系统在每个探测点基于探测光信号进行空间扫描探测，并将各探测点的空间点云数据合并得到汽车周围的空间点云信息；所述定位系统用于实时检测对应汽车的位置并发送至云端服务器，当云端服务器识别到多辆汽车相互之间的距离小于预设间距时，控制所述多辆汽车上对应的激光器分别协调至不同波长。但该方法并未涉及提升激光雷达采集频率的问题。
技术实现要素：5.针对现有技术中的缺陷，本发明的目的是提供一种基于知识图谱的网络攻击安全风险评估方法及系统。
6.根据本发明提供的一种基于自监督结构的点云超频采样方法，包括：
7.点云嵌入步骤：根据激光雷达采集到的初始点云序列中相邻的两帧点云数据，得到对应的粗糙中间帧点云；
8.特征聚合步骤：对粗糙中间帧点云的局部几何分布进行重构，得到预测中间帧点云；
9.训练步骤：根据预测中间帧点云和自监督方法进行训练，得到点云超频采样模型。
10.优选地，还包括：
11.推断步骤：通过点云超频采样模型，对初始点云序列进行插帧，得到插帧后的点云序列。
12.优选地，点云嵌入步骤，包括：
13.点云嵌入子步骤1：根据激光雷达采集到的初始点云序列中相邻的两帧点云数据，得到起始帧点云和末尾帧点云；
14.点云嵌入子步骤2：通过场景流预测器对起始帧点云和末尾帧点云进行处理，得到起始中间帧点云和末尾中间帧点云；
15.点云嵌入子步骤3：通过自适应采样法对起始中间帧点云和末尾中间帧点云进行处理，得到粗糙中间帧点云。
16.优选地，特征聚合步骤，包括：
17.特征聚合子步骤1：以粗糙中间帧点云为中心进行最近邻搜索处理，并通过自注意力机制，得到粗糙中间帧点云对应的特征向量；
18.特征聚合子步骤2：根据特征向量和全连接层，得到预测中间帧点云。
19.优选地，训练步骤，包括：
20.训练子步骤1：通过预测中间帧点云、起始中间帧点云和末尾中间帧点云，构建空间一致性损失函数；
21.训练子步骤2：通过预测中间帧点云、起始帧点云和末尾帧点云，构建时序一致性损失函数；
22.训练子步骤3：对空间一致性损失函数和时序一致性损失函数进行联合优化，得到点云超频采样模型。
23.根据本发明提供的一种基于自监督结构的点云超频采样系统，包括：
24.点云嵌入模块：根据激光雷达采集到的初始点云序列中相邻的两帧点云数据，得到对应的粗糙中间帧点云；
25.特征聚合模块：对粗糙中间帧点云的局部几何分布进行重构，得到预测中间帧点云；
26.训练模块：根据预测中间帧点云和自监督方法进行训练，得到点云超频采样模型。
27.优选地，还包括：
28.推断模块：通过点云超频采样模型，对初始点云序列进行插帧，得到插帧后的点云序列。
29.优选地，点云嵌入模块，包括：
30.点云嵌入子模块m1：根据激光雷达采集到的初始点云序列中相邻的两帧点云数据，得到起始帧点云和末尾帧点云；
31.点云嵌入子模块m2：通过场景流预测器对起始帧点云和末尾帧点云进行处理，得到起始中间帧点云和末尾中间帧点云；
32.点云嵌入子模块m3：通过自适应采样法对起始中间帧点云和末尾中间帧点云进行处理，得到粗糙中间帧点云。
33.优选地，特征聚合模块，包括：
34.特征聚合子模块m1：以粗糙中间帧点云为中心进行最近邻搜索处理，并通过自注意力机制，得到粗糙中间帧点云对应的特征向量；
35.特征聚合子模块m2：根据特征向量和全连接层，得到预测中间帧点云。
36.优选地，训练模块，包括：
37.训练子模块m1：通过预测中间帧点云、起始中间帧点云和末尾中间帧点云，构建空
间一致性损失函数；
38.训练子模块m2：通过预测中间帧点云、起始帧点云和末尾帧点云，构建时序一致性损失函数；
39.训练子模块m3：对空间一致性损失函数和时序一致性损失函数进行联合优化，得到点云超频采样模型。
40.与现有技术相比，本发明具有如下的有益效果：
41.1、本发明通过对激光雷达获取的低帧率点云序列进行插帧得到高帧率点云序列，解决了激光雷达采样频率低的问题，提升了多传感器信息融合的效率。
42.2、本发明提出了新的自监督训练方法，可以在不需要真值中间帧点云的条件下对系统进行训练，解决了在高目标帧率和不同运动条件下，点云插帧系统缺乏真值中间帧点云监督的问题。
43.3、本发明直接对激光雷达获取的点云序列进行插帧，保留了激光雷达的可视范围广等优点。
44.4、本发明在自监督结构下，训练阶段可以适应高目标帧率和非线性运动假设下的插帧。
附图说明
45.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
46.图1为本发明的流程示意图；
47.图2为本发明的点云嵌入的示意图；
48.图3为本发明的特征聚合的示意图；
49.图4为本发明的自监督训练的示意图；
50.图5为本发明的结构示意图。
具体实施方式
51.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
52.图1为本发明的流程示意图，如图1所示，本发明提供了一种基于自监督结构的点云超频采样方法，包括如下步骤：
53.点云嵌入步骤：根据激光雷达采集到的初始点云序列中相邻的两帧点云数据，得到对应的粗糙中间帧点云。
54.其中，点云嵌入步骤，包括：点云嵌入子步骤1：根据激光雷达采集到的初始点云序列中相邻的两帧点云数据，得到起始帧点云和末尾帧点云；点云嵌入子步骤2：通过场景流预测器对起始帧点云和末尾帧点云进行处理，得到起始中间帧点云和末尾中间帧点云；点云嵌入子步骤3：通过自适应采样法对起始中间帧点云和末尾中间帧点云进行处理，得到粗糙中间帧点云。
55.可知的是，激光雷达的采集频率通常为10～20赫兹，而rgb相机和惯性测量单元等传感器的采集频率能达到100赫兹以上，较大的采集频率差距影响了多传感器信息融合的效率，因此提升激光雷达采集频率的需求是迫切的。
56.在本发明中通过生成粗糙中间帧点云的方式来弥补激光雷达和其他传感器的频率差，进而提升多传感器信息融合的效率。
57.图2为本发明的点云嵌入的示意图，如图2所示，首先，我们需要在较大规模的激光雷达公开数据集上预训练一个场景流预测器以建模帧间的三维运动场。预训练完成后，以激光雷达获取的低帧率初始点云序列中的相邻两帧点云为输入，通过场景流预测器建模激光雷达点云序列的帧间三维运动场，并基于三维运动场将起始帧点云和末尾帧点云移动至给定时间戳对应的物理空间中的位置，得到起始中间帧点云和末尾中间帧点云。起始中间帧点云和末尾中间帧点云与起始帧点云和末尾帧点云在几何分布上具有一致性。紧接着，利用自适应采样法在起始中间帧点云和末尾中间帧点云分别随机采样n
0,t
和n
1,t
个点，得到粗糙中间帧点云。
58.可选地，n
0,t
可以通过公式(1)确定，n
1,t
可以通过公式(2)确定。
59.n
0,t
＝(1-m(t))
·
n；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
60.n
1,t
＝m(t)
·
n；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
61.其中，n表示每帧激光雷达点云帧中点的数量；m(t)表示运动函数，在线性运动假设下m(t)＝v0t；v0表示速度；t表示时间。自适应采样使得粗糙中间帧点云保留了部分起始帧点云和末尾帧点云的分布，当中间时刻更靠近起始帧时，粗糙中间帧点云在分布上更靠近起始帧点云。相反，粗糙中间帧点云在分布上更靠近末尾帧点云。
62.本发明中对于数据集的类型不做限制，示例性的，可以为kitti(karlsruhe institute of technology and toyota technological institute)数据集。
63.特征聚合步骤：对粗糙中间帧点云的局部几何分布进行重构，得到预测中间帧点云。
64.其中，特征聚合步骤，包括：特征聚合子步骤1：以粗糙中间帧点云为中心进行最近邻搜索处理，并通过自注意力机制，得到粗糙中间帧点云对应的特征向量；特征聚合子步骤2：根据特征向量和全连接层，得到预测中间帧点云。
65.可知的是，在点云嵌入步骤中通过生成粗糙中间帧点云的方式在一定程度上弥补了激光雷达传感器和其他传感器之间的频率差距，但由于随机采样带有不确定性，粗糙中间帧点云的局部几何分布会遭到一定程度的破坏，因此我们在特征聚合步骤中对粗糙中间帧点云的局部几何分布进行重构，最终生成高质量的预测中间帧点云，真正意义上实现激光雷达采集频率的提升。
66.图3为本发明的特征聚合的示意图，如图3所示，以粗糙中间帧点云中每个点为中心进行最近邻搜索处理，向起始中间帧点云和末尾中间帧点云分别采样k
0,t
和k
1,t
个点。
67.具体地，k
0,t
可以通过公式(3)确定；k
1,t
可以通过公式(4)确定。
68.k
0,t
＝(1-m(t))
·
k；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
69.k
1,t
＝m(t)
·
k；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
70.其中，k表示最近邻搜索的总点数。
71.进一步地，通过中心点与近邻点的欧式距离，位移向量来构建局部特征编码，并通
过自注意力机制得到描述中心点附近局部几何信息的特征向量。基于该特征向量，通过全连接层预测了由粗糙中间帧点云中的中心点向目标分布微调的残差项，并以残差连接的方式将该残差项加和至中心点来得到最终的预测中间帧点云。
72.训练步骤：根据预测中间帧点云和自监督方法进行训练，得到点云超频采样模型。
73.其中，训练步骤，包括：训练子步骤1：通过预测中间帧点云、起始中间帧点云和末尾中间帧点云，构建空间一致性损失函数；训练子步骤2：通过预测中间帧点云、起始帧点云和末尾帧点云，构建时序一致性损失函数；训练子步骤3：对空间一致性损失函数和时序一致性损失函数进行联合优化，得到点云超频采样模型。
74.可知的是，在全监督条件下，能实现的目标帧率上限仅为激光雷达的原始采集频率。因此，本发明提出了一种自监督训练策略，使得训练过程不需要真值帧作为监督条件，进而解决了目标帧率存在上限的问题。
75.图4为本发明的自监督训练的示意图，如图4所示，自监督损失分为两部分，第一部分为空间一致性损失函数，第二部分为时序一致性损失函数。通过自监督训练，我们在不需要真值监督的情况下仍能对网络进行有效训练，使得预测中间帧点云的分布与真值中间帧点云的分布相接近。对于第一部分，我们通过优化预测中间帧点云与起始中间帧点云和末尾中间帧点云之间的倒角距离来使预测中间帧点云分布符合真实情况下的中间帧点云分布。
[0076][0077][0078]
其中，d
cd
(*)表示倒角距离；s1表示预测中间帧点云集合；s2表示真值中间帧点云集合；x表示预测中间帧点云集合中的点；y表示真值中间帧集合中的点；l
local
表示空间一致性损失函数；表示预测中间帧点云；p
0,t
和p
1,t
分别表示起始中间帧点云和末尾中间帧点云。
[0079]
对于第二部分，我们将预测中间帧点云通过场景流预测器移动至起始帧点云和末尾帧点云相对应的位置，得到预测起始帧点云和预测末尾帧点云，并优化起始帧点云和预测末尾帧点云与起始帧点云和末尾帧点云间的倒角距离。
[0080]
具体地，第二部分的时序一致性损失函数可以通过公式(7)表示：
[0081]
l
time
＝(1-m(t))
·dcd
(p
t,0
,p0)+m(t)
·dcd
(p
t,1
,p1)；
ꢀꢀꢀꢀꢀꢀ
(7)
[0082]
其中，pt
,0
和pt
,1
分别表示预测起始帧点云和预测末尾帧点云；p0和p1分别表示起始帧点云和末尾帧点云。
[0083]
最终，通过联合优化第一部分和第二部分的损失函数来实现自监督训练，得到点云超频采样模型。
[0084]
具体地，通过空间一致性损失函数和时序一致性损失函数构建联合自监督损失函数，对联合自监督损失函数进行优化。联合自监督损失函数可以通过公式(8)确定。
[0085]
l＝α
·
l
local
+β
·
l
time
；
ꢀꢀꢀꢀꢀꢀ
(8)
[0086]
其中，α和β分别表示空间一致性损失函数和时序一致性损失函数的权重。
[0087]
进一步地，本发明中还包括：推断步骤：通过点云超频采样模型，对初始点云序列进行插帧，得到插帧后的点云序列。
[0088]
本发明还提供了一种基于自监督结构的点云超频采样系统，包括如下模块：
[0089]
点云嵌入模块：根据激光雷达采集到的初始点云序列中相邻的两帧点云数据，得到对应的粗糙中间帧点云。
[0090]
其中，点云嵌入模块，包括：点云嵌入子模块m1：根据激光雷达采集到的初始点云序列中相邻的两帧点云数据，得到起始帧点云和末尾帧点云；点云嵌入子模块m2：通过场景流预测器对起始帧点云和末尾帧点云进行处理，得到起始中间帧点云和末尾中间帧点云；点云嵌入子模块m3：通过自适应采样法对起始中间帧点云和末尾中间帧点云进行处理，得到粗糙中间帧点云。
[0091]
特征聚合模块：对粗糙中间帧点云的局部几何分布进行重构，得到预测中间帧点云。
[0092]
其中，特征聚合模块，包括：特征聚合子模块m1：以粗糙中间帧点云为中心进行最近邻搜索处理，并通过自注意力机制，得到粗糙中间帧点云对应的特征向量；特征聚合子模块m2：根据特征向量和全连接层，得到预测中间帧点云。
[0093]
训练模块：根据预测中间帧点云和自监督方法进行训练，得到点云超频采样模型。
[0094]
其中，训练模块，包括：训练子模块m1：通过预测中间帧点云、起始中间帧点云和末尾中间帧点云，构建空间一致性损失函数；训练子模块m2：通过预测中间帧点云、起始帧点云和末尾帧点云，构建时序一致性损失函数；训练子模块m3：对空间一致性损失函数和时序一致性损失函数进行联合优化，得到点云超频采样模型。
[0095]
进一步地，基于自监督结构的点云超频采样系统，还包括：推断模块：通过点云超频采样模型，对初始点云序列进行插帧，得到插帧后的点云序列。
[0096]
图5为本发明的结构示意图，如图5所示，取激光雷达获取的初始点云序列中相邻的两帧，得到起始帧点云和末尾帧点云，通过点云嵌入模块生成粗糙中间帧，并得到对应的起始中间帧点云和末尾中间帧点云，粗糙中间帧点云经过特征聚合模块恢复局部几何特征，得到预测中间帧点云，并在自监督结构下进行不需要真值监督的训练，遍历激光雷达获取的初始点云序列，最终得到将低帧率点云序列插帧后的高帧率点云序列，提升了多传感器信息融合的效率。
[0097]
本发明解决的技术问题是：
[0098]
1、在自动驾驶等场景中，激光雷达的低采样频率限制了多传感器融合的效率，进而影响感知系统的精度。
[0099]
2、通过对深度相机获取的深度图插帧间接实现点云序列插帧，相比激光雷达获取的点云序列可视范围窄。
[0100]
3、使用全监督结构进行训练，故训练阶段插帧上限为激光雷达的原始采样频率，在高目标帧率和非线性运动假设条件下插帧得到点云序列质量不佳。。
[0101]
本发明的技术原理是：
[0102]
本发明以激光雷达获取的低帧率点云序列中的相邻两帧点云为输入，通过点云嵌入模块生成粗糙中间帧点云，粗糙中间帧点云经过特征聚合模块恢复局部几何特征，并在自监督结构下进行不需要真值监督的训练，最终得到将低帧率点云序列插帧后的高帧率点云序列，提升了多传感器信息融合的效率。
[0103]
与现有技术相比，本发明具有以下有益效果：
[0104]
1、本发明通过直接对激光雷达获取的点云序列进行插帧，保留了激光雷达的可视范围广等优点。
[0105]
2、本发明在自监督结构下，训练阶段可以适应高目标帧率和非线性运动假设下的插帧。
[0106]
3、本发明通过对激光雷达获取的低帧率点云序列进行插帧得到高帧率点云序列，解决了激光雷达采样频率低的问题，提升了多传感器信息融合的效率。
[0107]
4、本发明可以在不需要真值中间帧点云的条件下对系统进行训练，解决了在高目标帧率和不同运动条件下，点云插帧系统缺乏真值中间帧点云监督的问题。
[0108]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法子模块m进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0109]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。
技术特征：1.一种基于自监督结构的点云超频采样方法，其特征在于，包括：点云嵌入步骤：根据激光雷达采集到的初始点云序列中相邻的两帧点云数据，得到对应的粗糙中间帧点云；特征聚合步骤：对所述粗糙中间帧点云的局部几何分布进行重构，得到预测中间帧点云；训练步骤：根据所述预测中间帧点云和自监督方法进行训练，得到点云超频采样模型。2.根据权利要求1所述的基于自监督结构的点云超频采样方法，其特征在于，所述方法，还包括：推断步骤：通过所述点云超频采样模型，对所述初始点云序列进行插帧，得到插帧后的点云序列。3.根据权利要求1所述的基于自监督结构的点云超频采样方法，其特征在于，所述点云嵌入步骤，包括：点云嵌入子步骤1：根据激光雷达采集到的初始点云序列中相邻的两帧点云数据，得到起始帧点云和末尾帧点云；点云嵌入子步骤2：通过场景流预测器对所述起始帧点云和所述末尾帧点云进行处理，得到起始中间帧点云和末尾中间帧点云；点云嵌入子步骤3：通过自适应采样法对所述起始中间帧点云和所述末尾中间帧点云进行处理，得到所述粗糙中间帧点云。4.根据权利要求1所述的基于自监督结构的点云超频采样方法，其特征在于，所述特征聚合步骤，包括：特征聚合子步骤1：以所述粗糙中间帧点云为中心进行最近邻搜索处理，并通过自注意力机制，得到所述粗糙中间帧点云对应的特征向量；特征聚合子步骤2：根据所述特征向量和全连接层，得到所述预测中间帧点云。5.根据权利要求1或3所述的基于自监督结构的点云超频采样方法，其特征在于，所述训练步骤，包括：训练子步骤1：通过所述预测中间帧点云、所述起始中间帧点云和所述末尾中间帧点云，构建空间一致性损失函数；训练子步骤2：通过所述预测中间帧点云、所述起始帧点云和所述末尾帧点云，构建时序一致性损失函数；训练子步骤3：对所述空间一致性损失函数和所述时序一致性损失函数进行联合优化，得到所述点云超频采样模型。6.一种基于自监督结构的点云超频采样系统，其特征在于，包括：点云嵌入模块：根据激光雷达采集到的初始点云序列中相邻的两帧点云数据，得到对应的粗糙中间帧点云；特征聚合模块：对所述粗糙中间帧点云的局部几何分布进行重构，得到预测中间帧点云；训练模块：根据所述预测中间帧点云和自监督方法进行训练，得到点云超频采样模型。7.根据权利要求6所述的基于自监督结构的点云超频采样系统，其特征在于，所述系统，还包括：
推断模块：通过所述点云超频采样模型，对所述初始点云序列进行插帧，得到插帧后的点云序列。8.根据权利要求6所述的基于自监督结构的点云超频采样系统，其特征在于，所述点云嵌入模块，包括：点云嵌入子模块m1：根据激光雷达采集到的初始点云序列中相邻的两帧点云数据，得到起始帧点云和末尾帧点云；点云嵌入子模块m2：通过场景流预测器对所述起始帧点云和所述末尾帧点云进行处理，得到起始中间帧点云和末尾中间帧点云；点云嵌入子模块m3：通过自适应采样法对所述起始中间帧点云和所述末尾中间帧点云进行处理，得到所述粗糙中间帧点云。9.根据权利要求6所述的基于自监督结构的点云超频采样系统，其特征在于，所述特征聚合模块，包括：特征聚合子模块m1：以所述粗糙中间帧点云为中心进行最近邻搜索处理，并通过自注意力机制，得到所述粗糙中间帧点云对应的特征向量；特征聚合子模块m2：根据所述特征向量和全连接层，得到所述预测中间帧点云。10.根据权利要求6或8所述的基于自监督结构的点云超频采样系统，其特征在于，所述训练模块，包括：训练子模块m1：通过所述预测中间帧点云、所述起始中间帧点云和所述末尾中间帧点云，构建空间一致性损失函数；训练子模块m2：通过所述预测中间帧点云、所述起始帧点云和所述末尾帧点云，构建时序一致性损失函数；训练子模块m3：对所述空间一致性损失函数和所述时序一致性损失函数进行联合优化，得到所述点云超频采样模型。
技术总结本发明提供了一种基于自监督结构的点云超频采样方法及系统，包括：点云嵌入步骤：根据激光雷达采集到的初始点云序列中相邻的两帧点云数据，得到对应的粗糙中间帧点云；特征聚合步骤：对粗糙中间帧点云的局部几何分布进行重构，得到预测中间帧点云；训练步骤：根据预测中间帧点云和自监督方法进行训练，得到点云超频采样模型。与现有技术相比，本发明以激光雷达获取的低帧率点云序列中的相邻两帧点云为输入，首先生成粗糙中间帧，然后恢复局部几何特征，并在自监督结构下进行不需要真值监督的训练，最终得到将低帧率点云序列插帧后的高帧率点云序列，提升了多传感器信息融合的效率。提升了多传感器信息融合的效率。提升了多传感器信息融合的效率。
技术研发人员：乐心怡 徐嘉文 陈彩莲
受保护的技术使用者：上海交通大学
技术研发日：2022.03.16
技术公布日：2022/7/5
