1.本发明属于多旋翼无人机降落技术，特别涉及一种基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法。
背景技术：2.多旋翼无人机的精准降落技术，是为了解决多旋翼无人机自身的基于gps定位点降落时误差偏大的问题。一般情况下，由于gps定位的误差问题，多旋翼无人机自身的基于gps定位的降落技术，落地误差可能达到半径3米甚至更大。而在一些应用中，需要多旋翼无人机的降落点距离实际降落点的误差必须控制在指定的范围内，例如误差半径为0.2米。下文中，所提及的精准降落就是指降落点误差半径必须控制在指定范围内的降落技术。
3.需要多旋翼无人机精准降落的应用场景很多，一个典型的应用就是多旋翼无人机全自动化飞行任务的管理。在这种飞行任务全自动管理应用中，无人机用户可以先使用软件，例如在无人机的遥控器上设置飞行航点、航线，以及在每个航点所需进行任务，然后设定无人机的降落地点的gps坐标。之后，无人机按照设定的航点、航线执行任务，一旦执行任务完毕，无人机自动返航到设定的gps坐标位置。为了配合地面无人机自动管理系统的工作，例如通过智能机器人将无人机收纳到停机舱内，或为无人机自动换电池等，需要缩小无人机实际降落点与目标降落地点之间的误差距离，要求无人机精准降落在预设的位置，且误差必须满足指定的需求。
4.因此，需要多旋翼无人机精准降落技术控制无人机的降落位置满足要求。
技术实现要素：5.本发明的目的在于提供一种提高多旋翼无人机降落精度的基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法。
6.本发明的目的通过如下的技术方案来实现：一种基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法，具体包括以下步骤：
7.s1、在目标降落点安装闪烁点光源；
8.s2、在多旋翼无人机上安装相机和雷达，其中，相机位于无人机底面中心位置；
9.s3、当无人机到达距离目标降落点的预设高度时，启动雷达检测无人机距离目标降落点的高度，并同时启动相机拍摄目标降落点的图像，且相机在一个拍摄周期内拍摄得到至少一张闪烁点光源处于点亮状态的图像和至少一张闪烁点光源处于熄灭状态的图像；
10.s4、将拍摄得到的图像转化为黑白二值化图像，并做两两减法运算得到差值结果图像，差值结果图像中的白色点代表目标降落点，从差值结果图像中找到白色点最多的图像作为目标差值结果图像；
11.s5、计算目标差值结果图像中所有白色点的中心点在图像中的坐标位置，该坐标位置即为目标降落点的位置；
12.s6、建立无人机所在位置与目标降落点位置的关系模型，根据该关系模型计算无
人机在水平x方向和竖直y方向的移动距离以使无人机位于目标降落点的正上方，再控制无人机降落至目标降落点。
13.本发明可以提高多旋翼无人机降落精度，使无人机的降落位置满足要求，且本发明使用闪烁点光源引导无人机着陆，具有较好的抗干扰能力。另外，本发明实现简单，适用范围广，可以应用于多种多旋翼无人机的精准降落。
14.本发明所述闪烁点光源位于目标降落点的中心点位置，或者以目标降落点的中心点位置为中心，围绕此中心安装多个闪烁点光源，以克服单光源失效问题。
15.本发明所述闪烁点光源是近红外闪烁光。
16.本发明所述预设高度是8m～15m。
17.为了实现相机在一个拍摄周期内拍摄得到至少一张闪烁点光源处于点亮状态的图像和至少一张闪烁点光源处于熄灭状态的图像，本发明在所述步骤s3中，根据闪烁点光源的闪烁频率确定相机拍摄图像的频率：
18.设闪烁点光源的闪烁频率为f1，相机拍摄图像的频率为f2，则f1、f2满足如下约束关系：
19.f2＞f1，且f1＞2 and f1≠n*f1
ꢀꢀ
公式
⑴
20.其中，n为大于或等于1的正整数。
21.为了加快对所拍摄图像的处理效率，f2在满足公式
⑴
所要求的约束条件的同时，采用下面的公式确定f2的值：
22.f2＝argminf(f＞f1,f1＞2 and f≠n
×
f1)
ꢀꢀ
公式
⑵
23.本发明在所述步骤s4中，将拍摄得到的每幅图像先转换为灰度图像，再将得到的灰度图像转换为黑白二值化图像。
24.本发明在所述步骤s4中，由以下公式计算找到目标差值结果图像：
[0025][0026]
式中，i是目标差值结果图像的编号；height是图像的高度；width是图像的宽度；diffi是第i幅差值结果图像；n是差值结果图像的数量；x，y是以图像的左上角为原点建立图像坐标系中的坐标。
[0027]
本发明以目标差值结果图像的左上角为原点建立图像坐标系，x轴向右为正，y轴向下为正，计算目标差值结果图像中白色点的中心点在图像中的坐标位置：
[0028][0029][0030][0031]
式中，count是图像中白色点的数量；x、y是坐标位置；diffi是目标差值结果图像。
[0032]
本发明所述无人机所在位置与目标降落点位置的关系模型通过以下步骤获得：
[0033]
1、一般来说，目标差值结果图像是长方形图片，将无人机看成一个质点，则无人机处于图像中心位置的正上方，设无人机所处位置为a，图像中心位置为o，图像中心到短边垂线的垂足为c，已知目标降落点坐标(x、y)、相机的可视角度α和无人机距离目标降落点的垂
直高度h，如图1所示，则o点和c点之间的距离l
oc
：
[0034][0035]
2、计算图像每像素表示的实际物理长度l
pixel
：
[0036][0037]
3、以目标差值结果图像的左上角为原点建立图像坐标系，x轴向右为正，y轴向下为正，计算无人机x轴移动分量x
horizontal
和y轴移动分量y
vertical
：
[0038][0039][0040]
即得到无人机在x轴方向和y轴方向的移动距离。
[0041]
本发明所述无人机根据x
horizontal
及y
vertical
移动位置，使其处于目标降落点的正上方，再控制无人机降落至目标降落点，该控制方式是：直接指令无人机垂直降落至目标降落点，或者指令无人机垂直下降一段距离，再次根据x
horizontal
及y
vertical
移动位置，再垂直下降至目标降落点。
[0042]
与现有技术相比，本发明具有如下显著的效果：
[0043]
⑴
本发明可以提高多旋翼无人机降落精度，使无人机的降落位置满足要求。
[0044]
⑵
本发明使用闪烁点光源引导无人机着陆，具有较好的抗干扰能力。
[0045]
⑶
本发明有可靠的数学模型支撑，稳定可靠性强。
[0046]
⑷
本发明实现简单，适用范围广，可以应用于多种多旋翼无人机的精准降落。
附图说明
[0047]
下面结合附图和具体实施例对本发明作进一步的详细说明。
[0048]
图1是本发明建立无人机所在位置与目标降落点位置的关系模型示意图；
[0049]
图2是相机拍摄得到的图像；
[0050]
图3是对图2中相机拍摄得到的图像进行灰度处理后的灰度图像；
[0051]
图4是对图3中灰度处理后的图像做二值化处理后的黑白二值化图像；
[0052]
图5是对图4中的黑白二值化图像两两相减后的差值结果图像；
[0053]
图6是从图5的差值结果图像中选出的目标差值结果图像。
具体实施方式
[0054]
本发明一种基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法，包括以下步骤：
[0055]
s1、在目标降落点中心安装闪烁点光源，闪烁点光源是以一定的频率闪烁的点光源，也可以是以目标降落点的中心点位置为中心，围绕该中心安装多个闪烁点光源，以克服单光源失效问题。为了减小后期图像处理及计算机视觉的处理复杂度，采用近红外闪烁光作为点光源可以有效提升图像处理的效率，提高计算机图像视觉处理速度。
[0056]
在本实施例中，在目标降落点的中心安装波长为980nm的近红外闪烁点光源，点光
源的闪烁频率为2，也就是在1秒的时间内，点亮光源500ms，熄灭光源500ms。采用可视角度为65度的相机，该相机所拍摄的图像的水平分辨率为1920个像素，垂直分辨率为1080个像素。
[0057]
s2、在无人机底面中心位置安装相机，用于拍摄目标降落点的图像，并安装雷达，用于测量无人机距离目标降落点的高度。
[0058]
s3、当无人机根据gps导航信息飞行至目标降落点附近区域并自主下降到距离目标降落点的预设高度时，启动雷达检测无人机距离目标降落点的高度，并同时启动相机拍摄目标降落点的图像。飞机在目标降落点附近下降，距离目标降落点的预设高度是8m～15m时启动雷达和相机并开启精准降落过程，是一个理想的经验值。在本实施例中，无人机在距离目标降落点的预设高度为15m时启动雷达和相机并开启精准降落过程。
[0059]
采用闪烁点光源的主要目的是为了区别于环境光，通过追踪闪烁点光源进而确定降落点位置。因此，在相机拍摄图像的一个周期内，必须能够拍摄得到至少一张闪烁点光源处于“点亮”状态的图像和至少一张闪烁点光源处于“熄灭”状态的图像。只有这样，才能通过计算机视觉追踪到闪烁的光源，进而确定目标降落点的位置。因此，需要根据闪烁点光源的闪烁频率确定相机的拍摄图像的频率。
[0060]
设闪烁点光源的闪烁频率为f1，相机拍摄图像的频率为f2。为了满足在相机的一个拍摄周期内拍摄得到至少一张闪烁点光源处于“点亮”状态的图像和至少一张闪烁点光源处于“熄灭”状态的图像，f1、f2必须满足如下约束关系：
[0061]
f2＞f1，且f1＞2 and f1≠n*f1
ꢀꢀ
公式
⑴
[0062]
其中，n为大于或等于1的正整数。
[0063]
为了加快对所拍摄图像的处理效率，f2在满足公式
⑴
所要求的约束条件的同时，采用以下公式确定f2：
[0064]
f2＝argminf(f＞f1,f1＞2 and f≠n
×
f1）
ꢀꢀ
公式
⑵
[0065]
在本实施例中，由于f1为2，根据公式
⑵
，可以计算得到f2为3。在距离目标降落点高度15米时启动相机拍摄，得到如图2所示的3张彩色图像(在相机上增加了滤光片，彩色图像只是部分颜色)，其中的第1张、第2张图像拍摄得到点光源“点亮”时的图像，而第3张图像拍摄得到点光源“熄灭”时的图像。
[0066]
s4、对拍摄得到的每幅图像，首先转换为灰度图像，如图3所示。然后再将得到的灰度图像转换为黑白二值化图像，如图4所示，在黑白二值化图像中，值255代表白色，值0代表黑色。
[0067]
对于所有的二值化后的图像做两两减法运算，得到差值结果图像，如图5所示。
[0068]
在光源闪烁频率f1和拍摄图像频率f2满足公式
⑵
的前提下，在一个拍摄周期内，也就是1秒内至少有一张闪烁点光源处于“点亮”状态的图像和至少有一张闪烁点光源处于“熄灭”状态的图像。经过对黑白二值化图像做两两相减运算后得到的差值结果图像中，必然存在至少一张图像能够表现点光源所在图像中位置的差值结果图像，因此，使用闪烁点光源可有效排除环境光对目标降落点判断的影响。
[0069]
由于无人机在拍摄图像时相机的抖动，在做图像减法运算时会出现像素不能完全一一对应的情况，从而导致在减法运算结果图像中出现误差。为此，采用以下公式从所有差值结果图像中找到最理想的差值结果图像(即目标差值结果图像)的编号i：
[0070][0071]
其中，i是目标差值结果图像的编号；height表示图像的高度，width表示图像的宽度，diffi表示第i幅差值结果图像，n表示共有n幅差值图像；x，y是以图像的左上角为原点建立图像坐标系中的坐标。通俗地说，公式
⑶
表示从所有的差值结果图像中找到白色点最多的图像作为目标差值结果图像。
[0072]
根据公式
⑶
，可以得到编号为2的差值结果图像为目标差值结果图像，如图6所示。
[0073]
s5、计算目标差值结果图像中所有白色点的中心点在图像中的坐标位置，该坐标位置即为目标降落点的位置；
[0074]
为了计算无人机与目标降落点的距离，需要计算目标降落点在图像中的坐标位置。但是，由于目标差值图像中有多个代表降落点的白色像素点，需要计算这些白色点的平均位置。具体是以目标差值结果图像的左上角为原点建立图像坐标系，x轴向右为正，y轴向下为正。采用如下公式计算目标差值结果图像中白色点的中心位置：
[0075][0076][0077][0078]
式中，count是图像中白色点的数量；x、y是坐标位置；diffi是目标差值结果图像；
[0079]
针对图6所示的目标差值结果图像，根据公式
⑷
，可计算得到目标降落点在图像坐标系的位置为(1214，757)，即，(x，y)＝(1214，757)。
[0080]
s6、建立无人机所在位置与目标降落点位置的关系模型，根据该关系模型计算无人机在水平x方向和竖直y方向的移动距离以使无人机位于目标降落点的正上方，再控制无人机降落至目标降落点。
[0081]
由于相机安装在无人机的正中心位置，因此，如果将无人机看成一个质点，则在相机拍摄所得到的图像中，无人机处于图像的中心位置的正上方。同时，基于目标差值结果图像由公式
⑷
计算得到的(x，y)坐标代表了目标降落点，因此，通过计算(x，y)坐标与图像正中心的距离即可得到无人机当前位置与目标降落点的在水平平面的距离，如图1所示，在无人机所在位置与目标降落点位置的关系模型中，有下列信息是已知的：图像的宽度width、图像的高度height、相机的可视角度α、目标降落点的在图像中的坐标(x，y)。通过安装在无人机上的雷达，可以测得无人机距离目标降落点的垂直高度h。
[0082]
如图1所示，目标差值结果图像2是长方形图片，长宽比一般是16：9，将无人机1看成一个质点，则无人机1处于图像2中心位置的正上方，设无人机1所处位置为a，目标降落点为b，图像中心位置为o，图像2中心到短边垂线的垂足为c。为了计算图像每像素表示的实际物理长度，考虑直角三角形aoc。将边长ao的长度记为l
ao
，则l
ao
＝h，∠oac＝α/2，记边oc的长度为l
oc
，则l
oc
可以由下式计算：
[0083][0084]
在本实施例中，由于相机的可视角度为65度，h为15米，根据公式
⑸
，可计算得到l
oc
的实际长度为：
[0085][0086]
从图像视角，边oc共有width/2个像素，记每像素的实际物理长度为l
pixel
，则l
pixel
可由下式计算：
[0087][0088]
在本实施例中，可计算得到l
pixel
为：
[0089][0090]
以目标差值结果图像的左上角为原点建立图像坐标系，x轴向右为正，y轴向下为正，则图像中心点，也就是无人机当前处于坐标为(width/2，height/2)的正上方，目标降落点的坐标为(x，y)。设无人机的x轴移动分量x
horizontal
，y轴移动分量y
vertical
，它们可由下式计算：
[0091][0092][0093]
在本实施例中，可计算得到无人机分别在水平方向和垂直方向上需要移动的距离为：
[0094][0095][0096]
也就是说，无人机在图像坐标系x轴的正方向移动2.54米、y轴正方向移动2.17米即可到达目标降落点的正上方。
[0097]
根据公式
⑺
得到的无人机在x轴方向和y轴方向的移动距离，可以采取两种方式控
制无人机降落到目标降落点。方式一：无人机根据x
horizontal
及y
vertical
移动位置，使其处于目标降落点的正上方，然后，直接指令无人机降落。方式二：无人机根据x
horizontal
及y
vertical
移动位置，使其处于目标降落点的正上方，然后指令无人机下降一定的垂直距离，再次根据公式
⑺
计算水平方向和垂直方向的移动距离，再次移动和下降，直到降落点目标降落点。两种方式各有特点：方式一降落时间短，但抗外界干扰能力弱，例如，风力会导致无人机发生偏移；方式二降落时间长，但抗外界干扰能力强。
技术特征：1.一种基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法，其特征在于包括以下步骤：s1、在目标降落点安装闪烁点光源；s2、在多旋翼无人机上安装相机和雷达，其中，相机位于无人机底面中心位置；s3、当无人机到达距离目标降落点的预设高度时，启动雷达检测无人机距离目标降落点的高度，并同时启动相机拍摄目标降落点的图像，且相机在一个拍摄周期内拍摄得到至少一张闪烁点光源处于点亮状态的图像和至少一张闪烁点光源处于熄灭状态的图像；s4、将拍摄得到的图像转化为黑白二值化图像，并做两两减法运算得到差值结果图像，差值结果图像中的白色点代表目标降落点，从差值结果图像中找到白色点最多的图像作为目标差值结果图像；s5、计算目标差值结果图像中所有白色点的中心点在图像中的坐标位置，该坐标位置即为目标降落点的位置；s6、建立无人机所在位置与目标降落点位置的关系模型，根据该关系模型计算无人机在水平x方向和竖直y方向的移动距离以使无人机位于目标降落点的正上方，再控制无人机降落至目标降落点。2.根据权利要求1所述的基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法，其特征在于：所述闪烁点光源位于目标降落点的中心点位置，或者以目标降落点的中心点位置为中心，围绕此中心安装多个闪烁点光源。3.根据权利要求2所述的基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法，其特征在于：所述闪烁点光源是近红外闪烁光。4.根据权利要求3所述的基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法，其特征在于：所述预设高度是8m～15m。5.根据权利要求4所述的基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法，其特征在于：在所述步骤s3中，根据闪烁点光源的闪烁频率确定相机拍摄图像的频率：设闪烁点光源的闪烁频率为f1，相机拍摄图像的频率为f2，则：f2＞f1，且f1＞2 and f1≠n*f1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式
⑴
f2＝argmin
f
(f＞f1,f1＞2 and f≠n
×
f1)
ꢀꢀꢀꢀꢀꢀ
公式
⑵
其中，n为大于或等于1的正整数。6.根据权利要求5所述的基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法，其特征在于：在所述步骤s4中，将拍摄得到的每幅图像先转换为灰度图像，再将得到的灰度图像转换为黑白二值化图像。7.根据权利要求6所述的基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法，其特征在于：在所述步骤s4中，由以下公式计算找到目标差值结果图像：式中，i是目标差值结果图像的编号；height是图像的高度；width是图像的宽度；diff
i
是第i幅差值结果图像；n是差值结果图像的数量；x,y是以图像的左上角为原点建立图像坐标系中的坐标。8.根据权利要求7所述的基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方
法，其特征在于：以目标差值结果图像的左上角为原点建立图像坐标系，x轴向右为正，y轴向下为正，计算目标差值结果图像中白色点的中心点在图像中的坐标位置：向下为正，计算目标差值结果图像中白色点的中心点在图像中的坐标位置：向下为正，计算目标差值结果图像中白色点的中心点在图像中的坐标位置：式中，count是图像中白色点的数量；x、y是坐标位置；diff
i
是目标差值结果图像。9.根据权利要求8所述的基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法，其特征在于：所述无人机所在位置与目标降落点位置的关系模型通过以下步骤获得：1、目标差值结果图像是长方形图片，将无人机看成一个质点，则无人机处于目标差值结果图像中心位置的正上方，设无人机所处位置为a，图像中心位置为o，图像中心到短边垂线的垂足为c，已知目标降落点坐标(x、y)、相机的可视角度α和无人机距离目标降落点的垂直高度h，则o点和c点之间的距离l
oc
：2、计算图像每像素表示的实际物理长度l
pixel
：3、以目标差值结果图像的左上角为原点建立图像坐标系，x轴向右为正，y轴向下为正，计算无人机x轴移动分量x
horizontal
和y轴移动分量y
vertical
：：即得到无人机在x轴方向和y轴方向的移动距离。10.根据权利要求9所述的基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法，其特征在于：无人机根据x
horizontal
及y
vertical
移动位置，使其处于目标降落点的正上方，再控制无人机降落至目标降落点，该控制方式是：直接指令无人机垂直降落至目标降落点，或者指令无人机垂直下降一段距离，再次根据x
horizontal
及y
vertical
移动位置，再垂直下降至目标降落点。
技术总结本发明公开了一种基于闪烁点光源和计算机视觉的多旋翼无人机精准降落方法，S1、在目标降落点安装闪烁点光源；S2、在多旋翼无人机上安装相机和雷达；S3、当无人机到达距离目标降落点的预设高度时，启动雷达和相机；S4、将拍摄到的图像转化为黑白二值化图像，做两两减法运算得到差值结果图像，从差值结果图像中找到目标差值结果图像；S5、计算目标差值结果图像中所有白色点的中心点在图像中的坐标位置；S6、建立无人机所在位置与目标降落点位置的关系模型，计算无人机在水平x方向和竖直y方向的移动距离使无人机位于目标降落点正上方，控制无人机降落至目标降落点。本发明可提高多旋翼无人机降落精度，使无人机的降落位置满足要求。求。求。
技术研发人员：吴绍根 张兵 古凌岚 吴嘉辉 张寺宁 张光旭 姚世东 苏国明
受保护的技术使用者：广东鸿源智能科技有限公司
技术研发日：2022.03.28
技术公布日：2022/7/5
