1.本发明涉及无人机和小麦估产技术领域，尤其是一种基于无人机低空可见光图像和目标检测网络的小麦估产方法。
背景技术：2.对小麦产量的预估是农业生产中不可缺少的步骤。在成熟期及时、准确地估算小麦产量，可以为农业生产管理和粮食产量统计提供数据支持。小麦产量的估算主要由单位面积内的小麦麦穗数和麦穗上的穗粒数作为重要计算依据。传统的方法是通过地面调查采摘单位面积内的小麦，然后人工计数统计估算。不仅准确率受人为因素影响，大范围地面调查也会消耗较大的人力和时间成本，导致估产效率低下。
3.随着图像处理及深度学习技术的进步，基于图像的对小目标检测在近年来已成为研究热点。但小麦产量的估算受限于以下方面：如何高效地获取大范围的、高分辨率的小麦图像，特别是对于穗粒这一对象；传统方法一般实地框出1平方米的范围进行调查，不接触的采样如何方便快速的计算采样面积；由于小麦田间背景复杂，并且小麦麦穗和穗粒较小，对小目标检测网络有较高的要求。
4.因此需要一种基于无人机低空可见光图像和目标检测网络的小麦估产方法。
技术实现要素：5.本发明的目的在于提供一种大幅增加采样范围和采样效率，提高估产的效率和准确率的基于无人机低空可见光图像和目标检测网络的小麦估产方法。
6.为实现上述目的，本发明采用了以下技术方案：一种基于无人机低空可见光图像和目标检测网络的小麦估产方法，该方法包括下列顺序的步骤：
7.(1)规划小麦地块的航点采样路线：采用搭载高像素、变焦可见光相机的无人机，针对小麦地块范围，规划无人机航点飞行采样点和路径；
8.(2)获取无人机低空拍摄的高分辨率可见光图像，并进行预处理，将经过预处理之后的高分辨率可见光图像建立训练集，训练集分为第一训练集和第二训练集；
9.(3)分别构建基于小目标检测神经网络的小麦麦穗检测计数模型和小麦穗粒检测计数模型，将第一训练集输入小麦麦穗检测计数模型中进行训练，将第二训练集输入小麦穗粒检测计数模型中进行训练；
10.(4)计算所测地块小麦的预估产量：将待测小麦地块无人机采样参数及拍摄的高分辨率可见光图像，分别输入小麦麦穗检测计数模型和小麦穗粒检测计数模型，计算输出小麦的预估产量。
11.在步骤(1)中，所述可见光相机的有效像素优于2000万，变焦倍数大于等于4倍；所述采样点的设置采用平均采样法，按照10*10的方式，设置100个采样点；所述采样点的参数包括序号、经度、纬度、高度、方向角和变焦倍数。
12.所述步骤(2)具体包括以下步骤：
13.(2a)每个采样点拍摄两张照片，其中，第一张照片正常拍摄用于后续的麦穗检测，第二张照片按设置的变焦倍数放大焦距拍摄，用于后续的穗粒检测；
14.(2b)对拍摄的高分辨率可见光图像中有效区域进行麦穗和穗粒标注；
15.(2c)对经标注的高分辨率可见光图像进行采样旋转、翻转、伸缩、马赛克的预处理，建立训练集，其中，将经过预处理之后的所有采样点的第一张照片组成第一训练集，将经过预处理之后的所有采样点的第二张照片组成第二训练集。
16.在步骤(3)中，所述构建小麦麦穗检测计数模型具体包括以下步骤：
17.(3a)构造主干网络、特征提取网络以及颈部模块，三者组成基础检测模型yolov5；
18.(3b)结合空间注意力模块与通道注意力模块构造卷积注意力模块，给定一个中间特征图x∈rc×h×w作为输入，其中特征图大小为h
×
w，通道维数为c；卷积注意力模块依次推导出一维通道注意图cm∈rc×1×1和二维空间注意图sm∈r1×h×w，整个注意过程为:
[0019][0020][0021]
其中为元素乘法运算；
[0022]
一维通道注意力图通过计算特征的通道关系生成，使用最大池化操作与平均池化操作压缩给定特征图的空间维度，聚合特征映射的空间信息，公式如下：
[0023]
cm(x)＝σ(mlp(avg(x))+mlp(max(x))
[0024]
其中，σ为sigmax激活函数，mlp为多层感知机，avg为平均池化操作，max为最大池化操作；
[0025]
二维空间注意力图由特征间的空间关系生成，在通道维度上应用平均池化操作与最大池化操作，连接生成的二维图，之后通过卷积操作生成所需的二维空间注意力图，具体公式如下：
[0026]
sm(x
′
)＝σ(conv([avg(x)；max(x)]))
[0027]
其中，conv为卷积核大小为7x7的卷积操作，[avg(x)；max(x)]为连接avg(x)与max(x)；
[0028]
(3c)改进基础检测模型yolov5中的特征提取网络，得到改进的特征提取网络，增加小目标检测层，将较浅特征图与深度特征图拼接后进行小目标检测：在基础检测模型yolov5中的颈部模块中，主干网络的卷积层输出后对特征图继续进行一次上采样处理，使得特征图继续扩大，然后将其输出与主干网络中相应的c2层特征图进行融合，生成有利于小目标检测的特征图；
[0029]
(3d)基础检测模型yolov5、步骤(3b)中构造的卷积注意力模块、步骤(3c)中改进的特征提取网络，三者共同构建基于小目标检测神经网络的小麦麦穗检测计数模型；
[0030]
所述小麦穗粒检测计数模型的构建方法与构建小麦麦穗检测计数模型一致。
[0031]
所述步骤(4)具体包括以下步骤：
[0032]
(4a)根据相机参数计算拍摄小麦地的单位面积：
[0033]
(4a1)计算像素大小，其计算公式如下：
[0034]
psh＝sl/hpn
[0035]
psv＝sw/vpn
[0036]
其中，sl为相机的传感器尺寸长度，hpn为图像水平像素数目,sw为相机的传感器尺寸宽度，vpn为垂直像素数目；psh为水平像元大小，psv为垂直像元大小；
[0037]
(4a2)计算地面采样间隔gsd，其计算公式如下：
[0038]
gsdh＝h
×
psh/f
[0039]
gsdv＝h
×
psv/f
[0040]
其中，h为无人机飞行的相对高度，f为相机焦距，gsdh为地面水平方向采样间隔，gsdv为地面垂直方向采样间隔；
[0041]
(4a3)计算图像的单位面积ua，其计算公式如下：
[0042]
ua＝hpn
×
gsdh×
vpn
×
gsdv；
[0043]
计算结果表示一张图像所覆盖的地面实际面积；
[0044]
(4b)小麦麦穗和穗粒数计算：
[0045]
(4b1)将每一个采样点获取的第一张图像输入小麦麦穗检测计数模型，通过对麦穗坐标值的统计，得到该张图像中的麦穗数量；
[0046]
(4b2)将每一个采样点获取的第二张图像输入小麦穗粒检测计数模型，通过对穗粒坐标值的统计，得到该张图像中的穗粒数量；
[0047]
(4c)小麦的预估产量的计算公式如下：
[0048][0049]
其中，n为采样点的个数，mi为第i个采样点的麦穗数量，si为第i个采样点的穗粒数量，ua1i为第i个采样点第一张照片的单位面积，ua2i为第i个采样点第二张照片的单位面积，w为千粒重，α为调节系数，设置为0.85。
[0050]
所述高度为3米，所述方向角设置为-90度，所述变焦倍数设置为4倍。
[0051]
由上述技术方案可知，本发明的有益效果为：第一，本发明通过确定无人机低飞采样的位置、高度等参数规划小麦地块的航点采样路线，然后获取无人机低空拍摄的高分辨率可见光图像并进行预处理，再构造基于目标检测神经网络的小麦麦穗检测计数模型和小麦穗粒检测计数模型，最后通过自动计算采样点的单位面积来估算所测地块小麦的平均产量；第二，本发明无需进入小麦地块内采样，而且无需采摘小麦麦穗，通过无人机定点定高航拍采样的方式，大幅增加了采样范围和采样效率；第三，通过构建基于目标检测神经网络的小麦麦穗检测计数模型和小麦穗粒检测计数模型，并依此来计算小麦产量，相比于传统的地面调查估产法，提高了估产的效率和准确率。
附图说明
[0052]
图1为本发明的方法流程图；
[0053]
图2为本发明所获得的小麦麦穗检测和计数示意图。
具体实施方式
[0054]
如图1所示，一种基于无人机低空可见光图像和目标检测网络的小麦估产方法，该方法包括下列顺序的步骤：
[0055]
(1)规划小麦地块的航点采样路线：采用搭载高像素、变焦可见光相机的无人机，针对小麦地块范围，规划无人机航点飞行采样点和路径；
[0056]
(2)获取无人机低空拍摄的高分辨率可见光图像，并进行预处理，将经过预处理之后的高分辨率可见光图像建立训练集，训练集分为第一训练集和第二训练集；
[0057]
(3)分别构建基于小目标检测神经网络的小麦麦穗检测计数模型和小麦穗粒检测计数模型，将第一训练集输入小麦麦穗检测计数模型中进行训练，将第二训练集输入小麦穗粒检测计数模型中进行训练；
[0058]
(4)计算所测地块小麦的预估产量：将待测小麦地块无人机采样参数及拍摄的高分辨率可见光图像，分别输入小麦麦穗检测计数模型和小麦穗粒检测计数模型，计算输出小麦的预估产量。
[0059]
在步骤(1)中，所述可见光相机的有效像素优于2000万，变焦倍数大于等于4倍；所述采样点的设置采用平均采样法，按照10*10的方式，设置100个采样点；所述采样点的参数包括序号、经度、纬度、高度、方向角和变焦倍数。
[0060]
所述步骤(2)具体包括以下步骤：
[0061]
(2a)每个采样点拍摄两张照片，其中，第一张照片正常拍摄用于后续的麦穗检测，第二张照片按设置的变焦倍数放大焦距拍摄，用于后续的穗粒检测；
[0062]
(2b)对拍摄的高分辨率可见光图像中有效区域进行麦穗和穗粒标注；
[0063]
(2c)对经标注的高分辨率可见光图像进行采样旋转、翻转、伸缩、马赛克的预处理，建立训练集，其中，将经过预处理之后的所有采样点的第一张照片组成第一训练集，将经过预处理之后的所有采样点的第二张照片组成第二训练集。
[0064]
在步骤(3)中，所述构建小麦麦穗检测计数模型具体包括以下步骤：
[0065]
(3a)构造主干网络、特征提取网络以及颈部模块，三者组成基础检测模型yolov5；
[0066]
(3b)结合空间注意力模块与通道注意力模块构造卷积注意力模块，给定一个中间特征图x∈rc×h×w作为输入，其中特征图大小为h
×
w，通道维数为c；卷积注意力模块依次推导出一维通道注意图cm∈rc×1×1和二维空间注意图sm∈r1×h×w，整个注意过程为:
[0067][0068][0069]
其中为元素乘法运算；
[0070]
一维通道注意力图通过计算特征的通道关系生成，使用最大池化操作与平均池化操作压缩给定特征图的空间维度，聚合特征映射的空间信息，公式如下：
[0071]
cm(x)＝σ(mlp(avg(x))+mlp(max(x))
[0072]
其中，σ为sigmax激活函数，mlp为多层感知机，avg为平均池化操作，max为最大池化操作；
[0073]
二维空间注意力图由特征间的空间关系生成，在通道维度上应用平均池化操作与最大池化操作，连接生成的二维图，之后通过卷积操作生成所需的二维空间注意力图，具体公式如下：
[0074]
sm(x
′
)＝σ(conv([avg(x)；max(x)]))
[0075]
其中，conv为卷积核大小为7x7的卷积操作，[avg(x)；max(x)]为连接avg(x)与max
(x)；
[0076]
(3c)改进基础检测模型yolov5中的特征提取网络，得到改进的特征提取网络，增加小目标检测层，将较浅特征图与深度特征图拼接后进行小目标检测：在基础检测模型yolov5中的颈部模块中，主干网络的卷积层输出后对特征图继续进行一次上采样处理，使得特征图继续扩大，然后将其输出与主干网络中相应的c2层特征图进行融合，生成有利于小目标检测的特征图；
[0077]
(3d)基础检测模型yolov5、步骤(3b)中构造的卷积注意力模块、步骤(3c)中改进的特征提取网络，三者共同构建基于小目标检测神经网络的小麦麦穗检测计数模型；
[0078]
所述小麦穗粒检测计数模型的构建方法与构建小麦麦穗检测计数模型一致。
[0079]
所述步骤(4)具体包括以下步骤：
[0080]
(4a)根据相机参数计算拍摄小麦地的单位面积：
[0081]
(4a1)计算像素大小，其计算公式如下：
[0082]
psh＝sl/hpn
[0083]
psv＝sw/vpn
[0084]
其中，sl为相机的传感器尺寸长度，hpn为图像水平像素数目,sw为相机的传感器尺寸宽度，vpn为垂直像素数目；psh为水平像元大小，psv为垂直像元大小；
[0085]
(4a2)计算地面采样间隔gsd，其计算公式如下：
[0086]
gsdh＝h
×
psh/f
[0087]
gsdv＝h
×
psv/f
[0088]
其中，h为无人机飞行的相对高度，f为相机焦距，gsdh为地面水平方向采样间隔，gsdv为地面垂直方向采样间隔；
[0089]
(4a3)计算图像的单位面积ua，其计算公式如下：
[0090]
ua＝hpn
×
gsdh×
vpn
×
gsdv；
[0091]
计算结果表示一张图像所覆盖的地面实际面积；
[0092]
(4b)小麦麦穗和穗粒数计算：
[0093]
(4b1)将每一个采样点获取的第一张图像输入小麦麦穗检测计数模型，通过对麦穗坐标值的统计，得到该张图像中的麦穗数量；
[0094]
(4b2)将每一个采样点获取的第二张图像输入小麦穗粒检测计数模型，通过对穗粒坐标值的统计，得到该张图像中的穗粒数量；
[0095]
(4c)小麦的预估产量的计算公式如下：
[0096][0097]
其中，n为采样点的个数，mi为第i个采样点的麦穗数量，si为第i个采样点的穗粒数量，ua1i为第i个采样点第一张照片的单位面积，ua2i为第i个采样点第二张照片的单位面积；w为千粒重，一般根据前三年平均值或品种区试数据得到；α为调节系数，设置为0.85。
[0098]
所述高度为3米，所述方向角设置为-90度，所述变焦倍数设置为4倍。
[0099]
如图2所示，无人机低空拍摄的第一张图像，该图像所覆盖的地面面积为13.5平方米，输入小麦麦穗检测计数模型后，得到麦穗数量为1389个。
[0100]
综上所述，本发明无需进入小麦地块内采样，而且无需采摘小麦麦穗，通过无人机定点定高航拍采样的方式，大幅增加了采样范围和采样效率；第三，通过构建基于目标检测神经网络的小麦麦穗检测计数模型和小麦穗粒检测计数模型，并依此来计算小麦产量，相比于传统的地面调查估产法，提高了估产的效率和准确率。
技术特征：1.一种基于无人机低空可见光图像和目标检测网络的小麦估产方法，其特征在于：该方法包括下列顺序的步骤：(1)规划小麦地块的航点采样路线：采用搭载高像素、变焦可见光相机的无人机，针对小麦地块范围，规划无人机航点飞行采样点和路径；(2)获取无人机低空拍摄的高分辨率可见光图像，并进行预处理，将经过预处理之后的高分辨率可见光图像建立训练集，训练集分为第一训练集和第二训练集；(3)分别构建基于小目标检测神经网络的小麦麦穗检测计数模型和小麦穗粒检测计数模型，将第一训练集输入小麦麦穗检测计数模型中进行训练，将第二训练集输入小麦穗粒检测计数模型中进行训练；(4)计算所测地块小麦的预估产量：将待测小麦地块无人机采样参数及拍摄的高分辨率可见光图像，分别输入小麦麦穗检测计数模型和小麦穗粒检测计数模型，计算输出小麦的预估产量。2.根据权利要求1所述的基于无人机低空可见光图像和目标检测网络的小麦估产方法，其特征在于：在步骤(1)中，所述可见光相机的有效像素优于2000万，变焦倍数大于等于4倍；所述采样点的设置采用平均采样法，按照10*10的方式，设置100个采样点；所述采样点的参数包括序号、经度、纬度、高度、方向角和变焦倍数。3.根据权利要求1所述的基于无人机低空可见光图像和目标检测网络的小麦估产方法，其特征在于：所述步骤(2)具体包括以下步骤：(2a)每个采样点拍摄两张照片，其中，第一张照片正常拍摄用于后续的麦穗检测，第二张照片按设置的变焦倍数放大焦距拍摄，用于后续的穗粒检测；(2b)对拍摄的高分辨率可见光图像中有效区域进行麦穗和穗粒标注；(2c)对经标注的高分辨率可见光图像进行采样旋转、翻转、伸缩、马赛克的预处理，建立训练集，其中，将经过预处理之后的所有采样点的第一张照片组成第一训练集，将经过预处理之后的所有采样点的第二张照片组成第二训练集。4.根据权利要求1所述的基于无人机低空可见光图像和目标检测网络的小麦估产方法，其特征在于：在步骤(3)中，所述构建小麦麦穗检测计数模型具体包括以下步骤：(3a)构造主干网络、特征提取网络以及颈部模块，三者组成基础检测模型yolov5；(3b)结合空间注意力模块与通道注意力模块构造卷积注意力模块，给定一个中间特征图x∈r
c
×
h
×
w
作为输入，其中特征图大小为h
×
w，通道维数为c；卷积注意力模块依次推导出一维通道注意图cm∈r
c
×1×1和二维空间注意图sm∈r1×
h
×
w
，整个注意过程为:，整个注意过程为:其中为元素乘法运算；一维通道注意力图通过计算特征的通道关系生成，使用最大池化操作与平均池化操作压缩给定特征图的空间维度，聚合特征映射的空间信息，公式如下：cm(x)＝σ(mlp(avg(x))+mlp(max(x))其中，σ为sigmax激活函数，mlp为多层感知机，avg为平均池化操作，max为最大池化操作；
二维空间注意力图由特征间的空间关系生成，在通道维度上应用平均池化操作与最大池化操作，连接生成的二维图，之后通过卷积操作生成所需的二维空间注意力图，具体公式如下：sm(x
′
)＝σ(conv([avg(x)；max(x)]))其中，conv为卷积核大小为7x7的卷积操作，[avg(x)；max(x)]为连接avg(x)与max(x)；(3c)改进基础检测模型yolov5中的特征提取网络，得到改进的特征提取网络，增加小目标检测层，将较浅特征图与深度特征图拼接后进行小目标检测：在基础检测模型yolov5中的颈部模块中，主干网络的卷积层输出后对特征图继续进行一次上采样处理，使得特征图继续扩大，然后将其输出与主干网络中相应的c2层特征图进行融合，生成有利于小目标检测的特征图；(3d)基础检测模型yolov5、步骤(3b)中构造的卷积注意力模块、步骤(3c)中改进的特征提取网络，三者共同构建基于小目标检测神经网络的小麦麦穗检测计数模型；所述小麦穗粒检测计数模型的构建方法与构建小麦麦穗检测计数模型一致。5.根据权利要求1所述的基于无人机低空可见光图像和目标检测网络的小麦估产方法，其特征在于：所述步骤(4)具体包括以下步骤：(4a)根据相机参数计算拍摄小麦地的单位面积：(4a1)计算像素大小，其计算公式如下：ps
h
＝sl/hpnps
v
＝sw/vpn其中，sl为相机的传感器尺寸长度，hpn为图像水平像素数目,sw为相机的传感器尺寸宽度，vpn为垂直像素数目；ps
h
为水平像元大小，ps
v
为垂直像元大小；(4a2)计算地面采样间隔gsd，其计算公式如下：gsd
h
＝h
×
ps
h
/fgsd
v
＝h
×
ps
v
/f其中，h为无人机飞行的相对高度，f为相机焦距，gsd
h
为地面水平方向采样间隔，gsd
v
为地面垂直方向采样间隔；(4a3)计算图像的单位面积ua，其计算公式如下：ua＝hpn
×
gsd
h
×
vpn
×
gsd
v
；计算结果表示一张图像所覆盖的地面实际面积；(4b)小麦麦穗和穗粒数计算：(4b1)将每一个采样点获取的第一张图像输入小麦麦穗检测计数模型，通过对麦穗坐标值的统计，得到该张图像中的麦穗数量；(4b2)将每一个采样点获取的第二张图像输入小麦穗粒检测计数模型，通过对穗粒坐标值的统计，得到该张图像中的穗粒数量；(4c)小麦的预估产量的计算公式如下：其中，n为采样点的个数，m
i
为第i个采样点的麦穗数量，s
i
为第i个采样点的穗粒数量，
ua1
i
为第i个采样点第一张照片的单位面积，ua2
i
为第i个采样点第二张照片的单位面积，w为千粒重，α为调节系数，设置为0.85。6.根据权利要求2所述的基于无人机低空可见光图像和目标检测网络的小麦估产方法，其特征在于：所述高度为3米，所述方向角设置为-90度，所述变焦倍数设置为4倍。
技术总结本发明涉及一种基于无人机低空可见光图像和目标检测网络的小麦估产方法，包括：规划小麦地块的航点采样路线；获取无人机低空拍摄的高分辨率可见光图像，并进行预处理，建立第一训练集和第二训练集；分别构建基于小目标检测神经网络的小麦麦穗检测计数模型和小麦穗粒检测计数模型；计算所测地块小麦的预估产量。本发明无需进入小麦地块内采样，而且无需采摘小麦麦穗，通过无人机定点定高航拍采样的方式，大幅增加了采样范围和采样效率；通过构建基于目标检测神经网络的小麦麦穗检测计数模型和小麦穗粒检测计数模型，并依此来计算小麦产量，相比于传统的地面调查估产法，提高了估产的效率和准确率。估产的效率和准确率。估产的效率和准确率。
技术研发人员：孙友强 黄河 张玮 张俊卿 盛佳佳 裴昊天 谢成军 张洁 李瑞
受保护的技术使用者：中国科学院合肥物质科学研究院
技术研发日：2022.04.08
技术公布日：2022/7/5
