1.本发明涉及一种侧俯视角度下田间小麦穗部图像的校正方法。
背景技术：2.田间小麦穗部特征能够反映出小麦的产量信息，因此进行小麦田间估产必须获得小麦穗部的特征信息，准确地获得成熟期田间小麦穗部的特征信息是小麦产量估产的必要步骤。
3.在田间条件下获取成熟小麦穗部特征信息，小麦穗部的图像获取角度至关重要；现阶段成熟期田间小麦图像主要从上部俯视角度获得单位面积内或一定面内的小麦穗的数量，不能直接或间接获得小麦穗部的特征信息，因此不能直接用于小麦的田间估产；而侧面小麦穗部图像仅仅只能获取部分小麦穗部的特征信息，大量的小麦穗部被离相机较近距离的小麦穗遮挡，无法获取一定面积内全部小麦穗部的特征信息。
4.然而侧俯视角度下的小麦穗部图像却能够基本反应小麦穗部的特征信息；现有通用相机在侧俯视角度下获得田间小麦穗部图像，图像中不同位置点的小麦穗部存在一定的程度的变形，因此直接获取的小麦穗部特征信息就会存在失真，影响田间小麦产量估测的精度。
5.图像校正方法有基于透视变换的畸变图像校正和基于几何变换的畸变图像校正，目前透视变换图像畸变校正的方法主要有角度检测法、射影几何法和控制点变换法三类，一般都需要用到直线检测以及旋转角度检测等技术，适用范围有限且比较复杂；基于此本发明提出适用于侧俯视角度下的小麦穗部图像的透视变换和几何变换的畸变图像校正方法。
技术实现要素：6.(一)要解决的技术问题
7.本发明要解决的技术问题：侧俯视角度下的图像本身就存在图像变形，侧俯视角度获取小麦冠层图像时相机与目标小麦穗的距离和方向存在差异，因此田间不同位置点小麦穗部图像同样存在变形，同时图像中的小麦穗之间存在穗幅差，这两者都影响小麦穗部图像特征信息的准确获取，因此校正侧俯视角度下的田间小麦穗部方位引起的图像畸变和小麦穗穗幅差影响是准确获取小麦穗部的特征信息要解决的关键技术问题。
8.(二)技术方案
9.本发明技术方案的图像校正方法包括有基于透视变换的畸变图像校正和基于几何变换的畸变图像校正两部分组成。
10.基于透视变换的畸变图像校正：首先从图像中选取取样框的4个顶点，以此作为目标点，利用透视变换原理将透视图像校正为正视图像。
11.二维图像的透视变换实际上是以中心点o为基准将平面上的点p(x，y)投影成另外一个平面上的点p
′
(u，v)，这个过程可以看作是三维物体向二维图像透视投影的一种形式。
一个二维图像经过透视变换转换为另外一个平面图像的过程可以表示为：
[0012][0013]
公式1中，(x，y)是畸变图像的像素坐标，(u，v)是正视图的像素坐标，a，b，c，d，e，f，m，l为透视变换参数。取取样框4个顶点作为目标点，由于取样框为内径边长0.5m 的正方形，因此已知正方形下底边两顶点坐标可根据边长求出正方形上底边两顶点坐标，将畸变图像上这4个目标点的坐标和对应正视图像上的坐标作为解透视变换参数矩阵的已知量，解出透视变换参数，再对畸变图像上的所有点进行透视变换算出对应正视图像坐标。
[0014]
公式1的矩阵形式为：
[0015][0016]
透视变换关系式2中有8个参数，采用图像点对的方式进行二维平面图像的透视变换计算，把畸变图像中的4个目标点坐标记为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)；相应的正视图像中的点坐标记为(u1，v1)、(u2，v2)、(u3，v3)、(u4，v4)，得到矩阵参数方程为：
[0017][0018]
记为：
[0019]
uv＝a
×mꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0020]
则：
[0021]
m＝a-1
×
uv
ꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0022]
从而解出透视变换参数，最后利用解出的参数对原小麦冠层图像进行透视畸变校正。
[0023]
基于几何变换的畸变图像校正：小麦穗之间存在穗幅差和图像采集中心与小麦穗之间存在的不同水平距离，根据目标物体与图像采集中心点之间的水平距离计算权重系
数，利用线性插值算法匹配目标点坐标达到几何校正的目的。
[0024]
以图像采集中心点o点为投影点，小麦穗部线段aa1和bb1在投影面l上的投影分别为 aa2和bb2，因此将小麦冠层图像当作二维平面进行透视变换需要进一步处理抵消由于高度幅差造成的几何畸变。经过透视变换发现原本内径为正方形的取样框abcd变成了矩形，通过将矩形校正为正方形来抵消图像几何畸变，矩形a1b1c1d1为几何校正后的取样框内边界。
[0025]
以矩形顶点a为坐标原点，矩形abcd为取样框中ad所在直线为x轴，ab所在直线为y轴，ad边长度变换关系式为：
[0026][0027]
公式6中，h为线段ad长，w为线段ab长，k为距离变换系数，t为线段ad上一点与点a的距离，dt为线段ad上的微分，将上式化简，求得：
[0028][0029]
因此，可以根据透视变换后图像的坐标关系，计算出距离变换系数，再对图像进行几何畸变校正，此处采用灰度值插值算法计算出最终图像。当图像进行放大时，缺少的像素直接通过与其最近像素的颜色代替，最近邻插值法是最简单的一种插值算法，在待求像素的四邻域像素中，将与待求像素最近的像素值赋给待求像素。
[0030]
对于待求像素坐标(i+u，j+v)，可以根据u，v的取值判断与待求像素最近的像素点，得到待求像素点的灰度值。
[0031]
单线性插值法是只有一个变量的插值算法，其原理为：已知数据(x0，y0)与(x1，y1)，计算区间[x0，x1]内任意一点x在直线上的值y，示意图如图7所示：
[0032]
由几何关系可得：
[0033][0034]
化简得：
[0035][0036]
可以看出，求y值实际上就是利用x和x0，x1的距离作为权重，用于y0和y1的加权。一般地，单线性插值法用于图像沿一个方向的等比例缩放，如果需要将图像沿横纵两个方向上同时进行缩放操作，则需要采用双线性插值算法，双线性插值的本质也就是在两个方向上做线性插值。由于本研究进行几何畸变校正只考虑目标物体与相机水平距离对图像的影响，对透视变换之后的图像进行校正时只沿图像纵轴方向进行缩放，不考虑水平方向缩放，因此可以结合最近邻插值和单线性插值进行处理，对rgb图像进行逐个通道单独处理，假设原图大小为h
×
w，取样框区域大小为h
×
w，经过几何畸变校正后图像大小为h1×
w，取样框区域大小为w
×
w，其中：
[0037][0038]
联立公式(7)，化简得：
[0039]
[0040]
公式11中，x为坐标原点a到图像上边缘的像素距离，由于图像大小为整数需要对h1进行取整。
[0041]
在求出目标图像尺寸大小后，逐个计算目标图像上的像素点坐标对应的原始图像像素点坐标得到其灰度值，最终组合成一幅经过几何畸变校正的图像。对于目标图像像素坐标 (i，j)对应的原始图像像素坐标为(i0，j)，其中：
[0042][0043]
将i0当作因变量，t为微分参数，x，k在前面已给出定义，i为自变量，解上式定积分方程，得到：
[0044][0045]
对求得i0进行取整，则可以得到目标图像上任意一点对应原始图像上的点，并求出其灰度值，组合后得到经过几何畸变矫正的小麦冠层图像。
[0046]
(三)有益效果
[0047]
侧俯视角度下的田间小麦冠层图像的畸变矫正包括基于透视变换的畸变图像校正和基于几何变换的畸变图像校正两部分组成；利用透视变换原理将透视图像校正为正视图像，减小了由于小麦穗部的方位产生的图像畸变影响；透视图图像畸变校正后的正视图像经几何变换的畸变图像校正采用沿纵向非等比例缩放，靠近图像下边缘像素被放大，缩放比例沿纵向逐渐变小，靠近图像上边缘像素被缩小，这样可以消除由于侧俯视角度拍照造成的离相机远的物体被缩小而离相机近的物体被放大的影响，进一步提高在体麦穗特征信息提取的准确度。
附图说明
[0048]
图1目标区域小麦冠层图像
[0049]
图2二维图像透视变换示意图
[0050]
图3透视变换后小麦冠层图像
[0051]
图4立体物体投影关系示意图
[0052]
图5几何校正前后取样框边界示意图
[0053]
图6最近邻插值法示意图
[0054]
图7单线性插值法示意图
[0055]
图8几何畸变校正后小麦冠层图像
具体实施方式
[0056]
基于透视变换的畸变图像校正
[0057]
将采集到的田间小麦冠层图像截取到合适大小，如图1所示。由于本研究采用侧俯视角度拍摄获取小麦冠层图像，由于相机和目标的距离和方位的原因，导致所拍摄的小麦冠层图像不是正视图，存在图像畸变，这对于从图像中提取小麦穗部特征、小麦群体特性等后续处理十分不利，因此必须进行图像畸变矫正。
[0058]
首先需要对畸变图像进行透视变换校正，本发明首先从图像中选取取样框的4个
顶点，以此作为目标点，利用透视变换原理将透视图像校正为正视图像。可以把透视变换问题转化成一个物体平面上的像到另外一个物体平面上的图像变换问题，从而推导出透视畸变图像的校正方式，即一个平面上的点到另外一个平面上的点。本发明将田间小麦冠层图像看作是二维平面图像，二维图像透视变换原理如图2所示：
[0059]
二维图像的透视变换实际上是以中心点o为基准将平面上的点p(x，y)投影成另外一个平面上的点p
′
(u，v)，这个过程可以看作是三维物体向二维图像透视投影的一种形式。一个二维图像经过透视变换转换为另外一个平面图像的过程可以表示为：
[0060][0061]
公式1中，(x，y)是畸变图像的像素坐标，(u，v)是正视图的像素坐标，a，b，c，d， e，f，m，l为透视变换参数。选取取样框4个顶点作为目标点，由于取样框为内径边长0.5m 的正方形，因此已知正方形下底边两顶点坐标可根据边长求出正方形上底边两顶点坐标，将畸变图像上这4个目标点的坐标和对应正视图像上的坐标作为解透视参数矩阵的已知量，解出透视参数，再对畸变图像上的所有点进行透视变换算出对应正视图像坐标。将公式1改写成矩阵形式为：
[0062][0063]
透视变换关系式2中有8个参数，采用图像点对的方式进行二维平面图像的透视变换计算，把畸变图像中的4个目标点坐标记为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)；相应的正视图像中的点坐标记为(u1，v1)、(u2，v2)、(u3，v3)、(u4，v4)，得到矩阵参数方程为：
[0064][0065]
记为：uv＝a
×mꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0066]
则：m＝a-1
×
uv
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0067]
从而解出透视参数，最后利用解出的参数对原小麦冠层图像进行透视畸变校正。经过校正的小麦冠层图像如图3所示：
[0068]
基于几何变换的畸变图像校正
[0069]
由于利用透视变换进行畸变图像校正是将小麦冠层图像看作了二维平面，没有考虑麦穗的立体生长特性，因此需要在透视校正的基础上进行几何校正。本研究提出一种几何校正方法，根据目标物体与图像采集中心点之间的水平距离计算权重系数，利用线性插值算法匹配目标点坐标达到几何校正的目的。
[0070]
立体物体投影关系示意图如图4所示：
[0071]
以o点为投影点，线段aa1和bb1在投影面l上的投影分别为aa2和bb2，因此将小麦冠层图像当作二维平面进行透视变换需要进一步处理抵消由于高度差造成的几何畸变。经过透视变换发现原本内径为正方形的取样框变成了矩形，如图5所示，矩形efgh为图像边界，矩形abcd为取样框内边界，通过将矩形校正为正方形来抵消图像几何畸变，矩形e1f1g1h1为几何校正后的图像边界，矩形a1b1c1d1为几何校正后的取样框内边界。
[0072]
以矩形顶点a为坐标原点，ad所在直线为x轴，ab所在直线为y轴，ad边长度变换关系式为：
[0073][0074]
公式6中，h为线段ad长，w为线段ab长，k为距离变换系数，t为线段ad上一点与点a的距离，dt为线段ad上的微分，将上式化简，求得：
[0075][0076]
根据透视变换后图像的坐标关系，计算出距离变换系数，再对图像进行几何畸变校正，此处采用灰度值插值算法计算出最终图像。最近邻插值法是最简单的一种插值算法，当图像进行放大时，缺少的像素直接通过与其最近像素的颜色代替，如图6，在待求像素的四邻域像素中，将与待求像素最近的像素值赋给待求像素。
[0077]
对于待求像素坐标(i+u，j+v)，可以根据u，v的取值判断与待求像素最近的像素点，得到待求像素点的灰度值，这样做的缺点在于会产生像素锯齿，但优点在于算法简单，计算量小且可以做非等比列缩放。
[0078]
单线性插值法是只有一个变量的插值算法，其原理为：已知数据(x0，y0)与(x1，y1)，计算区间[x0，x1]内任意一点x在直线上的值y，示意图如图7所示：由几何关系可得：
[0079][0080]
化简得：
[0081][0082]
可以看出，求y值实际上就是利用x和x0，x1的距离作为权重，用于y0和y1的加权。本发明进行几何畸变校正只考虑目标物体与相机水平距离对图像的影响，对透视变换之后的
图像进行校正时只沿图像纵轴方向进行缩放，不考虑水平方向缩放，因此可以结合最近邻插值和单线性插值进行处理，对rgb图像进行逐个通道单独处理，假设原图大小为h
×
w，取样框区域大小为h
×
w，经过几何畸变校正后图像大小为h1×
w，取样框区域大小为w
×
w，其中：
[0083][0084]
联立公式(7)，化简得：
[0085][0086]
公式11中，x为坐标原点a到图像上边缘的像素距离，由于图像大小为整数需要对h1进行取整。在求出目标图像尺寸大小后，逐个计算目标图像上的像素点坐标对应的原始图像像素点坐标得到其灰度值，最终组合成一幅经过几何畸变校正的图像。对于目标图像像素坐标(i，j)对应的原始图像像素坐标为(i0，j)，其中：
[0087][0088]
将i0当作因变量，t为微分参数，x，k在前面已给出定义，i为自变量，解上式定积分方程，得到：
[0089][0090]
对求得i0进行取整，则可以得到目标图像上任意一点对应原始图像上的点，并求出其灰度值，组合后得到经过几何畸变矫正的小麦冠层图像如图8所示，可以发现，经过图像畸变校正后的图像沿纵向非等比例缩放，靠近图像下边缘像素被放大，缩放比例沿纵向逐渐变小，靠近图像上边缘像素被缩小，这样可以消除由于倾斜拍照造成的离相机远的物体被缩小而离相机近的物体被放大的影响，进一步提高在体麦穗面积提取的准确度。
技术特征：1.一种侧俯视角度下田间小麦穗部图像的校正方法，其特征在于，该方法包括步骤：s1.基于透视变换的畸变图像校正，利用透视变换原理将透视图像校正为正视图像：已知正方形下底边两顶点坐标可根据边长求出正方形上底边两顶点坐标，将畸变图像上这4个目标点的坐标和对应正视图像上的坐标作为解透视变换参数矩阵的已知量，解出透视变换参数，再对畸变图像上的所有点进行透视变换算出对应正视图像坐标；s2.基于几何变换的畸变图像校正：根据目标物体与图像采集中心点之间的纵向距离计算权重系数，对透视变换之后的图像进行校正时只沿图像纵轴方向进行缩放，在求出目标图像尺寸大小后，结合最近邻插值和单线性插值进行处理，逐个计算目标图像上的像素点坐标对应的原始图像像素点坐标得到其灰度值，最终组合成一幅经过几何畸变校正的图像。2.根据权利要求1所述的侧俯视角度下田间小麦穗部图像的校正方法，其特征在于，步骤s1进一步包括：s1.1首先从图像中选取取样框的4个顶点，以此作为目标点，利用透视变换原理将透视图像校正为正视图像；二维图像的透视变换实际上是以中心点o为基准将平面上的点p(x，y)投影成另外一个平面上的点p
′
(u，v)，这个过程可以看作是三维物体向二维图像透视投影的一种形式；一个二维图像经过透视变换转换为另外一个平面图像的过程可以表示为：公式1中，(x，y)是畸变图像的像素坐标，(u，v)是正视图的像素坐标，a、b、c、d、e、f、m、l为透视变换参数；取取样框4个顶点作为目标点，由于取样框为内径边长0.5m的正方形，因此已知正方形下底边两顶点坐标可根据边长求出正方形上底边两顶点坐标，将畸变图像上这4个目标点的坐标和对应正视图像上的坐标作为解透视变换参数矩阵的已知量，解出透视变换参数，再对畸变图像上的所有点进行透视变换算出对应正视图像坐标；公式1的矩阵形式为：s1.2透视变换关系式2中有8个参数，采用图像点对的方式进行二维平面图像的透视变换计算，把畸变图像中的4个目标点坐标记为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)；相应的正视图像中的点坐标记为(u1，v1)、(u2，v2)、(u3，v3)、(u4，v4)，得到矩阵参数方程为：
记为：uv＝a
×
m
ꢀꢀꢀꢀ
(4)则：m＝a-1
×
uv
ꢀꢀꢀꢀ
(5)从而解出透视变换参数，最后利用解出的参数对原小麦冠层图像进行透视畸变校正。3.根据权利要求1所述的侧俯视角度下田间小麦穗部图像的校正方法，其特征在于，步骤s2进一步包括：s2.1小麦穗之间存在穗幅差和图像采集中心与小麦穗之间存在的不同纵向距离，根据目标物体与图像采集中心点之间的纵向距离计算权重系数，透视变换后正方形的取样框abcd变成了矩形，通过将矩形校正为正方形来抵消图像几何畸变；以矩形顶点a为坐标原点，矩形abcd为取样框中ad所在直线为x轴，ab所在直线为y轴，ad边长度变换关系式为：公式6中，h为线段ad长，w为线段ab长，k为距离变换系数，t为线段ad上一点与点a的距离，dt为线段ad上的微分，将上式化简，求得：s2.2根据透视变换后图像的坐标关系，计算出距离变换系数，再对图像进行几何畸变校正，采用灰度值插值算法计算出最终图像；利用最近邻插值法把与待求像素最近的像素值赋给待求像素；对于待求像素坐标(i+u，j+v)，可以根据u，v的取值判断与待求像素最近的像素点，得到待求像素点的灰度值；s2.3单线性插值法是只有一个变量的插值算法，其原理为：已知数据(x0，y0)与(x1，y1)，计算区间[x0，x1]内任意一点x在直线上的值y，示意图如图7所示：由几何关系可得：化简得：可以看出，求y值实际上就是利用x和x0，x1的距离作为权重，用于y0和y1的加权；s2.4对透视变换之后的图像进行校正时只沿图像纵轴方向进行缩放，不考虑横向方向
缩放，结合最近邻插值和单线性插值进行处理，对rgb图像进行逐个通道单独处理，假设原图大小为h
×
w，取样框区域大小为h
×
w，经过几何畸变校正后图像大小为h1×
w，取样框区域大小为w
×
w，其中：联立公式(7)，化简得：公式11中，x为坐标原点a到图像上边缘的像素距离，需要对h1进行取整；在求出目标图像尺寸大小后，逐个计算目标图像上的像素点坐标对应的原始图像像素点坐标得到其灰度值，最终组合成一幅经过几何畸变校正的图像；对于目标图像像素坐标(i，j)对应的原始图像像素坐标为(i0，j)，其中：将i0当作因变量，t为微分参数，x，k在前面已给出定义，i为自变量，解上式定积分方程，得到：对求得i0进行取整，则可以得到目标图像上任意一点对应原始图像上的点，并求出其灰度值，组合后得到经过几何畸变矫正的小麦冠层图像。
技术总结通用相机在侧俯视角度下获得大田区域小麦穗部图像存在畸变，获取各小麦穗部特征信息存在失真，同时图像中的小麦穗之间存在穗幅差，影响小麦穗部图像特征信息的准确获取，畸变校正包括透视和几何变换图像校正方法。横轴方向利用透视变换将透视图像校正为正视图像，畸变图像上4个目标点的坐标对应正视图像上的坐标作为解横向变换参数矩阵的已知量，解出横向变换参数，横向变换算出畸变图像上对应正视图像坐标点；根据目标物体与图像采集中心点之间的纵向距离计算权重系数，沿图像纵轴方向进行缩放，结合最近邻插值和单线性插值处理，逐个计算目标图像上像素点坐标对应的原始图像像素点坐标并得到其灰度值，组合成一幅经过几何畸变校正的图像。何畸变校正的图像。何畸变校正的图像。
技术研发人员：李毅念 钟晖 陈玉仑 刘璎瑛
受保护的技术使用者：南京农业大学
技术研发日：2022.01.07
技术公布日：2022/7/5
