基于关键点检测和单侧深度成像的牛只体尺自动测量方法

allin2025-02-10  68


本发明涉及牛只体尺测量,更具体的说是涉及一种基于关键点检测和单侧深度成像的牛只体尺自动测量方法。


背景技术:

1、在现代畜牧业管理中,牛只的体尺测量是一个关键的生产性指标,牛只体尺不仅对其市场价值、遗传改良和饲养管理策略有显著影响,还直接关联到健康状况、肉质品质和繁殖性能。在传统的养殖生产中,多是采用直接接触工具进行体尺的检测,然而人工测量方法需要经验丰富的工人,不仅费时费力,并且结果也很主观,容易受到外部环境和经验的影响,在测量中还可能有损动物福利。随着技术的发展,非接触式传感技术提供了一种新的测量方式,非接触式传感技术能够实时监测牛只体尺,极大地提高了畜牧业的管理精准度和效率,通过非接触式的方法进行牛身体测量对于畜牧业的集约化和可持续化生产有着重要意义。现有的非接触式传感技术主要为利用二维图像分析和三维重建技术进行体尺测量,二维图像分析虽然操作简便,但因图像质量和分辨率的限制,其准确性经常受到挑战;而三维重建技术虽然能够提供更全面的深度信息,减少对光照条件的依赖,提高测量精度,但它通常需要配置多个摄像头和复杂的设备,成本高昂,而且在复杂的农场环境中灵活性较差。并且无论是二维图像还是三维重建技术,都常常需要手动标记关键点或依赖复杂的算法来提取特征,这不仅操作复杂,而且在资源有限的环境下易出错,增加了实际应用的难度。因此,如何提供一种基于关键点检测和单侧深度成像的牛只体尺自动测量方法是本领域技术人员亟需解决的问题。


技术实现思路

1、有鉴于此,本发明提供了一种基于关键点检测和单侧深度成像的牛只体尺自动测量方法,利用深度相机获取单侧的牛体深度图像,结合同步捕获的rgb图像,通过图像融合技术精确定位牛体关键点,将牛体关键点结合欧氏距离、移动最小二乘方法、径向基函数和三次b条样插值方法计算牛只体尺参数。

2、为了实现上述目的,本发明提供如下技术方案:

3、一种基于关键点检测和单侧深度成像的牛只体尺自动测量方法,包括以下步骤:

4、s1、采集牛只图像数据并基于目标识别算法和目标追踪算法获取目标牛只rgb图像和深度图像;

5、s2、基于内容感知特征重组模块和简化空间金字塔池化快速模块改进yolov8-pose网络,检测rgb图像中的牛体关键点;

6、s3、利用深度图像和rgb图像的融合来确定牛体关键点在三维空间中的精确位置;

7、s4、计算牛体关键点在三维空间中的精确位置之间的欧氏距离,获得牛的体高、牛的体斜长以及十字部高;

8、s5、在三维空间中牛的鬐甲后缘点到胸基垂直点之间,生成数个沿着鬐甲后缘点到胸基垂直点连线的中间点,形成三维空间中的连续曲线段,上半部分的中间点沿y轴对进行对称变换生成胸围另一侧上半部分镜像点;

9、s6、采用移动最小二乘方法和径向基函数对点集进行调整,在获得上半部分的数据点曲线后,使用三次b样条插值方法来预测并补全胸围曲线的下半部分;

10、s7、通过计算环形上相邻点间的距离进行累加求和获得牛的胸围,其中每一段距离采用欧氏距离公式来计算。

11、可选的,s1具体为:采集牛只图像数据,使用数据增强技术来增加模型的鲁棒性,接着将图像输入到预训练的cnn模型中,通过在cnn模型的顶层添加全连接层,将深层特征映射到牛只的身份标签上,实现精确的个体识别;在牛只被初步识别后,采用了目标追踪算法deepsort进行目标跟踪,锁定目标牛只后,通过搭载深度相机的边缘设备获取目标牛只的rgb图像和深度图像。

12、可选的,s2具体为:将yolov8-pose网络中的标准上采样模块和空间金字塔池化快速模块替换为内容感知特征重组模块和简化空间金字塔池化快速模块,基于优化后的yolov8-pose网络检测rgb图像中的牛体关键点。

13、可选的,s3具体为:将以16位无符号整数格式存储的深度图像转化为单通道图像,计算肩部和坐骨端之间中点周围的3x3像素区域的平均深度davg:

14、

15、式中,(xmid,ymid)是肩部与坐骨端之间中点的像素坐标,idepth(x,y)是在x,y位置的深度值;

16、在设定的搜索半径max_radius内,查找与平均深度davg差异在500毫米以内的最近有效深度dnearest:

17、

18、式中,是在给定的搜索半径内,对所有深度值进行最小化搜索,idepth(zmid+dx,ymid+dy)代表在中点周围指定偏移位置的深度值;

19、利用相机的内参矩阵k,通过逆投影变换将图像坐标[x,y,1]t和最近有效深度dnearest结合,转换为三维世界坐标pworld:

20、pworld=k-1·[x,y,1]t·dnearest。

21、可选的,s4具体为:计算牛鬐最高点至牛蹄底的欧氏距离作为牛的体高,计算牛肩端点到坐骨端外缘点的欧氏距离作为牛的体斜长,获取牛蹄点作为接触地面的关键标记,将十字部点的横向坐标与牛蹄点的纵向坐标结合,利用牛蹄点的深度值构建出一个新的三维空间点,计算十字部点与新的三维空间点之间的欧式距离作为十字部高。

22、可选的,s6具体为:采用移动最小二乘方法和径向基函数对点集进行调整:

23、

24、式中,为基于移动最小二乘方法得到的权重,φ为径向基函数,t为点集;

25、使用三次b样条插值方法来预测并补全胸围曲线的下半部分s(t):

26、

27、式中,bi(t)为基样条函数,pi为控制点。

28、可选的,s7具体为:

29、

30、式中,circumference为牛的胸围。

31、经由上述的技术方案可知,与现有技术相比,本发明提供了一种基于关键点检测和单侧深度成像的牛只体尺自动测量方法,具有以下有益效果:

32、1.本发明通过非接触式将深度图像与rgb图像相结合,既保障了非接触式测量的综合优势,又区别于点云或三维重建较为复杂、灵活性差和成本较高的方法,不仅显著提高了牛体尺寸测量的自动化和精确性,还优化了操作的便捷性和非接触性,大幅降低了成本并提升了动物福利;

33、2.本发明选择yolov8-pose关键点检测模型,在主干网络中通过简化空间金字塔池化快速模块替换原始的空间金字塔池化快速模块对空间金字塔池化进行优化,在颈部引入内容感知特征重组模块替换标准上采样模块,改进后的关键点检测模型可以对牛体边缘关键点有更好的感知,通过关键点检测模型识别牛体关键点,区别于以往图像分割、点云等需手动标记关键点或依赖复杂算法提取特征的方式,在实际的农场养殖环境中更为适用;

34、3.本发明采用移动最小二乘方法和径向基函数用于进一步精确调整关键点位置,以弥补由于牛体自然运动或环境因素引起的位置偏差,保证关键点的空间准确性,然后,使用三次b样条插值技术生成连贯的体尺测量曲线,确保测量结果的连续性和精确度,显著提高了牛只体尺数据的可靠性和精确性,为牧场管理和畜牧业研究提供了一种高效、低成本且非侵入式的测量方案,极大地优化了现场操作的灵活性和效率。


技术特征:

1.一种基于关键点检测和单侧深度成像的牛只体尺自动测量方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于关键点检测和单侧深度成像的牛只体尺自动测量方法,其特征在于,s1具体为:采集牛只图像数据,使用数据增强技术来增加模型的鲁棒性,接着将图像输入到预训练的cnn模型中,通过在cnn模型的顶层添加全连接层,将深层特征映射到牛只的身份标签上,实现精确的个体识别;在牛只被初步识别后,采用了目标追踪算法deepsort进行目标跟踪,锁定目标牛只后,通过搭载深度相机的边缘设备获取目标牛只的rgb图像和深度图像。

3.根据权利要求1所述的一种基于关键点检测和单侧深度成像的牛只体尺自动测量方法,其特征在于,s2具体为:将yolov8-pose网络中的标准上采样模块和空间金字塔池化快速模块替换为内容感知特征重组模块和简化空间金字塔池化快速模块,基于优化后的yolov8-pose网络检测rgb图像中的牛体关键点。

4.根据权利要求1所述的一种基于关键点检测和单侧深度成像的牛只体尺自动测量方法,其特征在于,s3具体为:将以16位无符号整数格式存储的深度图像转化为单通道图像,计算肩部和坐骨端之间中点周围的3x3像素区域的平均深度davg:

5.根据权利要求1所述的一种基于关键点检测和单侧深度成像的牛只体尺自动测量方法,其特征在于,s4具体为:计算牛鬐最高点至牛蹄底的欧氏距离作为牛的体高,计算牛肩端点到坐骨端外缘点的欧氏距离作为牛的体斜长,获取牛蹄点作为接触地面的关键标记,将十字部点的横向坐标与牛蹄点的纵向坐标结合,利用牛蹄点的深度值构建出一个新的三维空间点,计算十字部点与新的三维空间点之间的欧式距离作为十字部高。

6.根据权利要求1所述的一种基于关键点检测和单侧深度成像的牛只体尺自动测量方法,其特征在于,s6具体为:采用移动最小二乘方法和径向基函数对点集进行调整:

7.根据权利要求1所述的一种基于关键点检测和单侧深度成像的牛只体尺自动测量方法,其特征在于,s7具体为:


技术总结
本发明公开了一种基于关键点检测和单侧深度成像的牛只体尺自动测量方法,应用于牛只体尺测量技术领域。利用深度相机获取单侧的牛体深度图像,结合同步捕获的RGB图像,通过图像融合技术精确定位牛体关键点,然后通过改进的YOLOv8‑Pose模型准确识别出二维图像上牛体各关键特征点,接下来通过条件过滤优化关键点在深度图像上的表示,进一步确保了测量的精确性,最后将牛体关键点结合欧式距离、移动最小二乘方法、径向基函数和三次B条样插值方法计算牛只体尺参数。本发明不仅显著提高了牛体尺寸测量的自动化和精确性,还优化了操作的便捷性和非接触性,大幅降低了成本并提升了动物福利。

技术研发人员:孙伟,曹姗姗,孔繁涛,彭诚,韩昀,李世杰,陈若彤
受保护的技术使用者:中国农业科学院农业信息研究所
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-18451.html

最新回复(0)