本发明涉及图像处理，尤其涉及一种实时动态场景焦平面跟踪方法及跟踪系统。
背景技术：
1、在数字图像处理、计算机视觉和机器人视觉导航等领域，实时动态场景焦平面跟踪方法一直是一个重要的研究课题。特别是在复杂多变的动态环境中，如何实时、准确地捕获并跟踪目标物体，同时确保成像设备(如rgb相机)的焦平面与目标物体保持最佳匹配，对于提升图像质量、增强目标检测的准确性和可靠性具有重要意义。
2、传统的目标跟踪方法主要依赖于单一的视觉信息源(如rgb图像)，这种方法在光照条件稳定、背景相对简单的场景下表现良好。然而，在动态变化的场景中，由于光照条件的不稳定、背景物体的运动以及目标物体的姿态变化等因素，传统的目标跟踪方法往往难以取得满意的效果。
3、因此，有必要提供一种实时动态场景焦平面跟踪方法及跟踪系统解决上述技术问题。
技术实现思路
1、为解决上述技术问题，本发明提供一种实时动态场景焦平面跟踪方法及跟踪系统，通过结合深度图像和rgb图像的特征提高了目标跟踪的准确性和鲁棒性，通过动态调整rgb相机的焦平面，实现了对动态场景中目标物体的实时、准确跟踪和成像。
2、本发明提供的一种实时动态场景焦平面跟踪方法，跟踪方法包括以下步骤：
3、s1：获取当前场景的深度图像、rgb图像和环境光照参数；
4、s2：基于所述环境光照参数对所述rgb图像进行光照补偿，以及对所述深度图像进行预处理，对补偿后的所述rgb图像的视觉特征和预处理后的所述深度图像的几何特征进行融合处理，得到综合特征；
5、s3：基于融合后的综合特征应用预设的目标检测模型在所述当前场景中进行目标识别，得到至少一个跟踪目标；
6、s4：利用光流法追踪所述至少一个跟踪目标的位置，并结合所述深度图像估计所述至少一个跟踪目标的姿态，其中，所述姿态包括旋转角度和倾斜程度；
7、s5：结合所述深度图像和已检测到的至少一个跟踪目标的位置及旋转角度和倾斜程度计算出针对每个跟踪目标的最佳焦平面，并根据每个跟踪目标与rgb相机的相对位移动态调整所述rgb相机的焦平面，使所述rgb相机的焦平面与计算出的最佳焦平面重合。
8、优选的，在步骤s1中，所述深度图像、rgb图像和环境光照参数分别通过部署在当前场景中的深度相机、rgb相机和光照传感器获取。
9、优选的，在步骤s2中，所述rgb图像的光照补偿包括：
10、根据获取的所述环境光照参数，确定所述当前场景的光照强度和光照方向；
11、基于所述当前场景的光照强度和光照方向，应用直方图均衡化光照补偿算法调整所述rgb图像的亮度和对比度。
12、优选的，在步骤s2中，所述深度图像的预处理包括噪声抑制、深度平滑和边缘保留。
13、优选的，在步骤s2中，融合处理包括：
14、s201：对光照补偿后的所述rgb图像进行视觉特征提取，其中，所述视觉特征包括颜色和纹理；以及对预处理后的所述深度图像进行几何特征提取，其中，所述几何特征包括距离和深度梯度；
15、s202：将所述深度图像的几何特征映射到所述rgb图像的视觉特征的坐标系中；
16、s203：采用特征融合算法对视觉特征和映射后的几何特征进行融合处理，得到综合特征。
17、优选的，步骤s3具体包括：
18、s301：将所述综合特征输入预设的目标检测模型进行前向传播计算，由所述目标检测模型输出当前场景中的至少一个跟踪目标及置信度，其中，所述目标检测模型为基于综合特征训练集训练得到的卷积神经模型；
19、s302：基于预设的置信度阈值对所述至少一个跟踪目标进行分类处理，得到每个跟踪目标的类别；
20、s303：为每个通过置信度筛选的跟踪目标分配唯一的标识id。
21、优选的，步骤s4包括：
22、s401：基于相邻帧之间的rgb图像，使用光流算法计算出当前场景中像素点的运动向量，以构建光流场；
23、s402：利用光流场的信息，更新上一帧中检测到的跟踪目标在当前帧中的位置；
24、s403：基于所述深度图像的深度梯度，利用三维坐标重建方法估计跟踪目标在三维空间中的姿态，其中，所述姿态包括旋转角度和倾斜程度。
25、优选的，步骤s5包括：
26、s501：基于跟踪目标的位置和姿态计算跟踪目标在所述深度图像中的目标深度，并基于所述目标深度计算跟踪目标的最佳焦平面距离；
27、s502：结合所述深度图像和跟踪目标的姿态，计算跟踪目标的中心与所述rgb相机的中心之间的相对位置矢量，并基于所述相对位置矢量修正计算的最佳焦平面距离；
28、s503：根据修正后的最佳焦平面距离，调整rgb相机的焦平面，确保跟踪目标处于最佳焦平面上。
29、本发明还提供了一种实时动态场景焦平面跟踪系统，应用于一种实时动态场景焦平面跟踪方法，跟踪系统包括：
30、获取模块，用于获取当前场景的深度图像、rgb图像和环境光照参数；
31、图像处理模块，用于基于所述环境光照参数对所述rgb图像进行光照补偿，以及对所述深度图像进行预处理，对补偿后的所述rgb图像的视觉特征和预处理后的所述深度图像的几何特征进行融合处理，得到综合特征；
32、目标识别模块，用于基于融合后的综合特征应用预设的目标检测模型在所述当前场景中进行目标识别，得到至少一个跟踪目标；
33、姿态估计模块，用于利用光流法追踪所述至少一个跟踪目标的位置，并结合所述深度图像估计所述至少一个跟踪目标的姿态，其中，所述姿态包括旋转角度和倾斜程度；
34、焦平面调整模块，用于结合所述深度图像和已检测到的至少一个跟踪目标的位置及旋转角度和倾斜程度计算出针对每个跟踪目标的最佳焦平面，并根据每个跟踪目标与rgb相机的相对位移动态调整所述rgb相机的焦平面，使所述rgb相机的焦平面与计算出的最佳焦平面重合。
35、与相关技术相比较，本发明提供的一种实时动态场景焦平面跟踪方法及跟踪系统具有如下有益效果：
36、本发明通过获取当前场景的深度图像、rgb图像和环境光照参数，对rgb图像进行光照补偿，对深度图像进行预处理，并将两者的特征进行融合处理，得到综合特征；然后，基于融合后的综合特征应用预设的目标检测模型进行目标识别，得到至少一个跟踪目标；接着，利用光流法追踪跟踪目标的位置，并结合深度图像估计跟踪目标的姿态(包括旋转角度和倾斜程度)；最后，根据跟踪目标与rgb相机的相对位移动态调整rgb相机的焦平面，使其与计算出的最佳焦平面重合，从而实现了对动态场景中目标物体的实时、准确跟踪和焦平面调整。
1.一种实时动态场景焦平面跟踪方法，其特征在于，跟踪方法包括以下步骤：
2.根据权利要求1所述的一种实时动态场景焦平面跟踪方法，其特征在于，在步骤s1中，所述深度图像、rgb图像和环境光照参数分别通过部署在当前场景中的深度相机、rgb相机和光照传感器获取。
3.根据权利要求2所述的一种实时动态场景焦平面跟踪方法，其特征在于，在步骤s2中，所述rgb图像的光照补偿包括：
4.根据权利要求3所述的一种实时动态场景焦平面跟踪方法，其特征在于，在步骤s2中，所述深度图像的预处理包括噪声抑制、深度平滑和边缘保留。
5.根据权利要求4所述的一种实时动态场景焦平面跟踪方法，其特征在于，在步骤s2中，融合处理包括：
6.根据权利要求5所述的一种实时动态场景焦平面跟踪方法，其特征在于，步骤s3具体包括：
7.根据权利要求6所述的一种实时动态场景焦平面跟踪方法，其特征在于，步骤s4包括：
8.根据权利要求7所述的一种实时动态场景焦平面跟踪方法，其特征在于，步骤s5包括：
9.一种实时动态场景焦平面跟踪系统，应用于如权利要求1至8任意一项所述的一种实时动态场景焦平面跟踪方法，其特征在于，跟踪系统包括：
