一种基于超分辨率重建的行人追踪方法及系统

allin2025-02-28  58


本发明涉及图像追踪,具体涉及一种超分辨率重建的行人追踪方法及系统。


背景技术:

1、在当前多目标跟踪技术的核心领域中,多行人跟踪已占据主导地位。然而,实际应用中面临的一大挑战源自成像系统的局限性与复杂多变的环境条件,如光照波动,这些因素直接导致了视频质量的显著下降。视频质量的劣化具体表现为目标边缘的模糊化、颜色信息的失真以及背景中噪声的显著增加,这些问题构成了对目标精准识别与连续跟踪的重大障碍。

2、具体而言,模糊的边界和失真的色彩特性严重干扰了目标的特征提取过程,使得目标检测算法难以精确锁定目标的空间位置并预测其运动轨迹。同时,背景中混杂的噪声信号往往被错误地纳入目标检测范畴,不仅触发了不必要的误报,还可能导致目标身份的混淆与错误关联,从而大幅度削弱了多目标跟踪系统的准确性和效率,并额外加重了计算负担。

3、因此,本发明旨在通过一种超分辨率重建的行人追踪方法及系统,以解决上述提到的相关问题。


技术实现思路

1、本发明所要解决的技术问题是现有行人追踪技术中因视频质量的劣化造成对目标精准识别与连续跟踪的重大障碍的相关问题,目的在于提供一种超分辨率重建的行人追踪方法及系统,在本发明中,利用改进后的esrgan模型对低分辨视频图像进行超分重建,能够提高图像的分辨率和清晰度,从而使目标检测能够更准确地识别图像中的目标,并减少误判和漏判的情况,有助于提高目标追踪的准确性和可靠性;改进的esrgan模型将原有esrgan模型的生成器中的rrdb结构的db残差密集模块,更换为sadb空间注意力密集模块,替换得到rr-sadb结构,利用多个rr-sadb结构和多个sadb空间注意力密集模块的多层结构相结合,使该结构具有更深的层次和更加复杂的结构,提升了特征表达能力,能够有效提高模型的性能,能够得到图像中的高频细节与边缘信息,有助于生成更加清晰、细腻的超分辨率图像。

2、本发明通过下述技术方案实现:

3、一种基于超分辨率重建的行人追踪方法,方法包括:

4、利用行人高分辨率图像对改进的esrgan模型进行训练,得到训练后的超分网络模型;

5、将训练后的超分网络模型对待重建的行人低分辨率图像进行超分重建,得到超分后的行人高分辨率图像,再将超分后的行人高分辨率图像输入至预设的目标检测网络模型,得到行人目标检测信息,利用行人目标检查信息进行检测框和行人轨迹的关联匹配,得到行人追踪轨迹;

6、改进的esrgan模型具体为将原有esrgan模型的生成器中的rrdb结构的db残差密集模块,更换为sadb空间注意力密集模块,替换得到rr-sadb结构。

7、进一步地,改进的esrgan模型的生成器包括多个rr-sadb结构、多个第一卷积层、上采样层、至少一个第一激活函数层。

8、进一步地,rr-sadb结构包括多个依次连接的sadb空间注意力密集模块。

9、进一步地,sadb空间注意力密集模块包括多个依次连接的多尺度特征提取模块,以及至少一个空间注意力模块。

10、进一步地,多尺度特征提取模块采用上下分支并行结构,模块上分支包括至少一个第一卷积层和至少一个第一激活函数,模块下分支包括多个第一卷积层和至少一个第一激活函数层。

11、进一步地,空间注意力模块包括多个第二卷积层、至少一个最大池化层、至少一个第一卷积层、至少一个上采样层以及至少一个第二激活函数层。

12、进一步地,改进的esrgan模型的鉴别器包括至少一个第一卷积层、至少一个第一激活函数层、多个全连接层、至少一个第二激活函数层,以及多个由第一卷积层、批量归一化层和第一激活函数层构成的卷积模块。

13、进一步地,利用行人高分辨率图像对改进的esrgan模型进行训练,得到训练后的超分网络模型,具体为:

14、采集行人高分辨率图像,构建初始模型训练集;

15、对初始模型训练集进行预处理,得到处理后的包含待处理行人低分辨率图像的模型训练集;

16、将模型训练集中待处理行人低分辨率图像输入至改进的esrgan模型的生成器中进行超分处理,输出超分后的行人高分辨率图像数据集;

17、将超分后的行人高分辨率图像数据集与模型训练集的行人高分辨率图像进行鉴别分析,计算预设的损失函数的数值并进行模型参数更新;

18、经多次迭代训练,直至预设的损失函数收敛,得到训练完成的行人图像的超分网络模型。

19、进一步地,利用行人目标检查信息进行检测框和行人轨迹的关联匹配,其中,目标检查信息包括检测框、类别标签和置信度;具体为:

20、将当前时刻的高分辨率图像的检测框基于预设的置信度阈值,分为高置信度检测框与低置信度检测框;

21、使用卡尔曼滤波器预测当前时刻的高分辨率图像的轨迹在下一时刻的预测框位置,将预测框与高置信度检测框进行交并比iou相似度计算,并依据iou相似度通过匈牙利算法进行匹配,得到匹配后的高置信度检测框-轨迹对、未匹配的高置信度检测框以及未匹配的轨迹;

22、使用卡尔曼滤波器预测当前时刻的高分辨率图像的轨迹在下一时刻的预测框位置,将预测框与低置信度检测框进行交并比iou相似度计算,并依据iou相似度通过匈牙利算法进行匹配,得到匹配后的低置信度检测框-轨迹对、未匹配的低置信度检测框以及未匹配的轨迹;

23、经多次循环匹配,直至所有检测框与轨迹匹配成功,则完成检测框和轨迹的关联匹配,将匹配的检测框更新到对应匹配的轨迹中。

24、本发明还提供一种基于超分辨率重建的行人追踪系统,系统包括

25、模型训练模块,用于利用行人高分辨率图像对改进的esrgan模型进行训练,得到训练后的超分网络模型,其中,改进的esrgan模型具体为将原有esrgan模型的生成器中的rrdb结构的db残差密集模块,更换为sadb空间注意力密集模块,替换得到rr-sadb结构;

26、图像超分模块,用于将训练后的超分网络模型对待重建的行人低分辨率图像进行超分重建,得到超分后的行人高分辨率图像;

27、信息获取模块,用于将超分后的行人高分辨率图像输入至预设的目标检测网络模型,得到行人目标检测信息;

28、轨迹匹配模块,用于利用行人目标检查信息进行检测框和行人轨迹的关联匹配,得到行人追踪轨迹。

29、本发明与现有技术相比,具有如下的优点和有益效果:

30、1.在本发明中,利用改进后的esrgan模型对低分辨视频图像进行超分重建,能够提高图像的分辨率和清晰度,从而使目标检测能够更准确地识别图像中的目标,并减少误判和漏判的情况,有助于提高目标追踪的准确性和可靠性;改进的esrgan模型将原有esrgan模型的生成器中的rrdb结构的db残差密集模块,更换为sadb空间注意力密集模块,替换得到rr-sadb结构,利用多个rr-sadb结构和多个sadb空间注意力密集模块的多层结构相结合,使该结构具有更深的层次和更加复杂的结构,提升了特征表达能力,能够有效提高模型的性能,能够得到图像中的高频细节与边缘信息,有助于生成更加清晰、细腻的超分辨率图像。

31、2.在本发明中,在对esrgan模型改进的基础上引入了多尺度特征提取模块以及空间注意力模块,显著提高超分辨率图像的质量、增强网络对关键信息的捕捉能力以及提升整体性能。


技术特征:

1.一种基于超分辨率重建的行人追踪方法,其特征在于,方法包括:

2.根据权利要求1所述的一种基于超分辨率重建的行人追踪方法,其特征在于,改进的esrgan模型的生成器包括多个rr-sadb结构、多个第一卷积层、上采样层、至少一个第一激活函数层。

3.根据权利要求2所述的一种基于超分辨率重建的行人追踪方法,其特征在于,rr-sadb结构包括多个依次连接的sadb空间注意力密集模块。

4.根据权利要求3所述的一种基于超分辨率重建的行人追踪方法,其特征在于,sadb空间注意力密集模块包括多个依次连接的多尺度特征提取模块,以及至少一个空间注意力模块。

5.根据权利要求4所述的一种基于超分辨率重建的行人追踪方法,其特征在于,多尺度特征提取模块采用上下分支并行结构,模块上分支包括至少一个第一卷积层和至少一个第一激活函数,模块下分支包括多个第一卷积层和至少一个第一激活函数层。

6.根据权利要求4所述的一种基于超分辨率重建的行人追踪方法,其特征在于,空间注意力模块包括多个第二卷积层、至少一个最大池化层、至少一个第一卷积层、至少一个上采样层以及至少一个第二激活函数层。

7.根据权利要求1所述的一种基于超分辨率重建的行人追踪方法,其特征在于,改进的esrgan模型的鉴别器包括至少一个第一卷积层、至少一个第一激活函数层、多个全连接层、至少一个第二激活函数层,以及多个由第一卷积层、批量归一化层和第一激活函数层构成的卷积模块。

8.根据权利要求1所述的一种基于超分辨率重建的行人追踪方法,其特征在于,利用行人高分辨率图像对改进的esrgan模型进行训练,得到训练后的超分网络模型,具体为:

9.根据权利要求1所述的一种基于超分辨率重建的行人追踪方法,其特征在于,利用行人目标检查信息进行检测框和行人轨迹的关联匹配,其中,目标检查信息包括检测框、类别标签和置信度;具体为:

10.一种用于权利要求1-9任意一项所述基于超分辨率重建的行人追踪方法的行人追踪系统,其特征在于,系统包括:


技术总结
本发明公开了一种基于超分辨率重建的行人追踪方法及系统,具体涉及图像追踪技术领域,其技术要点为:方法包括:利用行人高分辨率图像对改进的ESRGAN模型进行训练,得到训练后的超分网络模型;将训练后的超分网络模型对待重建的行人低分辨率图像进行超分重建,得到超分后的行人高分辨率图像,再将超分后的行人高分辨率图像输入至预设的目标检测网络模型,得到行人目标检测信息,利用行人目标检查信息进行检测框和行人轨迹的关联匹配,得到行人追踪轨迹;改进的ESRGAN模型具体为将原有ESRGAN模型的生成器中的RRDB结构的DB残差密集模块,更换为SADB空间注意力密集模块,替换得到RR‑SADB结构。

技术研发人员:张纪强,雒江涛,冉泳屹,赵江同,刘慧胜
受保护的技术使用者:重庆邮电大学
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-18907.html

最新回复(0)