本发明涉及图像处理,尤其涉及视频遮挡修复方法、装置、设备、存储介质及程序产品。
背景技术:
1、随着摄像头技术的发展,视频技术被越来越多地应用,摄像头拍摄到的内容中涉及的目标也越来越复杂,监控视频中经常会出现遮挡问题。
2、监控视频中的遮挡问题会造成诸多不利影响,例如目标丢失、虚假报警和目标轨迹不连续等,严重影响监控系统的性能和可靠性。
技术实现思路
1、本发明提供视频遮挡修复方法、装置、设备、存储介质及程序产品,用以解决现有技术中监控视频存在遮挡影响监控可靠性的缺陷,实现对监控视频中的遮挡进行修复,提高监控可靠性。
2、本发明提供一种视频遮挡修复方法,包括:
3、基于各个候选帧与待修复视频帧的相关性确定关键帧;
4、将所述关键帧和所述待修复视频帧分别输入至目标检测模型的特征提取层中,获取所述特征提取层输出的第一特征图和第二特征图;
5、将所述第一特征图和所述第二特征图分别输入至所述目标检测模型的目标检测层中,获取所述目标检测层输出的第一目标检测结果和第二目标检测结果;
6、对所述第一特征图和所述第二特征图进行像素匹配,得到像素匹配结果,基于所述像素匹配结果对所述待修复视频帧中的遮挡区域的像素值进行恢复,得到恢复图像;
7、基于所述第一目标检测结果和所述第二目标检测结果确定所述恢复图像的置信度,对所述恢复图像添加所述置信度。
8、根据本发明提供的一种视频遮挡修复方法,所述基于所述第一特征图和所述第二特征图进行像素匹配,得到像素匹配结果,包括:
9、对所述第一特征图和所述第二特征图分别进行高斯卷积,得到第三特征图和第四特征图;
10、基于所述第三特征图和所述第四特征图进行像素匹配,得到所述像素匹配结果。
11、根据本发明提供的一种视频遮挡修复方法,所述基于所述第一目标检测结果和所述第二目标检测结果确定所述恢复图像的置信度,包括:
12、基于所述第一目标检测结果、所述第二目标检测结果以及所述恢复图像确定所述待修复视频帧中目标的遮挡程度;
13、基于所述遮挡程度获取所述恢复图像的置信度。
14、根据本发明提供的一种视频遮挡修复方法,所述基于所述第一目标检测结果、所述第二目标检测结果以及所述恢复图像确定所述待修复视频帧中目标的遮挡程度,包括:
15、基于所述第一目标检测结果和所述第二目标检测结果进行匹配,确定所述关键帧中的待判定目标;
16、基于所述恢复图像以及所述关键帧之间的像素位置差异确定像素位移向量;
17、基于所述像素位移向量确定所述待判定目标在所述待修复视频帧对应的时刻的三维空间坐标;
18、获取所述待修复视频帧中遮挡区域的三维空间坐标;
19、基于所述待判定目标在所述待修复视频帧对应的时刻的三维空间坐标以及所述待修复视频帧中遮挡区域的三维空间坐标确定所述遮挡程度。
20、根据本发明提供的一种视频遮挡修复方法,所述特征提取层包括上采样模块、卷积模块以及特征融合模块,所述上采样模块用于对特征图像进行多次上采样,得到特征图金字塔;所述卷积模块用于对所述特征图金字塔中的每一层图像进行卷积处理,得到多个卷积特征图,所述特征融合模块用于对上一层的融合特征图进行上采样后与本层的所述卷积特征图融合,得到本层的所述融合特征图,最底层的所述融合特征图为所述特征提取层输出的特征图。
21、根据本发明提供的一种视频遮挡修复方法,所述基于各个候选帧与所述待修复视频帧的相关性确定关键帧,包括:
22、获取所述候选帧与所述待修复视频帧的像素矩阵相关系数;
23、获取所述候选帧与所述待修复视频帧的频域相关系数;
24、基于各个所述候选帧分别对应的所述像素矩阵相关系数和所述频域相关系数确定所述关键帧。
25、本发明还提供一种视频遮挡修复装置,包括:
26、关键帧提取模块,用于基于各个候选帧与待修复视频帧的相关性确定关键帧;
27、特征提取模块,用于将所述关键帧和所述待修复视频帧分别输入至目标检测模型的特征提取层中,获取所述特征提取层输出的第一特征图和第二特征图;
28、目标检测模块,用于将所述第一特征图和所述第二特征图分别输入至所述目标检测模型的目标检测层中,获取所述目标检测层输出的第一目标检测结果和第二目标检测结果;
29、像素匹配模块,用于对所述第一特征图和所述第二特征图进行像素匹配,得到像素匹配结果,基于所述像素匹配结果对所述待修复视频帧中的遮挡区域的像素值进行恢复,得到恢复图像;
30、置信度添加模块,用于基于所述第一目标检测结果和所述第二目标检测结果确定所述恢复图像的置信度,对所述恢复图像添加所述置信度。
31、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述视频遮挡修复方法。
32、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述视频遮挡修复方法。
33、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述视频遮挡修复方法。
34、本发明提供的视频遮挡修复方法、装置、设备、存储介质及程序产品,通过基于候选帧与待修复视频帧的相关性确定关键帧,将关键帧和待修复视频帧分别输入至目标检测模型的特征提取层中,获取特征提取层输出的第一特征图和第二特征图,基于第一特征图和第二特征图进行像素匹配,得到像素匹配结果,基于像素匹配结果对待修复视频帧中的遮挡区域的像素值进行恢复,得到恢复图像,并且进一步地将第一特征图和第二特征图分别输入至目标检测模型的目标检测层中,获取目标检测层输出的第一目标检测结果和第二目标检测结果,基于第一目标检测结果和第二目标检测结果还确定恢复图像的置信度,可以实现对视频帧中遮挡区域的可靠恢复,提高监控可控性。
1.一种视频遮挡修复方法,其特征在于,包括:
2.根据权利要求1所述的视频遮挡修复方法,其特征在于,所述基于所述第一特征图和所述第二特征图进行像素匹配,得到像素匹配结果,包括:
3.根据权利要求1所述的视频遮挡修复方法,其特征在于,所述基于所述第一目标检测结果和所述第二目标检测结果确定所述恢复图像的置信度,包括:
4.根据权利要求3所述的视频遮挡修复方法,其特征在于,所述基于所述第一目标检测结果、所述第二目标检测结果以及所述恢复图像确定所述待修复视频帧中目标的遮挡程度,包括:
5.根据权利要求1所述的视频遮挡修复方法,其特征在于,所述特征提取层包括上采样模块、卷积模块以及特征融合模块,所述上采样模块用于对特征图像进行多次上采样,得到特征图金字塔;所述卷积模块用于对所述特征图金字塔中的每一层图像进行卷积处理,得到多个卷积特征图,所述特征融合模块用于对上一层的融合特征图进行上采样后与本层的所述卷积特征图融合,得到本层的所述融合特征图,最底层的所述融合特征图为所述特征提取层输出的特征图。
6.根据权利要求1所述的视频遮挡修复方法,其特征在于,所述基于各个候选帧与所述待修复视频帧的相关性确定关键帧,包括:
7.一种视频遮挡修复装置,其特征在于,包括:
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述视频遮挡修复方法。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述视频遮挡修复方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述视频遮挡修复方法。