本发明涉及一种在视频中对多个目标进行实时跟踪与越线计数的方法。具体的说，设计一种联合fastreid与iou的多目标跟踪方法，并基于设计的跟踪算法进行目标越线计数。
背景技术：
1、随着全球人口的增加，公共场所的人群分析与监测已经成为一个热门话题。人们越来越倾向于参与嘉年华、体育、音乐会和节日等人群聚集类活动[1]，这些大规模事件的增加引起了安全隐患的同比增加，拥挤的出入口区向组织者确保安全与商业健康提出了挑战，适当的安全措施和人群管理变得愈发重要。为估计人群密度，追踪拥挤地区的人类活动，人群的分析与监测技术成为了当前研究的热点[2]。
2、人群的分析与监测通常被分为行人跟踪与行人计数两个部分[2]，行人跟踪的目标是从视频中跟踪目标的行动路径，链接成轨迹并最终在视频中呈现出来。行人计数的目标是在视频中统计人群数量并监测人群动态。但由于实际情境中存在的遮挡、不同目标的外观和背景/前景目标检测、拥挤场景、目标快速运动等问题[3]，目前仍无法保证快速而精确地执行行人目标的跟踪与计数。
3、在跟踪方面，通过检测跟踪是目前最有效的范式[4]。早期研究者提出利用卡尔曼滤波对目标进行预测和更新，并利用匈牙利算法匹配预测参数和检测帧的一套整体框架，在没有遮挡的情况下可以实现精准跟踪，但在遮挡情况下跟踪效果较差。后续有研究者继续改进，通过在数据关联中iou匹配的空白期使用单目标视觉跟踪器进行跟踪填补空隙，提升了简单遮挡场景下跟踪的准确度(mota)，却仍存在id switch问题[5]。为提升多目标跟踪算法在遮挡情况下的目标咬合性能，又有研究者引入re-id特征，改善了sort的id switch问题，但跟踪的精确度却有所下降[6]。在这种情况下，若能够综合考虑re-id与iou信息，或许能够在跟踪器的检测能力(mota)与跟踪器随着时间的推移保持正确身份的能力(idf1)之间找到平衡。
4、在计数方面，早期研究者提出了一种基于高斯过程回归来实现计数的算法，能够提高人数统计的准确性，但因其计算量较大且收效缓慢，不适合人数较多的情况。后续有研究者采用帧差法进行目标计数，能加快计算效率，但却对环境要求较为苛刻，无法满足在公共区域进行行人检测的要求，选择过低的阈值则不能处理好背景，过高则会出现无法正常识别行人的问题。直到基于跟踪进行计数的框架的提出，通过卡尔曼滤波器完成跟踪，并结合检测结果进行头部计数，可在保证计数精度的同时提升实时效率，但这类框架较为依赖跟踪器的性能，又因其在跟踪部分仅采用了卡尔曼滤波，在运动目标长时间被遮挡时易出现目标丢失问题[7]。在这种情况下，若能引入高效可靠的跟踪器作为计数的支撑，或许能够解决上述问题。
5、上文中提到的文献来源于如下的文章：
6、[1]jalal，ahmad，yeonho kim，yong-joong kim，shaharyar kamal，daijin kim:robust human activity recogni-tion from depth video using spatiotemporalmulti-fused features.pattern recognit 61，pages:295-308，2017.
7、[2]pervaiz，mahwish，yazeed yasin ghadi，munkhjargal gochoo，ahmad jalal，shaharyar kamal，dong-seong kim:a smartsurveillance system for people countingand tracking using particle flow and mod-ified som.sustainability 13(10)，pages:5367，2021.
8、[3]adnan ahmed rafique，ahmad jalal，abrar ahmed:scene understandingand recognition:statistical segmented model using geometrical features andgaussian naive bayes.international conference on applied and engineeringmathematics(icaem)，pages:225-230，2019.
9、[4]zhang，yifu，pei sun，yi jiang，dongdong yu，zehuan yuan，ping luo，wenyuliu，xinggang wang:bytetrack:multi-object tracking by associating everydetection box.european conference on computer vision，pages:1-21，2022.
10、[5]erik bochinski，tobias senst，thomas sikora:extending iou basedmulti-object tracking by visual information.15th ieee internationalconference on advanced video and signal based surveillance(avss)，pages:1-6，2018.
11、[6]nicolai wojke，alex bewley，dietrich paulus:simple online andrealtime tracking with a deep association metric.ieee internationalconference on image processing(icip)，pages:3645-3649，2017.
12、[7]o.masoud，n.p.papanikolopoulos:a novel method for tracking andcounting pedestrians in real-time using a single camera.ieee transactions onvehicular technology 50(5)，pages:1267-1278，2001.
技术实现思路
1、本发明为解决的技术问题：
2、本发明的目的是提出一种联合fastreid与iou的多目标跟踪与计数方法，具体的说，设计的是一种结合了fastreid与iou优势的跟踪和计数方法：同时考虑re-id与iou信息，在原视频中跟踪多个目标，再基于此进行目标越线计数，能够精确而快速地得到行人运动轨迹。本发明致力于在保证速度的情况下，提升跟踪精度及目标越线计数精度，适用于拥挤、存在快速移动的目标等场景下的行人目标跟踪与计数。本发明针对视频中的每个图像帧，运用yolov5进行目标检测，结合re-id与iou匹配的优势，创新性地引入fastreid获取re-id特征，并联合iou匹配对deepsort框架进行优化，实现高效而精确的多目标跟踪，最后基于跟踪器并引入向量叉乘法进行目标越线监测，提升了对目标动态变化的侦察。本发明广泛适用于各类自动驾驶、智能监控、行为识别等应用场景。
3、本发明为解决其技术问题采用如下方案：
4、一种联合fastreid与iou的多目标跟踪与计数方法，包括如下步骤：
5、在权利要求书步骤一中，首先将原始视频拆分为图像帧的集合，遍历图像帧集合，其次将每帧输入目标检测器进行目标检测，绘制每帧中存在目标的边界框，最后得到预处理过后的图像帧集。
6、具体方法如下：
7、考虑到一个兼顾精度与速度的目标检测网络对多目标跟踪器的整体性能提升的重要性，本发明在目标识别阶段使用到的目标检测器为yolov5，能够在检测物体时很好的利用上下文信息，避免在背景上预测出错误的物体信息，将识别与定位合二为一，达到结构简便，检测速度快的优点。在本发明中，以帧为划分存储目标边界框数据，存储格式为[x，y，w，h]，即目标边界框左下角定位点的x、y坐标，边界框宽度，边界框高度。
8、在权利要求书步骤二中，本发明引入卡尔曼滤波方法，预测目标在下一帧中的位置，即其边界框的数值信息。随后通过fastreid获取目标re-id信息，再结合re-id和iou信息构建行人目标特征表示矩阵，使用匈牙利算法进行检测框与预测框的关联。具体方法及算法应用说明如下：
9、fastreid作为一个高度模块化且可拓展的架构，具备友好的管理系统配置及工程部署函数。其开源库针对re-id任务提供了完整的工具箱，包括模型训练、模型评估、模型部署等模块，并且实现了在多个任务中性能领先的模型。iou则是目标检测中一个重要的指标，一般指代目标的预测框以及检测框的交集与并集的比值(intersection over union，iou)，衡量的是预测框与检测框的重叠程度，是一种测量在指定数据集中检测相应物体准确度的标准。设预测框与检测框的交集为intersection，并集为union，其计算公式为：
10、
11、结合上述信息，本发明创新性地构建了表观特征表示矩阵，首先定义第k帧中第i个目标轨迹的平均外观状态向量为
12、
13、其中，为当前匹配的检测目标的fastreid外观向量。为实现对平均轨迹外观状态与新检测的外观嵌入向量的匹配，采用余弦相似度cosine进行衡量，然后进行成本矩阵的构建。
14、假设矩阵中每个元素的最小值可以作为成本矩阵c的最终值，fr-iou计算过程可表示为：
15、
16、
17、在该公式中，ci，j为成本矩阵c的(i，j)位元素，为第i个目标在第k帧中的预测框与第k帧中第j个检测框之间的iou距离，为第i个目标在第k帧中的平均外观描述符与新检测j的外观描述符之间的cosine计算值，是综合得到的新外观成本。θiou为iou的拒绝阈值，设置为0.5，用于剔除可能性较弱的轨迹与检测对，θreid为re-id阈值，用于从轨迹外观状态中分离出检测嵌入向量的正关联，设置为0.25。
18、在权利要求书步骤三中，本发明对未匹配上的检测框和预测框进行逐帧二次iou匹配，防止因目标被遮挡而存在的轨迹断连，直到目标预测框与检测框未匹配的次数达到阈值再将该目标标记为丢失，最终得到不同目标的完整轨迹。具体而言，以帧为单位，在帧数达到丢失阈值前用iou对匈牙利算法匹配失败的预测框与检测框进行二次匹配，弥补因目标被遮挡而产生的匹配缺漏。
19、在权利要求书步骤四中，记录通过跟踪器获得的目标轨迹边界框中心点位，在视频中央绘制预设中线，通过目标前后帧的中心点位连线与视频预设中线的相交情况，判断行人目标越线情况，并完成逐帧计数。具体而言，在该部分，本发明采用计数线法，通过判断每一个独立跟踪轨迹中的行人连续两帧检测框质心点构成的线段与预先设置的计数线是否存在相交情况，从而完成对行人数量的统计。与传统的密度图计数法不同，本发明首先在视频中间绘制预设线，再引入向量叉乘法，基于跟踪结果中呈现的目标中心点位连线与预设线的相交情况判断目标是否越线及目标的越线方向。
20、为实现对行人上下行实时动态的判断，需对跟踪得到的行人在不同时刻所处的位置数据进行预处理，便于下一步判定操作。以目标a为例，对a在t与t+1时刻捕捉的帧ft与ft+1中的轨迹框中心点进行分别计算，获取两帧中a的中心坐标。设a目标在t时刻轨迹的位置数值表示为(x，y，w，h)，则a的中心点位midpoint(m，n)可表示为：
21、m＝x+w/2
22、n＝y+h/2
23、判断行人轨迹是否越线可转化为判断连续两帧轨迹框中心点连线与预先设定的计数线是否相交，对此本发明引入向量叉乘法进行判断。
24、
25、对于向量与向量如上式，若则表示在的顺时针方向；若则表示在的逆时针方向；若则表示在平行或共线。
26、推广为和两条线段，那么判断其相交的充要条件为：点a和点b分别在线段的两侧，且点c和点d也分别在线段的两侧。那么当点c与点d分别在线段的两侧，且点a与点b也分别在线段的两侧时，即可判断两线段相交，即满足：
27、
28、结合上述信息，即可判断目标前后帧内中心点位连接线与预设中心计数线是否相交。
29、本发明采用以上技术方案与现有技术相比，具有以下特点：
30、(1)本发明使用先进而稳定的目标检测网络取代传统的faster r-cnn进行形态检测，可以更好地提高跟踪效率。
31、(2)本发明创新性地在数据关联部分，引入fastreid取得re-id特征信息，并结合re-id与iou信息构建成本矩阵，提高了整体跟踪器的精度，同时保证了检测和轨迹间稳定的相关性，减少id切换的次数，取得更优的跟踪效果。
32、(3)本发明创新性的在跟踪结果的基础上，引入向量叉乘法进行目标越线监测，相较于以往的密度图计数方法，该方法能够更快、更准确地统计人流量，同时具有更高的普适性。
1.一种联合fastreid与iou的多目标跟踪与计数方法，其特征包括如下步骤：
2.如权利要求1中步骤一所述的一种联合fastreid与iou的多目标跟踪与计数方法，其特征在于，在目标检测时使用yolov5检测器：
3.如权利要求1步骤二所述的一种联合fastreid与iou的多目标跟踪与计数方法，其特征在于，目标特征表示矩阵构建时同时考虑到了re-id与iou信息，包括：
4.如权利要求1中步骤三所述的一种联合fastreid与iou的多目标跟踪与计数方法，其特征在于，对匈牙利算法匹配失败的预测框与检测框进行二次匹配，其包括：
5.如权利要求1中步骤四所述的一种联合fastreid与iou的多目标跟踪与计数方法，其特征在于，基于跟踪器进行目标计数：
