stage的，此类算法需要先生成候选框，然后对每个候选框内容的目标进行分类，此类算法检测效率较低)，其特点是一步到位，运算效率高。模型仅需送入网络一次就可以预测出所有的边界框，并识别出边界框内的目标。此外我们方法中还包括跟踪算法，用于获取目标的行动轨迹以训练异常行为识别模型。
9.多视角分析模块，充分利用了多个摄像设备带来的识别优势，利用多个不同视角的检测结果对视频内否存在异常行为或违禁物品进行综合分析和判断，最大限度提取不同摄像头中的游离信息，最终融合成高质量的图像。融合的结果可以更好的将多个摄像头在时空上的相关性和信息上的互补性进行整合。从而降低了人员利用监控设备角度和遮挡行为掩盖自身违规操作的可能性，使得对异常行为的检测更稳定、精确和可靠。
10.智能决策模块，识别在某一场景中不寻常的位置或不寻常时刻发生的行为。我们使用预定义的规则来定义正常或异常的活动。我们将多视角分析模块得到的目标物体运动属性(运动属性包括：运动速度、运动方向、运动方式以及其他参数)转换为时序数据。并根据预先定义为异常行为规则为这些时序数据进行标注，来训练智能决策的分类模型。
11.进一步，所述基于多视角的复杂场所异常行为分析系统还包括：
12.参数设置模块，主要用于对系统中的一些阈值和超参数进行配置。这里主要包括异常物品上报阈值设置，人脸识别阈值，以及异常行为策略中的一些超参数设置；
13.监控模块，主要用于对系统中的摄像头进行管理。这里主要包括设置头视频的推流服务进行设置，比如：摄像头的主码流和副码流推送；对摄像头基本信息进行管理并可以对摄像头检测的时间进行设置；
14.预警模块，主要用于对系统中检测的异常物品和异常行为信息进行响应，当出现这些记录的时候系统会进行弹窗，并根据异常行为置信度给予工作人员不同的警告信号。
15.显示模块，主要用于对系统抓拍到的异常物品和异常行为记录进行可视化管理。这里主要包括异常物品的分类查看，以及可以对某个时间段的记录进行分段查询，并且可以查看摄像头的实时检测画面。
16.本发明的另一目的在于提供一种应用于所述基于多视角的复杂场所异常行为分析系统的基于多视角的复杂场所异常行为分析方法，所述基于多视角的复杂场所异常行为分析方法包括：
17.步骤一，对摄像头提供的rtsp数据流进行解码，将其转换为图像。由于摄像头所处的环境通常比较复杂，例如光照的变化以及背景中物体的阴影等造成的图像质量下降，导致目标检测性能下降。为此我们提出使用幂律变换对图像进行预处理，通过扩大图像正在黑暗区域或者阴影区域的动态范围，同时压缩在亮的区域的动态范围，以此来减少光照给模型带来的偏差；
18.步骤二，采取多视角检测目标物体，由于复杂场所下通常会存在较多的小目标信息，小目标与常规目标相比可利用的像素较少，难以提取到较好的特征，而且随着网络层数的增加，小目标的特征信息与位置信息也逐渐丢失，难以被网络检测。这些特性导致小目标同时需要深层语义信息与浅层表征信息。为此我们提出了一种深度特征金字塔网络，引入了一种自底向上、自顶向下的网络结构，通过将相邻层的特征融合以达到特征增强的目的。此外使用具有横向连接的特征金字塔结构加强小目标的语义特征，并辅以特别设计的锚框和损失函数训练网络，以此来提高模型的检测精度；
19.步骤三，由于复杂场所的中可能由于角度等原因影响模型检测的精度，为此我们利用了多个摄像头的信息进行互补。因为各个摄像头不同角度的特征所包含的信息量不同，因此我们采用了基于transformer的网络架构，将不同角度下目标的信息进行动态融合，在打破视角限制的同时，可大大扩充用于训练的数据集；
20.步骤四，在检测到目标的同时，我们需要对目标的行为进行异常检测。因此我们需要获取到各个目标的行动轨迹，让后对跟踪到的轨迹进行分析。这里我们使用了一种基于特征的目标关联算法，利用卷积神经网络对图像进行特征提取，从图像中提取一些高维语义表示，相同的目标提取到的语义表示也应该是相同或者相似的。根据目标的坐标和语义表示来确定目标的行为轨迹。
21.步骤五，基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令。
22.进一步，所述预处理包括：
23.首先，对图像进行滤波去噪，边缘增强，灰度变换以及其他预处理；
24.其次，对图像进行分割，从背景中分割得到识别的物，同时对整个图像进行去噪处理；
25.最后，根据物体的形态特征或者多视角的物体特征提取目标物体；并记录目标物体在图像中的位置。
26.进一步，所述基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令包括：
27.根据不同的预测结果启动不同的摄像头进行拍摄，使用云台控制来控制摄像机拍摄的角度适应移动目标的变化；同时当识别的目标私自将评标资料或自行记录的纸质资料带离评标场所时，根据决策规则预警，并将分类识别结果可视化进行显示。
28.进一步，所述基于多视角的复杂场所异常行为分析方法还包括：
29.(1)通过视频流抓拍图像，并基于抓拍的图像进行异常行为或异常物品的检测；
30.(2)若监测得到异常行为，则利用多视角异常行为跟踪算法进行目标的跟踪，并判断编号是否更新；若编号更新则获取异常行为坐标最近的人，并上报信息并识别人脸；
31.(3)若监测到异常物品，则利用多视角异常物品跟踪算法进行目标物体的跟踪，并判断编号是否更新；若编号更新则上报信息；
32.(4)若无异常，则判断画面中是否有人，若画面中无人，则间隔5s再次进行行人检测；若画面有人，则上报人脸信息；并利用人物跟踪算法进行行人跟踪，并存储跟踪信息和图像。
33.本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述基于多视角的复杂场所异常行为分析方法，包括下列步骤：
34.步骤一，利用摄像设备获取视频图像数据，对获取的视频图像进行预处理；基于预处理后的图像判断背景图像中是否存在目标物体；若存在目标物体，则分析所述目标物体的位置参数信息；
35.步骤二，在不同的情况下采取多视角检测目标物体，利用多尺度预测即类fpn网络自上而下地对每一层都进行上采样获取更精确的像素位置信息，并对特定目标在不同环境下进行定位和追踪；
36.步骤三，通过帧图像的移动物体目标特征信息，与其他视角确定的物体目标的参数进行比较，得到判定结果；
37.步骤四，利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断；
38.步骤五，基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令。
39.本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述基于多视角的复杂场所异常行为分析方法。
40.本发明的另一目的在于提供一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现所述基于多视角的复杂场所异常行为分析方法。
41.结合上述的所有技术方案，本发明所具备的优点及积极效果为：
42.本发明针对监控视角下小目标大量存在，并且由于场景错综复杂、目标稠密相连和目标尺度变化等问题，对小目标特征的影响是更加剧烈的，进一步加大了小目标检测的难度。为此我们提出了一种具有横向连接的特征金字塔架构，并专门设计了锚点来检测图像中的小目标，这使得模型对小目标的特征更加敏感。
43.本发明针对复杂场所通常会出现因角度或者遮挡导致的检测性能下降的问题，提出了基于transformer的多视角信息融合模型，利用transformer中的自主力机制来时模型能够动态融合不同视角下，相同目标的信息。使得模型在监控视角下不收角度和遮挡的影响，从而提高算法的整体检测精度。
44.本发明整合运用人工智能、目标检测、多视角信息融合等相关技术，对视频进行实时监控，对监控视频中的目标进行智能分析，对违规行为、违规物品进行自动检测分类，提高监控的效率和可靠性，满足安全的需要，同时使得企业管理更加自动化、智能化和高效化。
附图说明
45.图1是本发明实施例提供的基于多视角的复杂场所异常行为分析系统结构示意图。
46.图2是本发明实施例提供的基于多视角的复杂场所异常行为分析方法流程图。
47.图3是本发明实施例提供的多视角检测系统流程图。
48.图4是本发明实施例提供的模型检测混淆矩阵。
49.图5是本发明实施例提供的模型训练过程各项指标。
50.图中：1、图像处理模块；2、多视角目标检测模块；3、多视角分析模块；4、智能决策模块。
具体实施方式
51.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
52.针对现有技术存在的问题，本发明提供了一种基于多视角的复杂场所异常行为分析系统，下面结合附图对本发明作详细的描述。
53.如图1所示，本发明实施例提供的基于多视角的复杂场所异常行为分析系统包括：
54.图像处理模块1，对摄像头提供的rtsp数据流进行解码，将其转换为图像。由于摄像头所处的环境通常比较复杂，例如光照的变化以及背景中物体的阴影等造成的图像质量下降，导致目标检测性能下降。为此我们提出使用幂律变换对图像进行预处理，通过扩大图像正在黑暗区域或者阴影区域的动态范围，同时压缩在亮的区域的动态范围，以此来减少光照给模型带来的偏差；
55.多视角目标检测模块2，由于复杂场所下通常会存在较多的小目标信息，小目标与常规目标相比可利用的像素较少，难以提取到较好的特征，而且随着网络层数的增加，小目标的特征信息与位置信息也逐渐丢失，难以被网络检测。这些特性导致小目标同时需要深层语义信息与浅层表征信息。为此我们提出了一种深度特征金字塔网络，引入了一种自底向上、自顶向下的网络结构，通过将相邻层的特征融合以达到特征增强的目的。此外使用具有横向连接的特征金字塔结构加强小目标的语义特征，并辅以特别设计的锚框和损失函数训练网络，以此来提高模型的检测精度；
56.多视角分析模块3，本发明针对复杂场所通常会出现因角度或者遮挡导致的检测性能下降的问题，提出了基于transformer的多视角信息融合模型，利用transformer中的自主力机制来时模型能够动态融合不同视角下，相同目标的信息。使得模型在监控视角下不收角度和遮挡的影响，从而提高算法的整体检测精度；
57.智能决策模块4，用于结合已制定的决策规则和背景信息，提供对应的决策，并将决策信息转换为云台控制的命令。
58.本发明实施例提供的目标物体的运动属性包括：运动速度、运动方向、运动方式以及其他参数。
59.本发明实施例提供的基于多视角的复杂场所异常行为分析系统还包括：
60.参数设置模块，用于设置检测时间参数；
61.监控模块，用于利用摄像设备获取图像；
62.云台控制模块，用于控制摄像设备拍摄的角度与移动目标的变化相适应；
63.预警模块，用于根据决策规则进行预警；
64.显示模块，用于进行分类识别结果的可视化显示。
65.如图2所示，本发明实施例提供的基于多视角的复杂场所异常行为分析方法包括：
66.s101，利用摄像设备获取视频图像数据，对获取的视频图像进行预处理；基于预处理后的图像判断背景图像中是否存在目标物体；若存在目标物体，则分析所述目标物体的位置参数信息；
67.s102，在不同的情况下采取多视角检测目标物体，利用多尺度预测即类fpn网络自上而下地对每一层都进行上采样获取更精确的像素位置信息，并对特定目标在不同环境下进行定位和追踪；
68.s103，通过帧图像的移动物体目标特征信息，与其他视角确定的物体目标的参数进行比较，得到判定结果；利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断；
69.s104，基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令。
70.本发明实施例提供的预处理包括：
71.首先，对图像进行滤波去噪，边缘增强，灰度变换以及其他预处理；
72.其次，对图像进行分割，从背景中分割得到识别的物，同时对整个图像进行去噪处理；
73.最后，根据物体的形态特征或者多视角的物体特征提取目标物体；并记录目标物体在图像中的位置。
74.本发明实施例提供的基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令包括：
75.根据不同的预测结果启动不同的摄像头进行拍摄，使用云台控制来控制摄像机拍摄的角度适应移动目标的变化；同时当识别的目标私自将评标资料或自行记录的纸质资料带离评标场所时，根据决策规则预警，并将分类识别结果可视化进行显示。
76.如图3所示，本发明实施例提供的基于多视角的复杂场所异常行为分析方法还包括：
77.(1)通过视频流抓拍图像，并基于抓拍的图像进行异常行为或异常物品的检测；
78.(2)若监测得到异常行为，则利用多视角异常行为跟踪算法进行目标的跟踪，并判断编号是否更新；若编号更新则获取异常行为坐标最近的人，并上报信息并识别人脸；
79.(3)若监测到异常物品，则利用多视角异常物品跟踪算法进行目标物体的跟踪，并判断编号是否更新；若编号更新则上报信息；
80.(4)若无异常，则判断画面中是否有人，若画面中无人，则间隔5s再次进行行人检测；若画面有人，则上报人脸信息；并利用人物跟踪算法进行行人跟踪，并存储跟踪信息和图像。
81.下面结合具体实施例对本发明的技术方案做进一步说明。
82.实施例1：
83.本智能监控系统基于多视角深度学习算法的异常行为目标检测研究与应用项目拟从计算机科学、人工智能、深度学习和视频技术方面研究而来，其业务功能处理流程可以分为四个模块，图像处理模块，多视角目标检测模块、多视角分析模块与智能决策模块。以下是系统结构图和对上述各模块的详细要求。
84.(1)图像处理模块
85.图像处理模块是智能监控系统中关键的第一步，是多视角目标检测、多视角目标识别、多视角分析和理解等后续处理和分析的基础，其目标是对监控系统拍摄到的图片进行预处理，如图像滤波去噪，边缘增强，灰度变换等，然后根据已有的一些知识信息，对图像进行分割，把识别的物体从背景中分割出来，同时对整个图像进行去噪，去除明显的干扰点，使整个图像平滑，然后根据物体的形态特征或者多视角的物体特征来提起目标物体。并记录物体在图像中的位置。
86.由于目标图像数据本身具有非常复杂的动态特性，如：光照，角度，移动和遮挡等，系统可基于多视角联合的目标识别方法来解决该问题。本发明能够有效的解决大多数基于cnn的无法在常规gpu上实时运行的目标检测器，本发明主要目标是在产生式系统中设计一
个运行速度快的目标检测器，并对并行计算进行优化，使算法设计的对象易于训练和使用，可以获得实时、高质量和令人信服的目标检测结果。
87.(2)多视角目标检测模块
88.对单视角目标检测定义为通过分析前端视频所采集的连续信号图像，确定在静止的背景图像中是否有目标物体，当确定有目标物体的时候，则需要分析该目标物体的位置参数信息，而目标物体的变化非常多，例如尺度的变化、在视频中的背景变化、光线的变化等，根据这些综合情况的不确定性，在不同的情况下采取多视角来检测目标物体。同时，使用了多尺度预测(类fpn)，fpn全称是特征金字塔网络，自上而下地对每一层都进行上采样以获得更精确的像素位置信息，并用resnet的方法加深了网络层数。利用多视角联合，在同步性很难情况下，系统自动采样其它视角辅助预测，从而能够对特定目标在不同环境下进行定位和追踪。
89.系统采用在传输实时性满足情况下，融合多个视角视频流联合预测；系统自动采样视角辅助预测三种检测算法保证系统能够准确和实时检测出物体目标。通过帧图像的移动物体目标特征信息，与其他视角确定的物体目标的参数进行比较，作出准确、快速的判定。由于异常行为图像数据具有复杂的特征，同时室内人员在使用违禁物品时常伴随刻意的遮挡行为，多视角综合分析算法应能充分利用了多个摄像设备带来的识别优势，利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断，最大程度上降低了室内人员利用监控设备角度和遮挡行为掩盖自身违规操作的可能性，使得系统对室内是否存在异常行为的判断更稳定、精确和可靠。
90.(3)多视角分析模块
91.多视角检测部分和目标检测部分已经获得了目标的在图像中的位置和目标的运动属性(运动速度和方向，方式等参数)，利用transformer中的自主力机制来时模型能够动态融合不同视角下，相同目标的信息。使得模型在监控视角下不收角度和遮挡的影响，从而提高算法的整体检测精度。
92.(4)智能决策模块
93.根据多视角分析模块智能监控视频分析系统能够智能的结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令。在硬件条件允许的情况下，根据不同的预测结果启动不同的摄像头来进行拍摄，使用云台控制来控制摄像机拍摄的角度适应移动目标的变化，以便用较佳地角度来观测移动目标物体。智能监控分析系统会对目标进行自动检测，实时分析、过滤目标。当识别的目标私自将评标资料或自行记录的纸质资料带离评标场所时，系统会根据“决策规则”预警，并将分类识别结果可视化进行显示；系统可根据“参数设置”对不同时间段目标进行检测，在设置时间段以外不检测。
94.本发明实施例提供的方法和系统进行了实际的效果验证，具体分析如下。
95.1：监控数据集采集
96.实验所采用的数据集是在实际监控场景中采集的数据，本发明目前仅检测一些常见的电子产品和一些简单的异常行为，但是我们在研发过程中十分注重系统的可扩展性，本发明可以根据实际需求采集相应的数据识别其他异常物品或异常行为。目前本发明可以识别phone、phoning、electronic、paper、commonphone、ipad、laptop和cheat sheet。我们
一共采集了进80000张图像数据，并对图像中的目标进行标注，总计标注15000目标。表1统计了该数据集每个目标的数量。
[0097][0098]
表1.监控数据集各个目标数量
[0099]
2：结果评估
[0100]
我们使用了多个评估指标对我们发明的方法进行评估，这些评估指标分别是准确度、召回率和map_0.5。
[0101]
modelprecisionrecallmap_0.5r-cnn41.2055.3339.30fast-r-cnn43.3356.4441.04yolo45.5558.1143.42ssd47.1659.4545.59our48.2360.5546.90
[0102]
表2.提出方法结果的比较
[0103]
进一步，我们列出了我们方法对监控数据集进行预测，得到的混淆矩阵如图4所示。
[0104]
此外，我们展示了我们模型训练过程的各项指标如图5所示。我们在内存为32g，cpu为intel(r)core(tm)i7-9750h cpu@2.60ghz，显卡为nvidia v100的电脑上进行实验。其训练我们提出的表示学习模型的时间仅为26小时。而目前大多数模型的训练时间大约为40小时左右，这证明了我们提出的表示学习模型在时间上的优势。
[0105]
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0106]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
技术特征：1.一种基于多视角的复杂场所异常行为分析系统，其特征在于，所述基于多视角的复杂场所异常行为分析系统包括：图像处理模块，用于对获取的图像进行预处理、分割处理并提取目标物体；同时用于记录目标物体在图像中位置；多视角目标检测模块，用于进行目标物体的检测、定位与追踪；同时用于获取目标物体的运动属性；多视角分析模块，用于利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断；智能决策模块，用于结合已制定的决策规则和背景信息，提供对应的决策，并将决策信息转换为云台控制的命令。2.如权利要求1所述基于多视角的复杂场所异常行为分析系统，其特征在于，所述目标物体的运动属性包括：运动速度、运动方向、运动方式以及其他参数。3.如权利要求1所述基于多视角的复杂场所异常行为分析系统，其特征在于，所述基于多视角的复杂场所异常行为分析系统还包括：参数设置模块，用于设置检测时间参数；监控模块，用于利用摄像设备获取图像；云台控制模块，用于控制摄像设备拍摄的角度与移动目标的变化相适应；预警模块，用于根据决策规则进行预警；显示模块，用于进行分类识别结果的可视化显示。4.一种应用于如权利要求1-3任意一项所述基于多视角的复杂场所异常行为分析系统的基于多视角的复杂场所异常行为分析方法，其特征在于，所述基于多视角的复杂场所异常行为分析方法包括：步骤一，利用摄像设备获取视频图像数据，对获取的视频图像进行预处理；基于预处理后的图像判断背景图像中是否存在目标物体；若存在目标物体，则分析所述目标物体的位置参数信息；步骤二，在不同的情况下采取多视角检测目标物体，利用多尺度预测即类fpn网络自上而下地对每一层都进行上采样获取更精确的像素位置信息，并对特定目标在不同环境下进行定位和追踪；步骤三，通过帧图像的移动物体目标特征信息，与其他视角确定的物体目标的参数进行比较，得到判定结果；步骤四，利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断；步骤五，基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令。5.如权利要求4所述基于多视角的复杂场所异常行为分析方法，其特征在于，所述预处理包括：首先，对图像进行滤波去噪，边缘增强，灰度变换以及其他预处理；其次，对图像进行分割，从背景中分割得到识别的物，同时对整个图像进行去噪处理；最后，根据物体的形态特征或者多视角的物体特征提取目标物体；并记录目标物体在
图像中的位置。6.如权利要求4所述基于多视角的复杂场所异常行为分析方法，其特征在于，所述基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令包括：根据不同的预测结果启动不同的摄像头进行拍摄，使用云台控制来控制摄像机拍摄的角度适应移动目标的变化；同时当识别的目标私自将评标资料或自行记录的纸质资料带离评标场所时，根据决策规则预警，并将分类识别结果可视化进行显示。7.如权利要求4所述基于多视角的复杂场所异常行为分析方法，其特征在于，所述基于多视角的复杂场所异常行为分析方法还包括：(1)通过视频流抓拍图像，并基于抓拍的图像进行异常行为或异常物品的检测；(2)若监测得到异常行为，则利用多视角异常行为跟踪算法进行目标的跟踪，并判断编号是否更新；若编号更新则获取异常行为坐标最近的人，并上报信息并识别人脸；(3)若监测到异常物品，则利用多视角异常物品跟踪算法进行目标物体的跟踪，并判断编号是否更新；若编号更新则上报信息；(4)若无异常，则判断画面中是否有人，若画面中无人，则间隔5s再次进行行人检测；若画面有人，则上报人脸信息；并利用人物跟踪算法进行行人跟踪，并存储跟踪信息和图像。8.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行如权利要求4-7任意一项所述基于多视角的复杂场所异常行为分析方法，包括下列步骤：步骤一，利用摄像设备获取视频图像数据，对获取的视频图像进行预处理；基于预处理后的图像判断背景图像中是否存在目标物体；若存在目标物体，则分析所述目标物体的位置参数信息；步骤二，在不同的情况下采取多视角检测目标物体，利用多尺度预测即类fpn网络自上而下地对每一层都进行上采样获取更精确的像素位置信息，并对特定目标在不同环境下进行定位和追踪；步骤三，通过帧图像的移动物体目标特征信息，与其他视角确定的物体目标的参数进行比较，得到判定结果；步骤四，利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断；步骤五，基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令。9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求4-7任意一项所述基于多视角的复杂场所异常行为分析方法。10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求1-7任意一项所述权利要求4-7任意一项所述基于多视角的复杂场所异常行为分析方法。
技术总结本发明属于智能监测技术领域，公开了一种基于多视角的复杂场所异常行为分析系统，图像处理模块对获取的图像进行预处理、分割处理并提取目标物体；多视角目标检测模块进行目标物体的检测、定位与追踪；同时获取目标物体的运动属性；多视角分析模块利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断；智能决策模块结合已制定的决策规则和背景信息，提供对应的决策，并将决策信息转换为云台控制的命令。本发明整合运用人工智能、目标检测、深度学习和互联网的相关技术，对视频进行实时监控，对监控视频中的目标进行智能分析，对违规行为、违规物品进行自动检测分类，提高监控的效率和可靠性，满足安全的需要。全的需要。全的需要。
技术研发人员：杨云 王耀威 林玉尧 贾启 王泽深
受保护的技术使用者：云南大学
技术研发日：2022.04.08
技术公布日：2022/7/5
