1.本发明涉及安防领域和边缘计算领域，尤其涉及基于边缘计算的电梯内异常行为检测方法。
背景技术：2.电梯内异常行为检测是安防领域的一个重要课题，也是视频理解领域的一个复杂的应用问题。电梯内异常行为检测这一任务吸引了很多学者和企业的关注，也积累了大量的专利和论文。如何设计算法在大量的低算力的电梯监控以及后台设备上实现高准确率的异常行为检测模型是一个挑战。
3.传统电梯内异常行为检测往往要包括移动帧检测，背景提取，人体提取，人数统计，运动信息提取，异常行为检测，异常行为分类等多个步骤。这些步骤的方法通常提取需要手工制作的特征，如基于光流的特征，基于轨迹的特征等，并设计手工的特征检测算子。然而，过于依赖各种手工特征和手动的特征检测算子，导致传统方法系统过于复杂，无法复现和扩展，准确率也低。
4.近年来，异常检测算法往往是基于深度学习的，并且也得到了良好的效果。受限于算力，电梯异常行为检测往往使用基于手工特征的方法，不能使用深度学习方法,因此，难以提高检测的准确率。本发明通过使用边缘计算架构使得能够在电梯内异常行为检测系统中使用深度学习技术，在不增加大量计算资源成本的条件下，大幅提升了检测的准确率。为了应用深度学习技术，一方面需要找到不同于传统的更适合深度学习特点的任务拆分，并通过选择可行的具体算法组合取得准确率增益，另一方面需要合理在利用边缘计算架构，在边缘机器和云上机器分别达到合理的负载。本发明合理解决了这两方面的难点。
技术实现要素：5.本发明所要解决的技术问题是针对上述现有技术存在的不足，而提供一种提高检测准确率的基于边缘计算的电梯内异常行为检测方法、装置及存储介质。
6.为解决上述技术问题，本发明采用的技术方案是：
7.一种电梯内异常行为检测方法，包括如下步骤：
8.步骤1，在边缘机器对电梯监控视频的每一帧图像下采样到指定分辨率，并使用直方图均衡化算法对每一帧图像进行亮度增强；
9.步骤2，在边缘机器对步骤1得到的亮度增强后图像使用轻量级卷积神经网络进行人体检测，对存在人体的帧图像使用双阈值连接算法进行聚合，并将聚合得到的结果视频片段输出到云上机器。
10.步骤3，在云上机器对步骤2返回的视频片段使用轻量级时域激发和聚合网络进行异常行为检测，并返回检测结果到边缘机器。
11.优选的，步骤1包括：
12.步骤1-1，读取输入帧图像和下采样的目标宽度width和目标高度height。然后使
用线性插值算法对输入帧图像进行下采样，得到下采样后的帧图像。
13.步骤1-2，读取下采样后的帧图像和算法参数截断阈值cliplimit，使用限制对比度自适应直方图均衡算法对下采样后的帧图像进行亮度增强，得到亮度增强后的帧图像。
14.优选的，步骤2包括：
15.步骤2-1，读取亮度增强后的帧图像input_image。构造骨干网络shufflenetv2，并加载在电梯数据集上训练好的网络权重。使用加载权重后的shufflenetv2网络对亮度增强后的帧图像input_image进行特征提取，得到第三阶段特征图feature_stage3和第四阶段特征图feature_stage4。
16.步骤2-2，读取第三阶段特征图feature_stage3和第四阶段特征图feature_stage4。构造轻量化特征金字塔网络light-fpn，并加载在电梯数据集上训练好的网络权重。使用加载权重后的light-fpn网络对第三阶段特征图feature_stage3和第四阶段特征图feature_stage4进行多尺度特征融合，得到融合后的特征图feature_final。
17.步骤2-3，读取融合后的特征图feature_final。构造前景分类器和矩形框回归器，并加载在电梯数据集上训练好的网络权重。使用加载权重后的类别分类器和矩形框回归器，对特征图feature_final进行人体检测。得到坐标向量bboxes和类别向量classes和置信度向量confidences。
18.步骤2-4，读取坐标向量bboxes和类别向量classes和置信度向量confidences，并进行局部非极大值抑制和解码，得到当前图像的是否包含人体的置信度body_confidence以及人体的具体位置body_bbox。
19.步骤2-5，对每一帧输入图片input_image_i重复步骤2-1到2-4,得到当前图像的是否包含人体的置信度body_confidence_i以及人体的具体位置body_bbox_i。
20.步骤2-6，读取双阈值算法的参数：正例阈值pos_thr和负例阈值neg_thr和断开指数阈值cut_thr。重置断开指数cut_count为0。
21.步骤2-7，对于步骤2-5返回的所有帧，当出现置信度body_confidence_i大于正例判别阈值pos_thr的帧时，开始连接。当开始连接后连续出现body_confidence_i小于正例判别阈值neg_thr的帧时，断开指数加一。当断开指数大于断开指数阈值cut_thr时，得到一个视频片段，并返回给云上机器。重复步骤2-6，2-7。
22.优选的，步骤3包括：
23.步骤3-1，读取步骤2返回的视频input_video和视频帧抽取总数frame_total。对input_video的视频帧进行稀疏抽取，等间距抽取其中frame_total帧，得到视频子帧集合input_frames。
24.步骤3-2，读取视频子帧集合input_frames。构造动量抽取网络me并加载在电梯数据集上训练好的模块权重。使用加载权重后的动量抽取网络me对视频子帧集合input_frames进行时域局部特征提取，得到局部运动特征图feature_me。
25.步骤3-3，读取局部运动特征图feature_me。构造多重时域聚合网络mta并加载在电梯数据集上训练好的模块权重。使用加载权重后的动量抽取网络mta对局部运动特征图feature_me进行时域全局特征提取，得到全局运动特征图feature_mta。
26.步骤3-4，重复步骤3-2，3-3，使用动量抽取网络me和多重时域聚合网络mta进行4阶段的全局运动特征提取，得到视频的全局运动特征图feature_mta_4。
27.步骤3-5，读取视频的全局运动特征图feature_mta_4。构造全连接网络结构的行为分类网络cla，并加载在电梯数据集上训练好的模块权重。使用加载权重后的动作分类网络cla，对全局运动特征图feature_mta_4进行行为分类，得到行为分类向量motion_cla。
28.步骤3-6，读取行为分类向量motion_cla。进行解码，得到电梯视频的行为类别motion_type。重复步骤3-1到3-5，对所有视频进行行为分类，并返回结果到边缘机器。
29.步骤3-7，相应的异常行为，按照重要性等级，启动后续的应对措施。
30.本方法通过结合边缘计算，将基于深度学习的异常行为检测技术落地到电梯内监控安防领域，相比于传统的使用手工特征和模型并在后台设置机器计算，一方面需要找到更适合深度学习特点的任务拆分，并通过选择可行的方法组合取得准确率增益，另一方面需要合理在利用边缘计算架构，在边缘机器和云上机器分别达到合理的负载。本发明合理解决了这两方面的难点，充分利用大量的低算力的电梯监控以及后台设备，同时做到了实时的高准确率的检测。为了应用深度学习技术，一方面需要找到不同于传统的更适合深度学习特点的任务拆分，并通过选择可行的具体算法组合取得准确率增益，另一方面需要合理在利用边缘计算架构，在边缘机器和云上机器分别达到合理的负载。本发明合理解决了这两方面的难点。本方法使用边缘计算架构，融合多种先进的轻量级图像处理和视频理解技术，设计了一种基于边缘计算的电梯内异常行为检测方法。
31.有益效果：本发明设计的电梯内异常行为检测方法不仅可能在电梯场景有效落地部署，同时在准确率，虚警率和漏检率三个指标上均大幅超越对比方法，同时本方法还天然的在实时性、可扩展性和负载均衡方面具有优势，实时性，可扩展性，负载均衡等方面均优于使用传统非深度方法的检测系统。
附图说明
32.下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
33.图1本发明的详细流程图。
34.图2本发明的边缘计算系统结构
具体实施方式
35.下面结合附图及实施例对本发明做进一步说明。
36.实施例1
37.参照本发明方法流程(如图2)，具体方法包括以下步骤：
38.步骤1，在实际部署阶段，首先在边缘机器对电梯监控视频采集到的每一帧图像下采样到指定分辨率，并使用直方图均衡化算法对每一帧图像进行亮度增强。
39.步骤1具体如下：
40.步骤1-1，读取输入帧图像和下采样的目标宽度width和目标高度height。然后使用线性插值算法对输入帧图像进行下采样，得到下采样后的帧图像。
41.步骤1-2，读取下采样后的帧图像和算法参数截断阈值cliplimit，使用限制对比度自适应直方图均衡算法对下采样后的帧图像进行亮度增强，得到亮度增强后的帧图像image_enlighted。其中算法参数截断阈值cliplimit使用基于高斯过程的贝叶斯优化方法
学习得到。优化的目标函数是：
42.loss＝mse(image_enlighted，image_optimal)
43.其中loss是优化的目标函数。mse()是均方误差函数，用于衡量亮度增强后的图片和目标优化图片的差异。image_enlighted是使用直方图均衡化优化后的图片。image_optimal是通过先验知识调优得到的标注图片，具体的是使用ps调节得到的最佳亮度的图片。参数截断阈值cliplimit的学习过程在只需要进行一次，学习到的参数可以反复利用。
44.步骤2：在边缘机器对步骤1得到的亮度增强后图像image_enlighted，使用轻量级目标检测卷积神经网络yolo-fastest进行人体检测，对存在人体的帧图像使用双阈值连接算法进行聚合，并将聚合得到的结果视频片段返回云上机器。步骤1和步骤2具有图像层面的依赖关系，可以并行执行增加处理效率。轻量级目标检测卷积神经网络yolo-fastest的训练过程应当先于部署过程。首先需要按照coco2012的标准格式收集和标注数据集，修改网络中的分类数目参数class_num为实际使用的数据集的类别个数，本实例为2，修改网络的损失函数进行人体检测目标。本例中使用的损失函数为：
45.loss＝loss
body
+loss
bbox
46.其中loss是训练过程的目标函数。loss
body
是人体类别损失函数，使用交叉熵函数进行计算。loss
bbox
是人体边界框损失函数，使用均方误差函数进行计算。最后，使用自适应动量梯度下降方法多次训练，设置最优的网络超参数。本例中的超参数设定为训练轮数epoch是12，学习率是0.0015，指数衰减率为0.99。
47.步骤2具体如下：
48.步骤2-1，读取亮度增强后的帧图像input_image。构造骨干网络shufflenetv2，并加载在电梯数据集上训练好的网络权重。使用加载权重后的shufflenetv2网络对亮度增强后的帧图像input_image进行特征提取，得到第三阶段特征图feature_stage3和第四阶段特征图feature_stage4。根据计算设备的能力和输入图片的尺寸，此处可按情况设定并行计算个数batch_size。受益于步骤一中对图像的尺度变化，本例设定并行计算个数batch_size为16。
49.步骤2-2，读取第三阶段特征图feature_stage3和第四阶段特征图feature_stage4。构造轻量化特征金字塔网络light-fpn，并加载在电梯数据集上训练好的网络权重。使用加载权重后的light-fpn网络对第三阶段特征图feature_stage3和第四阶段特征图feature_stage4进行多尺度特征融合，得到融合后的特征图feature_final。
50.步骤2-3，读取融合后的特征图feature_final。构造前景分类器和矩形框回归器，并加载在电梯数据集上训练好的网络权重。使用加载权重后的类别分类器和矩形框回归器，对特征图feature_final进行人体检测。得到坐标向量bboxes和类别向量classes和置信度向量confidences。
51.步骤2-4，读取坐标向量bboxes和类别向量classes和置信度向量confidences，并进行局部非极大值抑制和解码，得到当前图像的是否包含人体的置信度body_confidence以及人体的具体位置body_bbox。
52.步骤2-5，对每一帧输入图片input_image_i重复步骤2-1到2-4，得到当前图像的是否包含人体的置信度body_confidence_i以及人体的具体位置body_bbox_i。
53.步骤2-6，读取双阈值算法的参数：正例阈值pos_thr和负例阈值neg_thr和断开指
数阈值cut_thr。重置断开指数cut_count为0。
54.步骤2-7，对于步骤2-5返回的所有帧，当出现置信度body_confidence_i大于正例判别阈值pos_thr的帧时，开始连接。当开始连接后连续出现body_confidence_i小于正例判别阈值neg_thr的帧时，断开指数加一。当断开指数大于断开指数阈值cut_thr时，得到一个视频片段，并返回给云上机器。重复步骤2-6，2-7。
55.步骤3：在云上机器对步骤2返回的视频片段使用轻量级时域激发和聚合网络tea-net进行异常行为检测，并返回检测结果到边缘机器。轻量级时域激发和聚合网络tea-net的训练过程应当先于部署过程。首先需要按照something-something v1的标准格式收集和标注数据集。收集数据过程的难点在于异常发生比例较低，所以本例采用模拟法进行收集。收集了6个异常行为类别和1个正常类别共计1500段视频。修改网络中的动作种类数目参数action_num为实际使用的数据集的类别个数，本实例为7，修改网络的损失函数进行电梯内异常行为检测。本例中使用的损失函数为：
56.loss＝miou
time
+ce
action
57.其中loss是训练过程的目标函数。miou
time
是动作发生时间预测的准确性的度量，使用平均交并比进行计算。ce
action
是动作的类别的准确型的度量，使用交叉熵函数进行计算。最后，使用自适应动量梯度下降方法多次训练，设置最优的网络超参数。本例中的超参数设定为视频采样窗口frame_total为16，视频帧大小为256
×
256。
58.步骤3具体如下：
59.步骤3-1，读取步骤2返回的视频input_video和视频帧抽取总数frame_total。对input_video的视频帧进行稀疏抽取，等间距抽取其中frame_total帧，得到视频子帧集合input_frames。
60.步骤3-2，读取视频子帧集合input_frames。构造动量抽取网络me并加载在电梯数据集上训练好的模块权重。使用加载权重后的动量抽取网络me对视频子帧集合input_frames进行时域局部特征提取，得到局部运动特征图feature_me。
61.步骤3-3，读取局部运动特征图feature_me。构造多重时域聚合网络mta并加载在电梯数据集上训练好的模块权重。使用加载权重后的动量抽取网络mta对局部运动特征图feature_me进行时域全局特征提取，得到全局运动特征图feature_mta。
62.步骤3-4，重复步骤3-2，3-3，使用动量抽取网络me和多重时域聚合网络mta进行4阶段的全局运动特征提取，得到视频的全局运动特征图feature_mta_4。
63.步骤3-5，读取视频的全局运动特征图feature_mta_4。构造全连接网络结构的行为分类网络cla，并加载在电梯数据集上训练好的模块权重。使用加载权重后的动作分类网络cla，对全局运动特征图feature_mta_4进行行为分类，得到行为分类向量motion_cla。
64.步骤3-6，读取行为分类向量motion_cla。进行解码，得到电梯视频的行为类别motion_type。重复步骤3-1到3-5，对所有视频进行行为分类，并返回结果到边缘机器。
65.步骤3-7，相应的异常行为，按照重要性等级，启动后续的应对措施。
66.在使用模拟法收集的包含了6个异常行为类别(晕倒、跳跃、拍打轿厢、暴力斗殴、欺凌他人、阻塞厢门)和1个正常类别共计1500段视频的数据集中和基于能量函数的方法以及基于光流的方法进行了3次对比试验，并使用均值。在准确率，虚警率和漏检率三个指标上均大幅超越对比方法，同时本方法还天然的在实时性、可扩展性和负载均衡方面具有优
势。具体实验指标见表1。其中评价指标中的准确率是正确检测的视频数除以总的视频数，虚警率是虚警的视频数除以没有发生异常行为的视频数，漏检率是漏检的视频数除以发生异常行为的视频数。
[0067] 准确率虚警率漏检率基于能量函数的方法89.6％9.2％7.7％基于光流的方法85.8％11.6％9.8％本发明98.2％1.5％2.4％
[0068]
实施例2
[0069]
本发明还提供一种电梯内异常行为检测装置，包括处理器和存储器；所述存储器中存储有程序或指令，所述程序或指令由所述处理器加载并执行以实现实施例1电梯内异常行为检测方法。
[0070]
实施例3
[0071]
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行实施例1电梯内异常行为检测方法。
[0072]
所属领域的技术人员可以清楚地了解到，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0073]
本发明提供的用于电梯内异常行为检测方法、装置及存储介质，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
技术特征：1.一种电梯内异常行为检测方法，其特征在于，包括：步骤1，在边缘机器对电梯监控视频的每一帧图像下采样到指定分辨率，并对每一帧图像进行亮度增强；步骤2， 在边缘机器，对步骤1得到的亮度增强后图像做人体检测；对存在人体的帧图像进行聚合，并将聚合得到的结果视频片段输出至云上机器；步骤3，在云上机器，对步骤2输出的视频片段进行异常行为检测，并返回检测结果到边缘机器。2.根据权利要求1所述的基于边缘计算的电梯内异常行为检测方法，其特征在于，步骤1包括：步骤1-1，读取输入帧图像和下采样的目标宽度width和目标高度height；然后使用线性插值算法对输入帧图像进行下采样，得到下采样后的帧图像；步骤1-2，读取下采样后的帧图像和算法参数截断阈值cliplimit，使用限制对比度自适应直方图均衡算法对下采样后的帧图像进行亮度增强，得到亮度增强后的帧图像。3.根据权利要求2所述的基于边缘计算的电梯内异常行为检测方法，其特征在于，步骤1-1中，设定的图像下采样目标宽度width和目标高度height均是332；步骤1-2中，设定的对比度截断阈值cliplimit是40.0。4.根据权利要求1所述的基于边缘计算的电梯内异常行为检测方法，其特征在于，步骤2包括：步骤2-1， 读取亮度增强后的帧图像input_image；构造骨干网络shufflenetv2，并加载在电梯数据集上训练好的网络权重；使用加载权重后的shufflenetv2网络对亮度增强后的帧图像input_image进行特征提取，得到第三阶段特征图feature_stage3和第四阶段特征图feature_stage4；步骤2-2， 读取第三阶段特征图feature_stage3和第四阶段特征图feature_stage4；构造轻量化特征金字塔网络light-fpn，并加载在电梯数据集上训练好的网络权重；使用加载权重后的轻量化特征金字塔网络light-fpn对第三阶段特征图feature_stage3和第四阶段特征图feature_stage4进行多尺度特征融合，得到融合后的特征图feature_final；步骤2-3， 读取融合后的特征图feature_final；构造前景分类器和矩形框回归器，并加载在电梯数据集上训练好的网络权重；使用加载权重后的类别分类器和矩形框回归器，对特征图feature_final进行人体检测，得到坐标向量bboxes、类别向量classes和置信度向量confidences；步骤2-4，读取坐标向量bboxes、类别向量classes和置信度向量confidences，并进行局部非极大值抑制和解码，得到当前图像的是否包含人体的置信度body_confidence以及人体的具体位置body_bbox；步骤2-5，对每一帧输入图片input_image_i重复步骤2-1到2-4，得到当前图像的是否包含人体的置信度body_confidence_i以及人体的具体位置body_bbox_i；步骤2-6，读取双阈值算法的参数：正例阈值pos_thr、负例阈值neg_thr及断开指数阈值cut_thr，重置断开指数cut_count为0；步骤2-7，对于步骤2-5返回的所有帧，当出现置信度body_confidence_i大于正例判别阈值pos_thr的帧时，开始连接；当开始连接后连续出现body_confidence_i小于正例判别
阈值neg_thr的帧时，断开指数加一；当断开指数大于断开指数阈值cut_thr时，得到一个视频片段，并返回给云上机器；重复步骤2-6，2-7。5.根据权利要求4所述的基于边缘计算的电梯内异常行为检测方法，其特征在于，步骤2-6中，超参数正例阈值pos_thr设定为0.6；负例阈值neg_thr设定为0.4；断开指数阈值cut_thr设定为7。6.根据权利要求1所述的基于边缘计算的电梯内异常行为检测方法，其特征在于，步骤3包括：步骤3-1， 读取步骤2返回的视频input_video和视频帧抽取总数frame_total；对input_video的视频帧进行稀疏抽取，等间距抽取其中frame_total帧，得到视频子帧集合input_frames；步骤3-2， 读取视频子帧集合input_frames；构造动量抽取网络me并加载在电梯数据集上训练好的模块权重；使用加载权重后的动量抽取网络me对视频子帧集合input_frames进行时域局部特征提取，得到局部运动特征图feature_me；步骤3-3， 读取局部运动特征图feature_me；构造多重时域聚合网络mta并加载在电梯数据集上训练好的模块权重；使用加载权重后的动量抽取网络mta对局部运动特征图feature_me进行时域全局特征提取，得到全局运动特征图feature_mta；步骤3-4， 重复步骤3-2，3-3，使用动量抽取网络me和多重时域聚合网络mta进行4阶段的全局运动特征提取，得到视频的全局运动特征图feature_mta_4；步骤3-5， 读取视频的全局运动特征图feature_mta_4；构造全连接网络结构的行为分类网络cla，并加载在电梯数据集上训练好的模块权重；使用加载权重后的动作分类网络cla，对全局运动特征图feature_mta_4进行行为分类，得到行为分类向量motion_cla；步骤3-6，读取行为分类向量motion_cla；进行解码，得到电梯视频的行为类别motion_type；重复步骤3-1到3-5，对所有视频进行行为分类，并返回结果到边缘机器；步骤3-7，根据相应的异常行为，按照重要性等级，启动后续的应对措施。7.根据权利要求6所述的基于边缘计算的电梯内异常行为检测方法，其特征在于，步骤3-6中，行为类别包括异常行为和正常行为，其中异常行为包括晕倒、跳跃、拍打轿厢、暴力斗殴、欺凌他人或阻塞厢门；正常行为包括站立。8.一种基于边缘计算的电梯内异常行为检测装置，其特征在于，包括处理器和存储器；所述存储器中存储有程序或指令，所述程序或指令由所述处理器加载并执行以实现如权利要求1至7任一所述的电梯内异常行为检测方法。9.一种计算机可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至8任一项所述电梯内异常行为检测的方法。
技术总结本发明公开了一种基于边缘计算的电梯内异常行为检测方法、装置及存储介质。电梯内异常检测方法包括如下步骤：基于直方图均衡化的视频亮度增强；基于轻量级卷积神经网络的人体检测；基于轻量级时域激发和聚合网络的异常行为检测。受限于算力，电梯异常行为检测往往使用基于手工特征的方法。本发明开创性的在电梯安防场景结合了边缘计算和多种深度学习方法，设计了完整的边缘计算算法系统，有效的降低了算法的计算复杂度和计算资源开销，充分利用大量的低算力的电梯监控以及后台设备，同时在准确率，虚警率和漏检率三个指标上均大幅超越对比方法，在实时性，可扩展性，负载均衡等方面也均优于使用传统非深度方法的检测系统。均优于使用传统非深度方法的检测系统。均优于使用传统非深度方法的检测系统。
技术研发人员：路通 杨国强 黄建武 曹阳
受保护的技术使用者：江苏威尔曼科技有限公司
技术研发日：2022.03.18
技术公布日：2022/7/5
