本发明涉及基于计算机视觉的铁路异物入侵检测，具体涉及一种异物入侵检测方法及系统。
背景技术：
1、由于铁路沿线基础防护措施不健全，导致铁路在正常运行时可能面临人、动物、落石等异物入侵风险，对铁路运行构成极大的安全隐患。实时检测铁路异物入侵，有利于保证铁路司乘生命财产安全。在高速铁路异物入侵检测的研究中，传统方法主要基于前背景差异检测技术。这种方法通过分析连续帧图像的差分计算来识别铁路异物，具有部署简便、快速响应等优点。然而，这种技术的主要缺点是灵敏度过高，例如光照变化或动态背景的干扰等微小的环境变化都可能触发误报，导致系统的实用性受限。
2、随着计算机视觉领域的快速发展，在高速铁路异物入侵检测的领域中，基于强监督学习的目标检测技术被广泛用于识别特定种类的侵入异物，如落石、泥石流、人员或垃圾等。该方法依赖于人工智能深度学习模型，如yolo或faster r-cnn，通过大量具体类别的训练样本学习识别特定的异物。然而，该类方法面临一个显著的挑战：深度网络需要经过已标注数据集的训练以提取异物特征，即需要提前定义和标注所有潜在的异物类别；对于未在训练集中明确标注的异物类型，传统的目标检测模型难以有效识别和响应，导致实际使用中常出现漏报。因此，虽然基于强监督学习的目标检测技术在识别已知类别的异物方面表现出色，但因其对未知异物类型的检测能力受限，在高速铁路异物入侵检测中仍不是最佳选择。
3、高铁运行环境下，在线路旁布设的摄像头对铁轨防区进行全天候监控的过程中，随着时间的推移和太阳位置的变化，摄像头捕捉到的图像中光线和阴影有较大的变化。且铁路沿线周围通常有植被，受天气影响植被会随着风吹而产生晃动。摄像头捕捉到的这些干扰因素，使得传统铁路异物入侵的检测造成误判。在高速铁路的异物入侵检测领域，现有技术主要基于前背景差异检测和基于强监督深度学习的目标检测两种方法。然而，这些方法各自存在明显的缺陷。前背景差异检测技术虽然部署简便、能快速响应，但过于敏感，易受到光照变化或动态背景的干扰而产生误报。在铁路安全领域，过高的误报率会造成大量的资源浪费，实用性不强。基于强监督深度学习的目标检测技术，由于实际应用场景中异物的种类繁多且不可预测，而强监督神经网络的精度和鲁棒性又高度依赖于训练数据集的全面和丰富程度，对于未在训练集中明确标注的异物类型，模型难以识别，因此在实际使用中存在漏报风险。
技术实现思路
1、本发明的目的在于提供一种异物入侵检测方法及系统，以解决上述背景技术中存在的至少一项技术问题。
2、为了实现上述目的，本发明采取了如下技术方案：
3、第一方面，本发明提供一种异物入侵检测方法，包括：
4、获取铁路防区视频数据；
5、利用预先训练好的检测模型对获取的铁路防区视频数据进行处理，得到铁轨异物入侵检测结果；其中，训练所述检测模型包括：获取多个视频流数据，获取连续的图像帧；以多条线段连接成封闭多边形区域的方式对采集的铁轨视频图像进行标注，画出其中的铁轨防区；提取视频图像中的铁轨防区，作为后续异物入侵研究的感兴趣区域；将连续两帧的铁轨防区图像作差分运算，得两帧图像的差，利用一维最大类间差异法确定阈值t，将得到的差分图像二值化；在得到的差分图像上，标记目标像素，定位差异区域；遍历扫描二值化图像的每个像素，对于每个目标像素，检查其周围的4邻域像素，如果该目标像素周围没有已标记像素，则为该像素添加标记；如果存在至少一个已标记的目标像素，则将其归入差异区域中内部；根据标记目标像素的坐标值获取边界框，在上一帧和当前帧的原始图像上裁剪差异区域；将得到的包含连续两帧差异的局部图片输入至预设的相似度检测网络中进行训练，使网络学习提取两帧图像的相似性特征。
6、进一步的，将直方图分为目标和背景两部分，其中属于目标的像素点数占整幅差分图像的比例记作ω1，其平均灰度记作μ1；属于背景的占比记作ω2，平均灰度记作μ2；采用遍历法使得类间方差g＝ω1×ω2(μ1-μ2)2最大，此时的阈值t即为所求。
7、进一步的，计算差分图像的灰度直方图，即每个灰度级别在图像中的像素数目；利用得到的阈值t对差分图像进行二值化，若像素点亮度大于阈值t，则判定该像素为目标点，否则为背景点；得到二值化图像rk(x,y)：
8、
9、进一步的，将包含连续两帧差异的局部图片dk(x,y)和dk-1(x,y)，作为输入至预设的相似度检测网络中，获取0-1的相似度值，具体为：
10、将dk(x,y)和dk-1(x,y)经过图像尺度变换值224×224，分别输入第一卷积层中进行特征提取，获得第一特征图；将所述第一特征图输入第一下采样层进行池化，获得第二特征图，以减少网络训练的参数量；将所述第二特征图输入第二卷积层进一步提取特征，获得第三特征图；将所述第三特征图输入第二下采样层进一步池化，获得第四特征图；将所述第四特征图输入第三卷积层进一步提取特征，获得第五特征图；将所述第五特征图输入第四卷积层进一步提取特征，获得第六特征图；将所述第六特征图输入第五卷积层进一步提取特征，获得第七特征图；将所述第七特征图输入第三下采样层进行池化，两个分支分别获得两张局部图片的最终特征图；将所述最终两张特征图分别输入展平层，得两个一维向量；将展平后的两个一维向量输入到特征融合层，逐个计算对应元素的绝对差值，生成一个融合后的第一差值特征向量；将所述第一差值向量输入第一全连接层，将维度缩小，后接relu激活函数，得到第二差值特征向量；将所述第二差值向量输入第二全连接层，将维度缩小，后接relu激活函数，得到第三差值特征向量；最后，将所述第三差值特征向量输入到输出层，数中进行压缩，得到相似度评分。
11、进一步的，相似度评分计算公式为：
12、
13、其中，σ(·)表示sigmoid函数，wfcout分别表示第一全连接层、第二全连接层和输出层的网络权重，b1、b2和b3分别表示其偏置项，v1和v2是两个展平的特征向量，|v1-v2|是经特征融合层逐像素计算两个特征向量的绝对差值。
14、进一步的，将训练集分为正负样本对，其中正样本对表示连续两张图片均展示了正常的铁路场景；负样本对表示一张图片展示了正常的铁路场景，而另一张则表示含有铁路异物入侵的场景；将正负样本对构成的训练集加载至所述相似度检测网络中，反向传播过程负责根据损失函数l对网络参数进行更新；将差帧对比法输出的包含连续两帧图像差异信息的局部图片输入至预设的相似度检测网络中，网络能够输出其相似度评分，用于对差帧对比法的检测结果进行复核。
15、进一步的，损失函数l为：
16、其中，y表示正负样本标签，y＝0表示相似的正样本对，反之负样本对则y＝1，d表示两样本特征向量的欧氏距离d＝||g(xi)-g(xj)||2，m是预设的边界参数，用于定义多远的距离被认为是不相似的。
17、进一步的，设定相似度评分阈值，若经相似度检测网络输出的评分超过设定阈值，则判定连续两帧图片差异不显著，差帧检测法误判，不发出预警；若未超过设定阈值，则判定连续两帧图片差异显著，存在铁路异物入侵现象，发出预警。
18、第二方面，本发明提供一种异物入侵检测系统，包括：
19、获取模块，用于获取铁路视频数据；
20、处理模块，用于利用预先训练好的检测模型对获取的铁路视频数据进行处理，得到铁轨异物入侵检测结果；其中，训练所述检测模型包括：获取多个视频流数据，获取连续的图像帧；以多条线段连接成封闭多边形区域的方式对采集的铁轨视频图像进行标注，画出其中的铁轨防区；提取视频图像中的铁轨防区，作为后续异物入侵研究的感兴趣区域；将连续两帧的铁轨防区图像作差分运算，得两帧图像的差，利用一维最大类间差异法确定阈值t，将得到的差分图像二值化；在得到的差分图像上，标记目标像素，定位差异区域；遍历扫描二值化图像的每个像素，对于每个目标像素，检查其周围的4邻域像素，如果该目标像素周围没有已标记像素，则为该像素添加标记；如果存在至少一个已标记的目标像素，则将其归入差异区域中内部；根据标记目标像素的坐标值获取边界框，在上一帧和当前帧的原始图像上裁剪差异区域；将得到的包含连续两帧差异的局部图片输入至预设的相似度检测网络中进行训练，使网络学习提取两帧图像的相似性特征。
21、第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如第一方面所述的异物入侵检测方法。
22、第四方面，本发明提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如第一方面所述的异物入侵检测方法。
23、第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如第一方面所述的异物入侵检测方法的指令。
24、本发明有益效果：能在减少误报率的同时，提高了检测泛化能力；将前背景差异检测和基于深度学习的相似度检测网络相结合，提出差帧对比法，在传统前背景检测中引入自适应阈值，减少系统受光照变化而导致的误判；再将差帧对比法检测出的差异区域定位，并把连续两帧图片中的上述差异区域输入到相似度检测网络，进行相似度评分的预测；最后根据相似度阈值判定是否存在异物。
25、本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。
1.一种异物入侵检测方法，其特征在于，包括：
2.根据权利要求1所述的异物入侵检测方法，其特征在于，将直方图分为目标和背景两部分，其中属于目标的像素点数占整幅差分图像的比例记作ω1，其平均灰度记作μ1；属于背景的占比记作ω2，平均灰度记作μ2；采用遍历法使得类间方差g＝ω1×ω2(μ1-μ2)2最大，此时的阈值t即为所求。
3.根据权利要求2所述的异物入侵检测方法，其特征在于，计算差分图像的灰度直方图，即每个灰度级别在图像中的像素数目；利用得到的阈值t对差分图像进行二值化，若像素点亮度大于阈值t，则判定该像素为目标点，否则为背景点；得到二值化图像rk(x,y)：
4.根据权利要求1所述的异物入侵检测方法，其特征在于，将包含连续两帧差异的局部图片dk(x,y)和dk-1(x,y)，作为输入至预设的相似度检测网络中，获取0-1的相似度值，具体为：
5.根据权利要求4所述的异物入侵检测方法，其特征在于，相似度评分计算公式为：
6.根据权利要求4所述的异物入侵检测方法，其特征在于，将训练集分为正负样本对，其中正样本对表示连续两张图片均展示了正常的铁路场景；负样本对表示一张图片展示了正常的铁路场景，而另一张则表示含有铁路异物入侵的场景；将正负样本对构成的训练集加载至所述相似度检测网络中，反向传播过程负责根据损失函数l对网络参数进行更新；将差帧对比法输出的包含连续两帧图像差异信息的局部图片输入至预设的相似度检测网络中，网络能够输出其相似度评分，用于对差帧对比法的检测结果进行复核。
7.根据权利要求6所述的异物入侵检测方法，其特征在于，损失函数l为：
8.根据权利要求4所述的异物入侵检测方法，其特征在于，设定相似度评分阈值，若经相似度检测网络输出的评分超过设定阈值，则判定连续两帧图片差异不显著，差帧检测法误判，不发出预警；若未超过设定阈值，则判定连续两帧图片差异显著，存在铁路异物入侵现象，发出预警。
9.一种异物入侵检测系统，其特征在于，包括：
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-8任一项所述的异物入侵检测方法的指令。
