一种基于网络入侵的实时流量安全检测方法及系统与流程

allin2025-07-25  38


本发明涉及网络安全,尤其涉及一种基于网络入侵的实时流量安全检测方法及系统。


背景技术:

1、随着网络技术的进一步发展,一些附带的网络安全问题也随之出现在人们的视线中。对于网络安全的维护一个主要方面是对网络流量进行安全检测,即使发现网络流量中存在的异常数据或侵入数据,对其进行处理,从而维护网络安全。

2、现有技术对于异常流量的检测,主要通过收集网络流量数据、日志数据以及网络安全数据,并对收集到的网络流量数据、日志数据以及网络安全数据进行清洗和预处理,并根据预处理后的数据提取特征要素,生成有效特征数据集;构建一深度学习模型作为检测模型,进而以该有效特征数据集以及已知的网络攻击样本对深度学习模型进行训练,并将训练好的模型作为检测模型应用于网络流量的异常检测中,这种方式训练好的模型无法动态学习新的特征,使得对新产生的导致网络流量异常的因素难以检测。


技术实现思路

1、本发明实施例提供一种基于网络入侵的实时流量安全检测方法及系统,能快速和准确的检测实时流量中的异常流量,动态学习新的异常特征,提高异常检测的全面性,提升网络安全性。

2、本发明一实施例提供一种基于网络入侵的实时流量安全检测方法,包括:

3、实时捕获各时刻下流量数据;

4、对当前时刻下流量数据进行检测,若当前时刻下流量数据超出预设流量阈值范围,将当前时刻下流量数据标定为第一待检测流量数据,将所述第一待检测流量数据隔离,并输入第一异常流量检测模型中,以使所述第一异常流量检测模型提取所述第一待检测流量数据的待检测特征,结合异常特征数据库输出第一待检测流量数据的数据类型以及影响持续时间;其中,所述数据类型包括;正常数据、异常数据和可疑数据;

5、若当前时刻下流量数据未超出预设流量阈值范围,将当前时刻下流量数据标定为第二待检测流量数据;

6、在监测到任意第二待检测流量数据发生数据异常时,获取数据异常时影响范围内的所有第二待检测流量数据及未学习异常特征,以数据异常时影响范围内的所有第二待检测流量数据及未学习异常特征对第二异常流量检测模型进行训练,以使所述第二异常流量检测模型输出未学习异常特征和影响持续时间,并以所述未学习异常特征和影响持续时间对异常特征数据库进行更新;

7、根据当前时刻下流量数据的数据类型执行对应的网络安全策略;

8、其中,所述第一异常流量检测模型的构建包括:

9、获取历史流量数据样本集;其中,所述历史流量数据样本集包括若干历史时刻下异常流量数据样本和若干历史时刻下正常流量数据样本;每一历史时刻下异常流量数据样本包括异常特征;

10、构建一初始的第一异常流量检测模型,以所述历史流量数据样本集对所述初始第一异常流量检测模型进行迭代训练,直至初始第一异常流量检测模型收敛,生成所述第一异常流量检测模型;其中,在迭代过程中,所述初始第一异常流量检测模型提取历史流量数据样本集中的特征向量,根据特征向量确定数据类型及影响持续时间,并将所述异常特征及影响持续时间添加至异常特征数据库中。

11、进一步地,所述获取历史流量数据样本集,包括:

12、获取若干历史时刻下异常流量数据样本和若干历史时刻下正常流量数据样本;

13、将若干历史时刻下异常流量数据样本随机分解为若干历史时刻下异常流量数据碎片样本;

14、将若干历史时刻下异常流量数据碎片样本和若干历史时刻下正常流量数据样本融合,得到若干历史时刻下包含异常流量数据碎片样本的可疑样本和各可疑样本的可疑概率;其中,所述可疑概率根据历史时刻下异常流量数据碎片样本、可疑样本和异常流量数据样本确定;

15、以若干历史时刻下异常流量数据样本、若干历史时刻下正常流量数据样本和若干历史时刻下的可疑样本构建历史流量数据样本集。

16、进一步地,以所述历史流量数据样本集对所述初始第一异常流量检测模型进行迭代训练,直至初始第一异常流量检测模型收敛,生成所述第一异常流量检测模型,包括:

17、以若干历史时刻下异常流量数据样本为输入,以若干历史时刻下异常流量数据样本对应的数据类型为输出,对所述第一异常流量检测模型进行迭代训练,以使第一异常流量检测模型提取各历史时刻下异常流量数据样本所对应的异常特征;

18、以若干历史时刻下异常流量数据样本和若干历史时刻下正常流量数据样本为输入,以各样本对应的数据类型为输出,对所述第一异常流量检测模型进行迭代训练,在所述第一异常流量检测模型收敛时,确定第一样本权重;

19、以若干历史时刻下的可疑样本为输入,以各可疑样本对应的数据类型为输出,对所述第一异常流量检测模型进行迭代训练,在所述第一异常流量检测模型收敛时,确定第二样本权重;其中,在可疑概率大于预设概率阈值时,可疑样本对应数据类型为异常数据;

20、以若干历史时刻下异常流量数据样本、若干历史时刻下正常流量数据样本和若干历史时刻下的可疑样本为输入,以各样本对应的数据类型为输出,对所述第一异常流量检测模型进行迭代训练,在所述第一异常流量检测模型收敛时,确定第三样本权重;

21、根据所述第一样本权重、第二样本权重和第三样本权重确定所述第一异常流量检测模型的融合权重。

22、进一步地,所述以数据异常时影响范围内的所有第二待检测流量数据及未学习异常特征对第二异常流量检测模型进行训练,以使所述第二异常流量检测模型输出未学习异常特征和影响持续时间,并以所述未学习异常特征和影响持续时间对异常特征数据库进行更新,包括:

23、根据数据异常时影响范围内的所有第二待检测流量数据和未学习异常特征构建训练样本集;其中,所述训练样本集包括若干包含未学习异常特征的流量数据样本和若干不包含未学习异常特征的流量数据样本;

24、以训练样本集对第二异常流量检测模型进行训练,直至第二异常流量检测模型收敛时,确定待融合权重;

25、以数据异常时影响范围内的所有第二待检测流量数据及未学习异常特征进行仿真运行,确定未学习异常特征的影响持续时间;

26、将未学习异常特征、未学习异常特征的影响持续时间和待融合权重传输至第一异常流量检测模型,以使所述第一异常流量检测模型以待融合权重对所述融合权重进行更新,得到更新后的融合权重,并将未学习异常特征和未学习异常特征的影响持续时间存储至异常特征数据库;

27、初始化第二异常流量检测模型。

28、进一步地,所述将若干历史时刻下异常流量数据样本随机分解为若干历史时刻下异常流量数据碎片样本,包括:

29、对若干历史时刻下异常流量数据样本进行分层抽样,得到若干分组的选定异常流量数据样本;其中,各分组包含的选定异常流量数据样本间异常特征不相同;

30、将各分组内的若干选定异常流量数据样本进行融合,得到若干分组的选定融合特征样本;

31、随机截取各分组的选定融合特征样本,得到若干历史时刻下异常流量数据碎片样本。

32、进一步地,所述将若干历史时刻下异常流量数据碎片样本和若干历史时刻下正常流量数据样本融合,得到若干历史时刻下包含异常流量数据碎片样本的可疑样本和各可疑样本的可疑概率,包括:

33、将若干历史时刻下异常流量数据碎片样本与若干历史时刻下正常流量数据样本融合,得到若干历史时刻下包含异常流量数据碎片样本的可疑样本;

34、根据若干历史时刻下可疑样本中异常流量数据碎片样本在对应历史时刻下异常流量数据样本的占比确定第一细分可疑概率;

35、根据若干历史时刻下可疑样本中异常流量数据碎片样本在可疑样本中的占比确定第二细分可疑概率;

36、根据各所述第一细分可疑概率和各所述第二细分可疑概率确定若干历史时刻下可疑样本的可疑概率。

37、进一步地,所述根据当前时刻下流量数据的数据类型执行对应的网络安全策略,包括:

38、在数据类型为正常数据时,解除当前时刻下流量数据的隔离;

39、在数据类型为可疑数据时,对当前时刻下流量数据进行标记,并在预设时段内对当前时刻下流量数据进行监测,若在预设时段内未转变为异常数据,解除当前时刻下流量数据的隔离;

40、在数据类型为异常数据时,根据异常数据的异常特征对异常数据进行处理,若处理后异常数据可转化为正常数据,解除当前时刻下流量数据的隔离,若处理后异常数据不可转化为正常数据,将当前时刻下流量数据进行消杀。

41、在上述方法项实施例的基础上,本发明对应提供了系统项实施例;

42、本发明一实施例对应提供了一种基于网络入侵的实时流量安全检测系统,包括:流量数据捕获模块、检测模块、特征更新模块、安全管控模块以及第一异常流量检测模型构建模块;

43、所述流量数据捕获模块,用于实时捕获各时刻下流量数据;

44、所述检测模块,用于对当前时刻下流量数据进行检测,若当前时刻下流量数据超出预设流量阈值范围,将当前时刻下流量数据标定为第一待检测流量数据,将所述第一待检测流量数据隔离,并输入第一异常流量检测模型中,以使所述第一异常流量检测模型提取所述第一待检测流量数据的待检测特征,结合异常特征数据库输出第一待检测流量数据的数据类型以及影响持续时间;其中,所述数据类型包括;正常数据、异常数据和可疑数据;若当前时刻下流量数据未超出预设流量阈值范围,将当前时刻下流量数据标定为第二待检测流量数据;

45、所述特征更新模块,用于在监测到任意第二待检测流量数据发生数据异常时,获取数据异常时影响范围内的所有第二待检测流量数据及未学习异常特征,以数据异常时影响范围内的所有第二待检测流量数据及未学习异常特征对第二异常流量检测模型进行训练,以使所述第二异常流量检测模型输出未学习异常特征和影响持续时间,并以所述未学习异常特征和影响持续时间对异常特征数据库进行更新;

46、所述安全管控模块,用于根据当前时刻下流量数据的数据类型执行对应的网络安全策略;

47、所述第一异常流量检测模型构建模块,用于获取历史流量数据样本集;其中,所述历史流量数据样本集包括若干历史时刻下异常流量数据样本和若干历史时刻下正常流量数据样本;每一历史时刻下异常流量数据样本包括异常特征;构建一初始的第一异常流量检测模型,以所述历史流量数据样本集对所述初始第一异常流量检测模型进行迭代训练,直至初始第一异常流量检测模型收敛,生成所述第一异常流量检测模型;其中,在迭代过程中,所述初始第一异常流量检测模型提取历史流量数据样本集中的特征向量,根据特征向量确定数据类型及影响持续时间,并将所述异常特征及影响持续时间添加至异常特征数据库中。

48、本发明另一实施例提供了一种终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述发明实施例所述的一种基于网络入侵的实时流量安全检测方法。

49、本发明另一实施例提供了一种存储介质,所述存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述存储介质所在设备执行上述发明实施例所述的一种基于网络入侵的实时流量安全检测方法。

50、通过实施本发明具有如下有益效果:

51、本发明提供了一种基于网络入侵的实时流量安全检测方法及系统,该检测方法通过实时捕获各时刻下流量数据,对实时捕获的各时刻下流量数据进行安全检测;基于网络入侵时流量数据存在大幅度波动的特性,以预设流量阈值范围对当前时刻下流量数据进行快速初步的判断,在当前时刻下流量数据超出预设流量阈值范围时,即网络流量波动不正常时,以当前时刻下流量数据作为第一待检测流量数据,并对该数据进行数据隔离,以避免该第一待检测流量数据在进一步细化检测过程中进行扩散;隔离后,结合第一异常流量检测模型对第一待检测流量数据进行检测,以确定第一待检测流量数据的数据类型以及影响持续时间;

52、进一步地,若当前时刻下流量数据未超出预设流量阈值范围,将当前时刻下流量数据标定为第二待检测流量数据,对所标记的第二待检测流量数据进行监测,在任意第二待检测流量发生数据异常时,获取数据异常时影响范围内的所有第二待检测流量数据及未学习异常特征,以此作为训练样本对第二异常流量检测模型进行训练,以使第二异常流量检测模型学习未学习异常特征,确定未学习异常特征的影响持续时间,并将学习结果对第一异常流量检测模型的异常特征数据库进行更新,通过对初步检测未发现异常的流量数据进行监测,在其发生异常时将其影响范围内的流量数据作为样本对第二异常流量检测模型进行训练,再将训练学习成果共享到第一异常流量检测模型的方式,使得第一异常流量检测模型在需学习新的异常特征时无需重新训练,且用于学习新的异常特征的第二异常流量检测模型的训练数据量较少,在训练时算力和复杂度更低,便于动态地学习新的异常特征,动态地更新异常特征数据库,能提高第一异常流量检测模型的泛化识别能力和检测准确性,从而进一步提高网络安全性。


技术特征:

1.一种基于网络入侵的实时流量安全检测方法,其特征在于,包括:

2.如权利要求1所述的一种基于网络入侵的实时流量安全检测方法,其特征在于,所述获取历史流量数据样本集,包括:

3.如权利要求2所述的一种基于网络入侵的实时流量安全检测方法,其特征在于,以所述历史流量数据样本集对所述初始第一异常流量检测模型进行迭代训练,直至初始第一异常流量检测模型收敛,生成所述第一异常流量检测模型,包括:

4.如权利要求3所述的一种基于网络入侵的实时流量安全检测方法,其特征在于,所述以数据异常时影响范围内的所有第二待检测流量数据及未学习异常特征对第二异常流量检测模型进行训练,以使所述第二异常流量检测模型输出未学习异常特征和影响持续时间,并以所述未学习异常特征和影响持续时间对异常特征数据库进行更新,包括:

5.如权利要求3所述的一种基于网络入侵的实时流量安全检测方法,其特征在于,所述将若干历史时刻下异常流量数据样本随机分解为若干历史时刻下异常流量数据碎片样本,包括:

6.如权利要求5所述的一种基于网络入侵的实时流量安全检测方法,其特征在于,所述将若干历史时刻下异常流量数据碎片样本和若干历史时刻下正常流量数据样本融合,得到若干历史时刻下包含异常流量数据碎片样本的可疑样本和各可疑样本的可疑概率,包括:

7.如权利要求1所述的一种基于网络入侵的实时流量安全检测方法,其特征在于,所述根据当前时刻下流量数据的数据类型执行对应的网络安全策略,包括:

8.一种基于网络入侵的实时流量安全检测系统,其特征在于,包括:流量数据捕获模块、检测模块、特征更新模块、安全管控模块以及第一异常流量检测模型构建模块;

9.一种终端设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所诉处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的一种基于网络入侵的实时流量安全检测方法。

10.一种存储介质,其特征在于,所述存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至7中任意一项所述的一种基于网络入侵的实时流量安全检测方法。


技术总结
本发明公开了一种基于网络入侵的实时流量安全检测方法及系统,方法包括:实时捕获各时刻下流量数据;对当前时刻下流量数据进行检测,若超出预设流量阈值范围,标定为第一待检测流量数据,输入第一异常流量检测模型中,以使第一异常流量检测模型提取第一待检测流量数据的待检测特征,结合异常特征数据库输出第一待检测流量数据的数据类型以及影响持续时间;若未超出预设流量阈值范围,标定为第二待检测流量数据;在监测到发生数据异常时,以数据异常时影响范围内的所有第二待检测流量数据及未学习异常特征对第二异常流量检测模型进行训练,以使第二异常流量检测模型输出未学习异常特征和影响持续时间,对异常特征数据库进行更新。

技术研发人员:汪镜波
受保护的技术使用者:深圳市互盟科技股份有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-23350.html

最新回复(0)