本发明涉及流量数据处理的，更具体地说，涉及一种离线统计安全数据的方法、系统、存储介质和电子设备。
背景技术：
1、随着网络安全威胁的日益增加，对流量类安全日志的处理和分析变得越来越重要。传统的处理办法主要包括：
2、实时分析法：通过使用网络流量分析工具，实时捕获和分析网络流量，以识别潜在的安全威胁。这种方法虽然能够快速响应，但对于大量数据的处理能力有限，且实时性会影响系统性能。
3、日志管理系统法：使用日志管理系统收集、存储和分析日志数据。这些系统可以对日志数据进行实时分析，也可以进行离线分析，以提供更深入的安全洞察。然而，这些系统的处理能力受限于其配置和资源，且可能需要大量的存储空间。
4、数据库审计和api(application programming interface，代表各类预先定义的函数接口)审计法：通过数据库审计和api审计工具，记录和分析数据库操作和api调用的日志。这些工具可以帮助识别异常行为和潜在的安全漏洞。然而，这些工具通常需要与应用程序紧密集成，且可能会增加系统的复杂性和资源消耗。
技术实现思路
1、本发明要解决的技术问题在于，针对现有技术存在的问题，提供一种离线统计安全数据的方法、系统、存储介质和电子设备。
2、本发明解决其技术问题所采用的技术方案是：构造一种离线统计安全数据的方法，包括以下步骤：
3、收集源数据；所述源数据包括：日志类数据、流量类数据以及业务类数据中的任意一种或者多种；
4、采用预设工具对所述源数据进行批处理；
5、将处理后的数据导入列式数据库中；
6、对所述列式数据库中的数据进行分层处理，获得分层数据；
7、对所述分层数据建立物化视图并存储。
8、在本发明所述的离线统计安全数据的方法中，所述预设工具包括：apache flink数据处理工具或者apache spark数据处理工具。
9、在本发明所述的离线统计安全数据的方法中，所述采用预设工具对所述源数据进行批处理包括：
10、采用预设工具对所述源数据进行数据清洗；
11、对完成数据清洗的数据进行数据转换，获得统一格式的数据；
12、对完成数据转换的数据进行聚合，获得聚合数据。
13、在本发明所述的离线统计安全数据的方法中，所述对所述分层数据建立物化视图并存储包括：
14、根据不同的统计指标和模型对所述分层数据进行物化视图；
15、对完成物化视图的数据进行存储。
16、在本发明所述的离线统计安全数据的方法中，所述方法还包括：
17、对完成批处理的数据进行识别，获得描述性数据；
18、对所述描述性数据进行归一化处理，获得dim维度表；
19、将所述dim维度表存储在所述列式数据库中。
20、在本发明所述的离线统计安全数据的方法中，所述对所述列式数据库中的数据进行分层处理，获得分层数据还包括：
21、对所述处理后的数据进行数据建模和数据加密脱敏处理，获得明细数据。
22、在本发明所述的离线统计安全数据的方法中，所述对所述列式数据库中的数据进行分层处理，获得分层数据还包括：
23、对所述明细数据进行聚合处理，获得聚合数据；
24、对所述聚合数据进行汇总处理，获得汇总数据；
25、基于所述明细数据和/或所述聚合数据进行数据挖掘、机器学习以及数据分析，获得应用数据。
26、本发明还提供一种离线统计安全数据的系统，包括：
27、数据收集单元，用于收集源数据；所述源数据包括：日志类数据、流量类数据以及业务类数据中的任意一种或者多种；
28、数据处理单元，用于采用预设工具对所述源数据进行批处理；
29、数据导入单元，用于将处理后的数据导入列式数据库中；
30、分层处理单元，用于对所述列式数据库中的数据进行分层处理，获得分层数据；
31、物化视图存储单元，用于对所述分层数据建立物化视图并存储。
32、本发明还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上所述的离线统计安全数据的方法的步骤。
33、本发明还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，执行如上所述的离线统计安全数据的方法的步骤。
34、实施本发明的离线统计安全数据的方法、系统、存储介质和电子设备，具有以下有益效果：包括以下步骤：收集源数据；源数据包括：日志类数据、流量类数据以及业务类数据中的任意一种或者多种；采用预设工具对源数据进行批处理；将处理后的数据导入列式数据库中；对列式数据库中的数据进行分层处理，获得分层数据；对分层数据建立物化视图并存储。本发明通过采用列式数据库对数据进行存储，同时建立物化视图，可以实现高效的数据存储和查询，同时还具有灵活的数据处理和分析能力，通过列式数据库的分布式架构，可以轻松地扩展以处理更大的数据量，同时使用物化视图还可以简化数据处理和分析的过程，提高了系统的可维护性。
1.一种离线统计安全数据的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的离线统计安全数据的方法，其特征在于，所述预设工具包括：apache flink数据处理工具或者apache spark数据处理工具。
3.根据权利要求2所述的离线统计安全数据的方法，其特征在于，所述采用预设工具对所述源数据进行批处理包括：
4.根据权利要求1所述的离线统计安全数据的方法，其特征在于，所述对所述分层数据建立物化视图并存储包括：
5.根据权利要求1所述的离线统计安全数据的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的离线统计安全数据的方法，其特征在于，所述对所述列式数据库中的数据进行分层处理，获得分层数据还包括：
7.根据权利要求6所述的离线统计安全数据的方法，其特征在于，所述对所述列式数据库中的数据进行分层处理，获得分层数据还包括：
8.一种离线统计安全数据的系统，其特征在于，包括：
9.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1至7任一项所述的离线统计安全数据的方法的步骤。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，执行如权利要求1至7任一项所述的离线统计安全数据的方法的步骤。
