本发明涉及数据处理,特别涉及一种数据安全处理方法及系统。
背景技术:
1、在当今信息化社会,随着数据资源的巨大价值日益显现,在数据要素流通过程中,如何在确保数据安全的前提下,以合规方式应用数据成为一项亟待解决的问题。在现有的技术解决方案中,有的仅关注安全存储,而忽视了数据在实际应用中的可行性和便捷性,这使得数据的价值得不到充分发挥;而有的解决方案虽然兼顾了数据应用的可行性和便捷性,却存在着严重的数据安全风险,如数据泄露、篡改等问题。
2、为解决这一问题,本发明提供了一种利用数据仓库、etl工具和数据安全管理工具实现的数据安全存储方法,并以其为数据底座设计合规应用系统,实现数据从存储到应用的全流程安全防护与合规管控。
技术实现思路
1、本发明实施例提供了一种数据安全处理方法及系统,以解决现有技术中的上述技术的问题。
2、为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
3、根据本发明实施例的第一方面,提供了一种数据安全处理方法。
4、在一个实施例中,所述数据安全处理方法,包括:
5、获取待处理的数据,并对所述数据进行安全存储,其中,所述安全存储包括数据备份、数据加解密处理和数据上链存证;
6、定期提取元数据信息并形成数据目录;用户登录并根据数据目录选取所需数据,发起申请;
7、管理员审批数据申请,根据用户的业务需求设定沙箱资源配置,并发送指令创建对应的沙箱环境;
8、发送授权接入指令,告知对应沙箱接入的数据资源编号和对应的密钥;沙箱接入对应的数据,并在完成模型程序运算后输出运算结果。
9、在一个实施例中,对所述数据进行安全存储由数据仓库、etl工具及安全管理工具协同完成;
10、其中,所述数据仓库分为原始库层、核心库层和分类库层;所述etl工具,用于数据仓库中各数据库层间的数据转接与处理;所述安全管理工具,用于数据备份控制、数据进出核心库时的加解密处理,以及数据进出核心库的上链存证。
11、在一个实施例中,所述原始库层包括公共数据原始库、企业自有数据库和灾备库;
12、公共数据原始库,用于存储从政府一体化大数据平台/数据中心的公共数据源同步而来的原始数据;企业自有数据库,用于存储企业需要临时使用或准备托管的数据;灾备库,用于对原始数据定期备份;
13、所述核心库层包括公共数据核心库、企业托管库、一企一档库和区块链底层库;
14、公共数据核心库,用于存储经初步校验处理后的公共数据;企业托管库,用于存储企业托管的企业数据;一企一档库,用于存储从公共数据核心库中提取的企业数据信息,包括企业基本信息和标签信息;区块链底层库,用于存储区块链发生的业务信息。
15、在一个实施例中,所述安全管理工具在数据备份控制、数据进出核心库时的加解密处理,以及数据进出核心库的上链存证时包括:
16、将待处理的数据接入原始库,并对原始库进行自动备份;根据数据分类属性和数据源单位的要求设定是否对数据进行独立加密,若是,则对数据目录信息进行上链存证,保障数据目录信息的完整性;若否,则对全量数据信息进行上链存证,保障数据本身的完整性;
17、对独立加密或非独立加密的数据进行统一加密处理后再存入核心库;当从核心库输出数据时,对经过统一加密的数据进行解密处理,若数据经过独立加密,则在获取数据源单位授权后调用密钥进行解密,并按使用需求将解密后的数据送入沙箱使用环境。
18、在一个实施例中,定期提取元数据信息并形成数据目录包括:
19、以每日定时或管理员手动触发的形式,扫描核心库层中的公共数据核心库和企业托管库,以及分类库层的数据,并提取元数据信息形成数据目录。
20、在一个实施例中,沙箱接入对应的数据,并在完成模型程序运算后输出运算结果包括:
21、沙箱从核心库和分类库中接入对应的数据,并对接入的数据进行模型程序运算,运算后的数据以接口形式供外部应用调用。
22、根据本发明实施例的第二方面,提供了一种数据安全处理系统。
23、在一个实施例中,所述数据安全处理系统,包括:
24、数据获取存储模块,用于获取待处理的数据,并对所述数据进行安全存储,其中,所述安全存储包括数据备份、数据加解密处理和数据上链存证;
25、目录提取调用模块,用于定期提取元数据信息并形成数据目录;用户登录并根据数据目录选取所需数据,发起申请;
26、沙箱资源配置模块,用于管理员审批数据申请,根据用户的业务需求设定沙箱资源配置,并发送指令创建对应的沙箱环境;
27、数据接入运算模块,用于发送授权接入指令,告知对应沙箱接入的数据资源编号和对应的密钥;沙箱接入对应的数据,并在完成模型程序运算后输出运算结果。
28、在一个实施例中,对所述数据进行安全存储由数据仓库、etl工具及安全管理工具协同完成;
29、其中,所述数据仓库分为原始库层、核心库层和分类库层;所述etl工具,用于数据仓库中各数据库层间的数据转接与处理;所述安全管理工具,用于数据备份控制、数据进出核心库时的加解密处理,以及数据进出核心库的上链存证;
30、所述原始库层包括公共数据原始库、企业自有数据库和灾备库;
31、公共数据原始库,用于存储从政府一体化大数据平台/数据中心的公共数据源同步而来的原始数据;企业自有数据库,用于存储企业需要临时使用或准备托管的数据;灾备库,用于对原始数据定期备份;
32、所述核心库层包括公共数据核心库、企业托管库、一企一档库和区块链底层库;
33、公共数据核心库,用于存储经初步校验处理后的公共数据;企业托管库,用于存储企业托管的企业数据;一企一档库,用于存储从公共数据核心库中提取的企业数据信息,包括企业基本信息和标签信息;区块链底层库,用于存储区块链发生的业务信息。
34、在一个实施例中,所述安全管理工具在数据备份控制、数据进出核心库时的加解密处理,以及数据进出核心库的上链存证时包括:
35、将待处理的数据接入原始库,并对原始库进行自动备份;根据数据分类属性和数据源单位的要求设定是否对数据进行独立加密,若是,则对数据目录信息进行上链存证,保障数据目录信息的完整性;若否,则对全量数据信息进行上链存证,保障数据本身的完整性;
36、对独立加密或非独立加密的数据进行统一加密处理后再存入核心库;当从核心库输出数据时,对经过统一加密的数据进行解密处理,若数据经过独立加密,则在获取数据源单位授权后调用密钥进行解密,并按使用需求将解密后的数据送入沙箱使用环境。
37、在一个实施例中,定期提取元数据信息并形成数据目录包括:
38、以每日定时或管理员手动触发的形式,扫描核心库层中的公共数据核心库和企业托管库,以及分类库层的数据,并提取元数据信息形成数据目录。
39、根据本发明实施例的第三方面,提供了一种计算机设备。
40、在一些实施例中,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
41、根据本发明实施例的第四方面,提供了一种计算机可读存储介质。
42、在一个实施例中,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
43、本发明实施例提供的技术方案可以包括以下有益效果:
44、本发明提供了一种利用数据仓库、etl工具和数据安全管理工具实现的数据安全存储方法,并以其为数据底座设计合规应用系统,从而可以在保障数据安全的前提下,供数据使用者以合规方式应用数据,实现数据从存储到应用的全流程安全防护与合规管控。
45、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
1.一种数据安全处理方法,其特征在于,包括:
2.根据权利要求1所述的数据安全处理方法,其特征在于,对所述数据进行安全存储由数据仓库、etl工具及安全管理工具协同完成;
3.根据权利要求2所述的数据安全处理方法,其特征在于,所述原始库层包括公共数据原始库、企业自有数据库和灾备库;
4.根据权利要求2所述的数据安全处理方法,其特征在于,所述安全管理工具在数据备份控制、数据进出核心库时的加解密处理,以及数据进出核心库的上链存证时包括:
5.根据权利要求2所述的数据安全处理方法,其特征在于,定期提取元数据信息并形成数据目录包括:
6.根据权利要求2所述的数据安全处理方法,其特征在于,沙箱接入对应的数据,并在完成模型程序运算后输出运算结果包括:
7.一种数据安全处理系统,其特征在于,包括:
8.根据权利要求7所述的数据安全处理系统,其特征在于,对所述数据进行安全存储由数据仓库、etl工具及安全管理工具协同完成;
9.根据权利要求7所述的数据安全处理系统,其特征在于,所述安全管理工具在数据备份控制、数据进出核心库时的加解密处理,以及数据进出核心库的上链存证时包括:
10.根据权利要求7所述的数据安全处理系统,其特征在于,定期提取元数据信息并形成数据目录包括:
