跨域数据处理方法、系统、设备及存储介质与流程

allin2023-04-13  110



1.本发明涉及计算机技术领域,具体涉及一种跨域数据处理方法、系统、设备及存储介质。


背景技术:

2.随着企业规模的扩大,跨国多地业务不断延伸,例如一家企业的研发总部位于国内,正式提供服务的环境则覆盖全球,就涉及多个环境和服务的管理,因此,业务数据的多云环境跨域统一管理成为难题,再加上面向企业的跨域分级数据治理场景非常复杂,各大企业对数据安全越来越重视,对跨云、跨平台技术、数据安全技术、合规数据合作技术也产生了强烈需求。
3.现如今,越来越多的厂商都推出了云原生技术,以吸引客户将数据搬上自己的云环境服务,但技术接口的中立性和跨平台性被有意无意忽略了。相关技术中,实现分域隔离的方式是配置多个独立的环境,但其缺点在于无法进行统一管理,包括无法统一账号、权限、安全审计等等,并且一个企业主体一旦将项目部署在一个云上,就难以再做项目整体的迁移,会造成成本增加以及带来安全隐患。


技术实现要素:

4.鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的跨域数据处理方法、系统、设备及存储介质。
5.根据本发明的一个方面,提供了一种跨域数据处理方法,方法包括:
6.将第一用户的账号体系配置请求转发给多个工作空间中的主域工作空间,以使主域工作空间响应账号体系配置请求完成账号体系的配置处理,并向多个工作空间中的各个从域工作空间同步账号体系的配置数据;其中,多个工作空间对接多个云厂商的大数据集群;
7.接收第二用户的访问请求,根据访问请求中携带的用户账号信息,查询用户账号信息对应的各个工作空间下的项目信息,并对查询结果进行展示;
8.接收第二用户对任一工作空间下任一项目的选择操作,进入该项目的数据工作台,以供第二用户通过数据工作台进行项目管理。
9.可选地,方法进一步包括:每当接收到第一用户的配置请求时,判断是否需要转发配置请求;若是,将配置请求转发至主域工作空间,以便在主域工作空间内响应配置请求完成配置处理;
10.其中,账号体系配置请求为需要转发的配置请求。
11.可选地,判断是否需要转发配置请求进一步包括:
12.判断配置请求对应的接口信息是否属于转发接口列表;其中,转发接口列表存储于配置中心中,且包含各个需要进行请求转发的接口的接口信息;若是,则判定需要转发配置请求。
13.可选地,判断是否需要转发配置请求进一步包括:
14.判断配置请求的请求工作空间是否为主域工作空间;若是,则判定需要转发配置请求。
15.可选地,方法进一步包括:
16.若判断出无需转发配置请求,将配置请求路由至其对应的请求工作空间的地址,以使请求工作空间响应配置请求完成配置处理,并向其他各个工作空间同步配置数据。
17.可选地,账号体系配置请求包括:身份标识信息及账号项目权限信息;
18.主域工作空间响应账号体系配置请求完成账号体系的配置处理进一步包括:
19.在主域工作空间内根据身份标识信息创建账号,并根据账号项目权限信息为已创建的账号配置相应的项目管理权限。
20.可选地,主域工作空间向各个从域工作空间同步账号体系的配置数据进一步包括:
21.接收从域工作空间定时发送的获取配置数据的请求,向从域工作空间发送待同步配置数据,以供从域工作空间根据待同步配置数据完成数据库内数据的更新。
22.可选地,从域工作空间根据待同步配置数据完成数据库内数据的更新之前,方法进一步包括:
23.检测待同步配置数据是否符合当前版本的规范要求;
24.若否,按照当前版本的规范要求对待同步配置数据进行修正;
25.从域工作空间根据待同步配置数据完成数据库内数据的更新进一步包括:
26.从域工作空间根据修正后的待同步配置数据完成数据库内数据的更新。
27.可选地,方法进一步包括:
28.定时检测主域工作空间是否正常服务;
29.若否,将各个从域工作空间中任一从域工作空间更新为主域工作空间;
30.将更新后的主域工作空间的地址记录在各个工作空间的配置中心中。
31.可选地,主域工作空间与各个从域工作空间之间通过http接口传输数据。
32.根据本发明的另一方面,提供了一种跨域数据处理系统,系统包括:
33.发送模块,适于将第一用户的账号体系配置请求转发给多个工作空间中的主域工作空间,以使主域工作空间响应账号体系配置请求完成账号体系的配置处理,并向多个工作空间中的各个从域工作空间同步账号体系的配置数据;其中,多个工作空间对接多个云厂商的大数据集群;
34.接收模块,适于接收第二用户对任一工作空间下任一项目的选择操作;以及,接收第二用户对任一工作空间下任一项目的选择操作;
35.处理模块,适于根据访问请求中携带的用户账号信息,查询用户账号信息对应的各个工作空间下的项目信息,并对查询结果进行展示;
36.以及,根据第二用户对任一工作空间下任一项目的选择操作,进入该项目的数据工作台,以供第二用户通过所述数据工作台进行项目管理。
37.可选地,发送模块进一步适于:每当接收到第一用户的配置请求时,判断是否需要转发配置请求;若是,将配置请求转发至主域工作空间,以便在主域工作空间内响应配置请求完成配置处理;
38.其中,账号体系配置请求为需要转发的配置请求。
39.可选地,发送模块进一步适于:判断配置请求对应的接口信息是否属于转发接口列表;其中,转发接口列表存储于配置中心中,且包含各个需要进行请求转发的接口的接口信息;若是,则判定需要转发配置请求。
40.可选地,发送模块进一步适于:判断配置请求的请求工作空间是否为主域工作空间;若是,则判定需要转发配置请求。
41.可选地,发送模块进一步适于:若判断出无需转发配置请求,将配置请求路由至其对应的请求工作空间的地址,以使请求工作空间响应配置请求完成配置处理,并向其他各个工作空间同步配置数据。
42.可选地,账号体系配置请求包括:身份标识信息及账号项目权限信息;
43.主域工作空间适于:根据身份标识信息创建账号,并根据账号项目权限信息为已创建的账号配置相应的项目管理权限。
44.可选地,主域工作空间还适于:接收从域工作空间定时发送的获取配置数据的请求,向从域工作空间发送待同步配置数据,以供从域工作空间根据待同步配置数据完成数据库内数据的更新。
45.可选地,从域工作空间适于:检测待同步配置数据是否符合当前版本的规范要求;若否,按照当前版本的规范要求对待同步配置数据进行修正;从域工作空间根据修正后的待同步配置数据完成数据库内数据的更新。
46.可选地,系统还包括:主域更新模块,适于定时检测主域工作空间是否正常服务;若否,将各个从域工作空间中任一从域工作空间更新为主域工作空间;将更新后的主域工作空间的地址记录在各个工作空间的配置中心中。
47.可选地,主域工作空间与各个从域工作空间之间通过http接口传输数据。
48.根据本发明的又一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
49.所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述跨域数据处理方法对应的操作。
50.根据本发明的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述跨域数据处理方法对应的操作。
51.根据本发明的跨域数据处理方法、系统、设备及存储介质,将第一用户的账号体系配置请求转发给多个工作空间中的主域工作空间,以使主域工作空间响应账号体系配置请求完成账号体系的配置处理,并向多个工作空间中的各个从域工作空间同步账号体系的配置数据;根据第二用户的访问请求中携带的用户账号信息,查询用户账号信息对应的各个工作空间下的项目信息,并对查询结果进行展示;接收第二用户对任一工作空间下任一项目的选择操作,进入该项目的数据工作台,以供第二用户通过数据工作台进行项目管理。通过上述方式,能够使主从域工作空间共用一套账号体系,用户能够灵活选择不同云厂商的工作空间下的项目进行工作,能够提高跨云厂商的协作与管控效率,能够提高数据应用开发的效率。
52.上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够
更明显易懂,以下特举本发明的具体实施方式。
附图说明
53.通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
54.图1示出了本发明实施例提供的跨域数据处理方法的流程图;
55.图2示出了本发明另一实施例提供的跨域数据处理方法的流程图;
56.图3a示出了本发明实施例中系统架构的示意图;
57.图3b示出了本发明实施例中产品架构的示意图;
58.图4a示出了本发明另一实施例中的工作空间展示页面的示意图;
59.图4b示出了本发明另一实施例中的项目列表页面的示意图;
60.图5示出了本发明实施例提供的跨域数据处理系统的结构示意图;
61.图6示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
62.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
63.图1示出了本发明实施例提供的跨域数据处理方法的流程图,该方法可应用于跨域管理平台,跨域管理平台的平台应用配置于各个云厂商上,该方法具体应用于从域工作空间侧,如图1所示,该方法包括以下步骤:
64.步骤s110,将第一用户的账号体系配置请求转发给多个工作空间中的主域工作空间,以使主域工作空间响应账号体系配置请求完成账号体系的配置处理,并向多个工作空间中的各个从域工作空间同步账号体系的配置数据。
65.其中,一个工作空间对接一个云厂商的大数据集群的物理工作空间环境,是一个虚拟数据计算、加工的环境,灵活对接计算引擎和服务器存储资源。主域工作空间是指多个工作空间中的主导工作空间,而除了主域工作空间之外的其他工作空间均为从域工作空间。
66.第一用户可以是运维用户,运维用户能够配置账号体系,账号体系内包含多个不同级别的角色账号,不同角色的分工不同、职责不同,所拥有的权限也不同,例如平台级账号具有创建项目以及添加项目管理员的权限,项目级账号具有添加项目成员以及授权项目成员的权限。
67.具体地,当从域工作空间侧接收到第一用户的账号体系配置请求时,将账号体系配置请求转发至主域工作空间侧,以在主域工作空间内完成账号体系的配置。账号体系配置请求携带相关的配置信息,具体包括账号配置信息、角色配置信息、权限配置信息、策略信息等等,将账号体系配置请求转发给主域工作空间,在主域工作空间内完成账号体系的配置,之后,各个从域工作空间分别向主域工作空间请求获取账号体系的配置数据,并更新
自己的数据库,从而与主域工作空间的账号体系保持一致。
68.由于不同的云厂商内有隔离着的数据和任务,通过主域工作空间用来配置企业账号权限体系,而将其余的工作空间作为从域并行协调作业使用,即可保证数据安全,又能够便捷操作。
69.当然,如果主域工作空间侧接收到账号体系配置请求,则无需进行转发处理,直接响应账号体系配置请求完成配置处理即可。
70.步骤s120,接收第二用户的访问请求,根据访问请求中携带的用户账号信息,查询用户账号信息对应的各个工作空间下的项目信息,并对查询结果进行展示。
71.工作空间下的项目是指根据不同的业务需要构建的逻辑项目环境,项目是依据用户操作而创建的,因此,工作空间是物理层的数据隔离,项目是逻辑层的数据隔离。
72.用户账号信息可以是用户在跨域管理平台的登录账号信息,通用于主域工作空间和从域工作空间,第二用户需要在跨域管理平台根据其用户账号信息访问项目以及进行相关项目管理。具体地,根据第二用户的用户账号信息查询对应的各个工作空间下的各个项目信息,并对查询结果进行展示,由于对账号配置了相应的权限,因此,查询到的工作空间及项目都是该用户账号具有操作权限的。
73.步骤s130,接收第二用户对任一工作空间下任一项目的选择操作,进入该项目的数据工作台,以供第二用户通过数据工作台进行项目管理。
74.第二用户对任一工作空间下任一项目执行选择操作后,进入该项目的数据工作台,数据工作台可以是前端页面的形式,数据工作台包含多种项目管理功能的操作入口,项目管理功能包括:数据集成功能、数据研发功能、数据运维功能、数据治理功能等等,用户通过点击操作入口能够进入到相应的功能模块进行数据的治理和应用等等,同样地,第二用户只能够进行其具有权限的项目管理事项。
75.需要说明的是,上述步骤s120-步骤s130的方式也可在应用于主域工作空间侧。
76.根据本实施例的跨域数据处理方法,将第一用户的账号体系配置请求转发给多个工作空间中的主域工作空间,以使主域工作空间响应账号体系配置请求完成账号体系的配置处理,并向多个工作空间中的各个从域工作空间同步账号体系的配置数据,使得主域工作空间和从域工作空间能够共用一套账号体系配置;其次,根据第二用户的访问请求中携带的用户账号信息,查询用户账号信息对应各个工作空间下的项目信息,并对查询结果进行展示,根据用户对任一工作空间下任一项目的选择操作,展示该项目的数据工作台,以供用户通过数据工作台进行项目管理。通过上述方式,主域工作空间和从域工作空间共用一套账号体系,用户能够灵活选择不同云厂商的工作空间下的项目进行相关工作,实现了跨域数据治理,能够提高跨云厂商的协作与管控效率,能够提高数据应用开发的效率,同时也可以减少企业云服务成本和安全隐患。
77.图2示出了本发明另一实施例提供的跨域数据处理方法的流程图,该方法可应用于跨域管理平台,跨域管理平台的平台应用配置于各个云厂商上,该方法具体应用于从域工作空间侧,如图2所示,该方法包括以下步骤:
78.步骤s210,根据第一用户的权限获取对应的各个配置项,对各个配置项进行展示,以供第一用户通过各个配置项发起的账号体系配置请求。
79.具体地,第一用户使用账号信息登录之后,根据第一用户的账号所具有的权限获
取能够配置的各个配置项,将各个配置项进行展示,以便第一用户能够对展示的各个配置项进行操作,从而配置账号体系。
80.第一用户可以是运维用户,运维用户能够配置账号体系,账号体系内包含多个不同级别的角色账号,不同角的分工不同、职责不同,所拥有的权限也不同。具体地,用户账号又分为平台级账号、项目级账号、项目成员账号。
81.若用户账号为平台级账号,表示该用户的角色为平台级管理员,平台级账号具有子账号添加的权限以及授权账号、创建、修改、查询项目的权限。
82.若用户账号为项目级账号,表示用户的角色为项目管理员,项目级账号具有项目配置的权限(包括资源组添加计算引擎添加的权限)、添加项目成员的权限、为项目成员账号授权的权限;其中,只有被添加到项目的成员才能够查看该项目,每一个项目成员都只能进行自己的账号具有权限的项目管理事项,例如,为项目成员a仅配置了数据开发的权限,则项目成员a只能够查看数据开发页面,并只能够在数据开发页面进行数据开发操作,而不能查看运维页面也无法请求运维接口。
83.其中,项目级账号拥有所有项目管理事项的权限,为某个账号赋予项目级账号的权限,该账号即可拥有整个项目的全部项目管理事项的权限,项目级账号能够为项目成员账号配置如下各个项目管理事项的权限:数据开发、数据运维、数据分析,还可配置访客的查看权限,并且,每个项目成员账号可分配多种权限。也即,项目级账号和项目成员账号之间也存在多级的区分、存在包含与被包含的关系。
84.举例来说,在前端展示账号输入框、对应于各个项目管理事项的功能入口以及账号创建功能入口,运维用户在账号输入框内输入用户身份标识(例如手机号码、员工工号),再通过触控至少一个项目管理事项的功能入口选中至少一个项目管理事项,之后,再点击账号创建功能入口,则发起包含用户身份标识、选中的项目管理事项信息的账号体系配置请求,后续根据该账号体系配置请求,基于用户身份标识生成账号,并为该账号赋予选中的项目管理事项的权限。通过上述方式,本技术实施例的方式能够实现纵向的分级权限管控、以项目为维度的数据治理。
85.步骤s220,将第一用户的账号体系配置请求转发给多个工作空间中的主域工作空间,以使主域工作空间响应账号体系配置请求完成账号体系的配置处理,并向多个工作空间中的各个从域工作空间同步账号体系的配置数据。
86.本实施例中,通过跨域管理平台能够实现配置多个工作空间,每一个工作空间对接一个云厂商的大数据集群,多个工作空间又分为主域工作空间和从域工作空间。
87.具体地,账号体系配置请求包括:身份标识信息及账号项目权限信息,主域工作空间内根据账号体系配置请求所携带的信息完成相关的配置,具体根据身份标识信息创建账号,并根据账号项目权限信息为已创建的账号配置相应的项目管理权限。该方式中,针对于每一个项目,配置账号的项目管理权限,能够实现以项目为维度建立账号体系。
88.本实施例的方法中,每当接收到第一用户的配置请求时,判断是否需要转发配置请求;若是,将配置请求转发至主域工作空间,以便在主域工作空间内响应配置请求完成配置处理。其中,判断是否需要转发配置请求,也就是判断配置请求是否需要主域工作空间进行响应,例如,如果配置请求的请求工作空间就是主域工作空间,则该配置请求需要进行转发,或者,一些特殊接口的配置请求需要由主域工作空间进行响应,则判断配置请求对应的
接口是否为上述特殊接口,如果是,则该配置请求需要进行转发。
89.具体地,判断配置请求对应的接口信息是否属于转发接口列表;若属于转发接口列表,则判定需要转发配置请求。其中,转发接口列表存储于配置中心中,且包含各个需要进行请求转发的接口的接口信息。如果配置请求对应的接口信息属于转发接口列表,则判定该配置请求需要转发给主域工作空间进行响应。具体地,根据配置中心中存储的主域工作空间地址,将配置请求转发至该主域工作空间地址。上述方式通过在相应的配置中心中记录转发接口列表以及主域工作空间地址,能够方便快速判定是否需要对配置请求进行转发,能够提升转发请求的效率。
90.另外,若判断出无需转发配置请求,将配置请求路由至其对应的请求工作空间的地址,以使请求工作空间响应配置请求完成配置处理,并向其他各个工作空间同步配置数据。如果判断出无需转发配置请求,则由配置请求对应的请求工作空间对配置请求进行响应,同时,在请求工作空间完成配置之后,向其他各个工作空间同步配置数据,向其他各个工作空间同步配置数据,保持各个工作空间的配置一致。
91.本实施例中的账号体系配置请求是需要进行转发的配置请求,账号体系配置请求对应的接口信息记录在转发接口列表中,接收到配置请求时,根据该配置请求对应的接口信息和转发接口列表所包含的接口信息,识别该配置请求是否为账号体系配置请求,若是,则将账号体系配置请求转发给主域工作空间。
92.在主域工作空间完成配置之后,将主域工作空间内的配置数据同步到各个从域工作空间,通过该方式,实现了横向的多域数据同步以及多域之间的数据交互,从而保证所有工作空间在相应接口上保持数据一致。
93.在一种可选的方式中,主域工作空间向各个从域工作空间同步账号体系的配置数据具体实施方式包括:接收从域工作空间定时发送的获取账号体系的配置数据的请求,向从域工作空间发送待同步配置数据,以供从域工作空间根据待同步配置数据完成数据库内数据的更新。从域工作空间会在服务启动后开启定时任务,定时任务定时从配置中心获取主域网关地址,并获取配置的数据查询时间,根据主域网关地址和数据查询时间进行数据请求,主域工作空间将数据查询时间内的账号体系的配置数据发送给从域工作空间,从域工作空间接收到主域工作空间发送的数据之后更新数据库。通过定时任务实现定时同步,保持主域工作空间和从域工作空间的账号体系始终一致。
94.在一种可选的方式中,从域工作空间根据待同步配置数据完成数据库内数据的更新之前,检测待同步配置数据是否符合当前版本的规范要求;若否,按照当前版本的规范要求对待同步配置数据进行修正;则根据修正后的待同步配置数据完成数据库内数据的更新。例如,如果用户使用了老版本的跨域管理平台,会有一些跟原来的账号和权限相关的数据不符合最新版本的数据规范,将这些不符合当前版本的数据规范的配置数据进行修正,从而能够统一系统逻辑,保证数据的可读性。
95.在一种可选的方式中,主域工作空间与各个从域工作空间之间通过http接口传输数据。主域工作空间与从域工作空间之间的交互全部使用基于restful风格的http接口,http具有简单、灵活、易于扩展、应用广泛、环境成熟、没有平台和语言的限制的优点,跨平台性很强,这样即使主从域不在同一个网络、同一个地域、甚至不在同一个国家,只要网络是通常的,那么就能够进行数据的同步,使得用户能够在不同的地区采用不同的云厂商进
行部署。
96.在一种可选的方式中,定时检测主域工作空间是否正常服务;若否,将各个从域工作空间中任一从域工作空间更新为主域工作空间;将更新后的主域工作空间的地址记录在各个工作空间的配置中心中。其中,可采用心跳机制定时检测主域工作空间是否正常服务。首先,主域工作空间与各个从域工作空间之间除了数据同步存在数据上的交换之外,每个工作空间都是独立,它有自己的配置中心、网关、前后端服务等等,也就是说每个域都是一个独立运行的系统。因此当检测到主域工作空间无法提供服务时,则在从域工作空间中筛选出一个作为主域工作空间,并将更新后的主域工作空间对应的地址记录在各个配置中心中,以便后续根据该更新后的主域工作空间的地址进行配置请求的转发。
97.图3a示出了本发明实施例中系统架构的示意图,每一个工作空间侧都具有自己的配置中心、网关、前后端服务等等,系统架构中主域是保存账号、角色、权限、策略的主导方,从域工作空间是同步更新账号、角色、权限、策略的从属方,在从域新建或编辑了账号权限,同时在主域工作空间会进行同步更新,进而实现了统一的一套账号权限体系,来管理多个工作空间环境的任务作业,工作空间中包含的计算能力和存储能力是通过与云厂商的大数据集群对接得到的,大数据集群中包含管理节点和元数据节点、集群主节点、集群存储和计算节点等。
98.图3b示出了本发明实施例中产品架构的示意图,基于本发明的发明构思,设计如图3b所示的产品,基于该产品可以实现跨平台、跨域和跨地区的数据治理和应用,具体包括数据化运用(包括可视化大屏、经营洞察、监控预警)、数据智能应用(包括智能选品、智能补货、智能定价、智能折扣、智能推荐以及智能投放)、多方可信计算,还可实现跨域的权限和审计服务,还可实现跨域的数据集成、数据研发、数据服务、数据资产等等,一个项目可部署在一个地区的工作空间下,也可部署在多个地区的工作空间下。
99.步骤s230,接收第二用户的访问请求,根据访问请求中携带的用户账号信息,查询用户账号信息对应的各个工作空间下的项目信息,并对查询结果进行展示。
100.步骤s240,接收第二用户对任一工作空间下任一项目的选择操作,进入该项目的数据工作台,以供第二用户通过数据工作台进行项目管理。
101.下面结合附图说明步骤s230和步骤s240的具体实施方式。
102.图4a示出了本发明另一实施例中的工作空间展示页面的示意图,如图4a所示,该页面中包含功能入口展示区41、当前工作空间展示区42、工作空间列表展示区43、功能介绍展示区44、其他内容展示区45。其中,功能入口展示区41用于展示各个项目管理功能的功能入口,项目管理功能包括集成功能、研发功能、运维功能、服务功能以及治理功能,用户点击任一功能入口能够跳转至相应的操作界面以进行相应的项目管理;当前工作空间展示区42用于展示当前所在的工作空间,如图4a所示,用户当前处于厂商a云下的工作空间1区;工作空间列表展示区43用于展示该用户所有的工作空间对应的切换功能入口、当前所在工作空间的提示等等,当用户点击任一工作空间对应的切换功能入口,则切换至该工作空间进行项目管理操作;功能介绍展示区44用于展示各个项目管理功能的介绍信息;其他内容展示区45用于展示其他内容,例如欢迎语等等。第二用户使用自己的账号访问跨域管理平台,平台接收到访问请求之后,根据账号查询该第二用户对应的各个工作空间,并展示于该工作空间展示页面中。
103.图4b示出了本发明另一实施例中的项目列表页面的示意图,该页面中包含操作入口展示区46和项目列表展示区47,操作入口展示区46用于展示多种功能的入口,包括工作空间管理的功能入口、子账号管理的功能入口、角色权限查看的功能入口、选择工作空间的功能入口(点击该功能入口展示包含其他各个工作空间的功能入口的下拉列表,便于切换工作空间)、新增项目的功能入口(用于创建新的项目)、项目搜索的功能入口(用户可输入检索词搜索项目),项目列表展示区47用于展示当前工作空间下的各个项目以及各个项目对应的数据工作台的功能入口,所展示的各个项目都是根据用户账号查询的具有权限的项目。其中,在工作空间下可以创建多项目,用于划分业务板块,在项目内可以进行数据的多层级存储和处理的功能,可以有效的进行是数据治理和应用。
104.用户在图4b所示的页面中点击任一项目的数据工作台的功能入口,展示项目管理事项列表,该列表中包含各个项目管理事项对应的功能入口,包括集成功能的功能入口、研发功能的功能入口、运维功能的功能入口、治理功能的功能入口,用户点击任一功能入口能够跳转至对应的项目管理事项的操作页面,用户在操作页面可执行操作完成项目数据的治理和应用。
105.可见,用户使用跨域管理平台的流程具体包括:选择工作空间、选择项目、进行入数据工作台,可以灵活进行大数据的研发与服务建设。
106.根据本实施例所提供的跨域数据管理方法,一方面,实现了横向部署环境跨云跨域,用户、权限及配置统一在主域工作空间上修改,从域工作空间即可自动同步最新数据,能够保证主域和从域在相应的接口上的数据一致,在保证单个域资源独立的情况下,多个域之间使用统一的权限和账号体系,运维和管理人员就无需在不同平台间切换使用,工作效率也大大提升,能够提高跨云厂商及跨地区的协作与管控效率,也便于做整体项目的迁移,并且,使得用户可以自由在不同的地区采用不同的云厂商进行部署,避免商业因素、地域因素、单一云厂商因素等对其数据能力建设的影响;另一方面,实现了纵向数仓分层级、纵向分级权限管控和以项目为维度进行数据治理。总之,本实施例的方法能够有效的完成数据治理目标,提高数据应用开发的效率,同时又可以降低企业云服务成本和安全隐患,实现了多机房、多主体的数据安全和合规协同,助力大型企业集团或产业联盟完成复杂的数据业务场景、减小数据产生的成本以及提高数据安全的目标。
107.另外,采用本实施例的方法也有益于企业进行灵活部署,能够支持私有云部署,即平台及数据存储集中部署在用户本地环境或企业专有云环境;还能够支持公有云部署,例如各个厂商的公有云部署;还能够支持混合云部署,即在用户本地环境或企业专有云环境构建集群存储计算数据,平台部署到其他网络环境。
108.需要说明的是,在主域工作空间侧同样也可以进行上述账号体系配置、用户查看工作空间及其下的项目、用户进行项目管理事项等操作,区别在于,主域工作空间侧接收到账号体系配置请求时,无需对账号体系配置请求进行转发。
109.图5示出了本发明实施例提供的跨域数据处理系统的结构示意图。如图5所示,该系统包括:
110.发送模块51,适于将第一用户的账号体系配置请求转发给多个工作空间中的主域工作空间,以使主域工作空间响应账号体系配置请求完成账号体系的配置处理,并向多个工作空间中的各个从域工作空间同步账号体系的配置数据;其中,多个工作空间对接多个
云厂商的大数据集群;
111.接收模块52,适于接收第二用户对任一工作空间下任一项目的选择操作;以及,接收第二用户对任一工作空间下任一项目的选择操作;
112.处理模块53,适于根据访问请求中携带的用户账号信息,查询用户账号信息对应的各个工作空间下的项目信息,并对查询结果进行展示;以及,根据第二用户对任一工作空间下任一项目的选择操作,进入该项目的数据工作台,以供第二用户通过所述数据工作台进行项目管理。
113.可选地,发送模块51进一步适于:每当接收到第一用户的配置请求时,判断是否需要转发配置请求;若是,将配置请求转发至主域工作空间,以便在主域工作空间内响应配置请求完成配置处理;
114.其中,账号体系配置请求为需要转发的配置请求。
115.可选地,发送模块51进一步适于:判断配置请求对应的接口信息是否属于转发接口列表;其中,转发接口列表存储于配置中心中,且包含各个需要进行请求转发的接口的接口信息;若是,则判定需要转发配置请求。
116.可选地,发送模块51进一步适于:判断配置请求的请求工作空间是否为主域工作空间;若是,则判定需要转发配置请求。
117.可选地,发送模块51进一步适于:若判断出无需转发配置请求,将配置请求路由至其对应的请求工作空间的地址,以使请求工作空间响应配置请求完成配置处理,并向其他各个工作空间同步配置数据。
118.可选地,账号体系配置请求包括:身份标识信息及账号项目权限信息;
119.主域工作空间适于:根据身份标识信息创建账号,并根据账号项目权限信息为已创建的账号配置相应的项目管理权限。
120.可选地,主域工作空间还适于:接收从域工作空间定时发送的获取配置数据的请求,向从域工作空间发送待同步配置数据,以供从域工作空间根据待同步配置数据完成数据库内数据的更新。
121.可选地,从域工作空间适于:检测待同步配置数据是否符合当前版本的规范要求;若否,按照当前版本的规范要求对待同步配置数据进行修正;从域工作空间根据修正后的待同步配置数据完成数据库内数据的更新。
122.可选地,系统还包括:主域更新模块,适于定时检测主域工作空间是否正常服务;若否,将各个从域工作空间中任一从域工作空间更新为主域工作空间;将更新后的主域工作空间的地址记录在各个工作空间的配置中心中。
123.可选地,主域工作空间与各个从域工作空间之间通过http接口传输数据。
124.本发明实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的跨域数据处理方法。
125.图6示出了本发明计算设备实施例的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。
126.如图6所示,该计算设备可以包括:处理器(processor)602、通信接口(communications interface)604、存储器(memory)606、以及通信总线608。
127.其中:处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。通信接口604,用于与其它设备比如客户端或其它服务器等的网元通信。处理器602,用于执行程序610,具体可以执行上述用于计算设备的跨域数据处理方法实施例中的相关步骤。
128.具体地,程序610可以包括程序代码,该程序代码包括计算机操作指令。
129.处理器602可能是中央处理器cpu,或者是特定集成电路asic(application specific integrated circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个cpu;也可以是不同类型的处理器,如一个或多个cpu以及一个或多个asic。
130.存储器606,用于存放程序610。存储器606可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
131.在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
132.在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
133.类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
134.本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
135.此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
136.本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行
的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
137.应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。

技术特征:
1.一种跨域数据处理方法,其特征在于,所述方法包括:将第一用户的账号体系配置请求转发给多个工作空间中的主域工作空间,以使所述主域工作空间响应所述账号体系配置请求完成账号体系的配置处理,并向所述多个工作空间中的各个从域工作空间同步账号体系的配置数据;其中,多个工作空间对接多个云厂商的大数据集群;接收第二用户的访问请求,根据所述访问请求中携带的用户账号信息,查询所述用户账号信息对应的各个工作空间下的项目信息,并对查询结果进行展示;接收所述第二用户对任一工作空间下任一项目的选择操作,进入该项目的数据工作台,以供所述第二用户通过所述数据工作台进行项目管理。2.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:每当接收到第一用户的配置请求时,判断是否需要转发所述配置请求;若是,将所述配置请求转发至所述主域工作空间,以便在所述主域工作空间内响应所述配置请求完成配置处理;其中,所述账号体系配置请求为需要转发的配置请求。3.根据权利要求2所述的方法,其特征在于,所述判断是否需要转发所述配置请求进一步包括:判断所述配置请求对应的接口信息是否属于转发接口列表;其中,所述转发接口列表存储于配置中心中,且包含各个需要进行请求转发的接口的接口信息;若是,则判定需要转发所述配置请求。4.根据权利要求2所述的方法,其特征在于,所述判断是否需要转发所述配置请求进一步包括:判断所述配置请求的请求工作空间是否为主域工作空间;若是,则判定需要转发所述配置请求。5.根据权利要求2所述的方法,其特征在于,所述方法进一步包括:若判断出无需转发所述配置请求,将所述配置请求路由至其对应的请求工作空间的地址,以使所述请求工作空间响应所述配置请求完成配置处理,并向其他各个工作空间同步配置数据。6.根据权利要求1所述的方法,其特征在于,所述账号体系配置请求包括:身份标识信息及账号项目权限信息;所述主域工作空间响应所述账号体系配置请求完成账号体系的配置处理进一步包括:在主域工作空间内根据身份标识信息创建账号,并根据账号项目权限信息为已创建的账号配置相应的项目管理权限。7.根据权利要求1所述的方法,其特征在于,主域工作空间向各个从域工作空间同步账号体系的配置数据进一步包括:接收从域工作空间定时发送的获取配置数据的请求,向从域工作空间发送待同步配置数据,以供从域工作空间根据待同步配置数据完成数据库内数据的更新。8.根据权利要求7所述的方法,其特征在于,所述从域工作空间根据待同步配置数据完成数据库内数据的更新之前,所述方法进一步包括:
检测待同步配置数据是否符合当前版本的规范要求;若否,按照所述当前版本的规范要求对所述待同步配置数据进行修正;所述从域工作空间根据待同步配置数据完成数据库内数据的更新进一步包括:从域工作空间根据修正后的待同步配置数据完成数据库内数据的更新。9.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:定时检测所述主域工作空间是否正常服务;若否,将各个从域工作空间中任一从域工作空间更新为主域工作空间;将更新后的主域工作空间的地址记录在各个工作空间的配置中心中。10.一种跨域数据处理系统,其特征在于,所述系统包括:发送模块,适于将第一用户的账号体系配置请求转发给多个工作空间中的主域工作空间,以使所述主域工作空间响应所述账号体系配置请求完成账号体系的配置处理,并向所述多个工作空间中的各个从域工作空间同步账号体系的配置数据;其中,多个工作空间对接多个云厂商的大数据集群;接收模块,适于接收第二用户的访问请求;以及,接收所述第二用户对任一工作空间下任一项目的选择操作;处理模块,适于根据所述访问请求中携带的用户账号信息,查询所述用户账号信息对应的各个工作空间下的项目信息,并对查询结果进行展示;以及根据所述第二用户对任一工作空间下任一项目的选择操作,进入该项目的数据工作台,以供所述第二用户通过所述数据工作台进行项目管理。11.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的跨域数据处理方法对应的操作。12.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-9中任一项所述的跨域数据处理方法对应的操作。

技术总结
本发明公开了一种跨域数据处理方法、系统、设备及存储介质,方法包括:根据第一用户的账号体系配置请求,在主域工作空间响应账号体系配置请求完成账号体系的配置处理,并向各个从域工作空间同步账号体系的配置数据;根据第二用户的访问请求中携带的用户账号信息,查询用户账号信息对应的各个工作空间下的项目信息,并对查询结果进行展示;接收第二用户对任一工作空间下任一项目的选择操作,进入该项目的数据工作台,以供第二用户通过数据工作台进行项目管理。通过上述方式,能够使主从域工作空间共用一套账号体系,用户能够灵活选择不同云厂商的工作空间下的项目进行工作,能够提高跨云厂商的协作与管控效率,能够提高数据应用开发的效率。开发的效率。开发的效率。


技术研发人员:王乐珩 姜一 王向军 邓厚永 严川
受保护的技术使用者:杭州比智科技有限公司
技术研发日:2022.04.08
技术公布日:2022/7/5
转载请注明原文地址: https://www.8miu.com/read-10435.html

最新回复(0)