本技术涉及计算机,尤其涉及一种数据链路管理方法、装置、设备、介质、产品。
背景技术:
1、在一些场景,如数据湖和/或数据仓等场景下,数据的产生、转移、处理等流程使得不同数据(或者不同任务,或者不同数据表)之间产生了一种链路关系,这种链路关系用于描述不同数据(或者不同任务,或者不同数据表)之间的依赖关系,又称血缘关系。为了便于理解,下面结合示例进行说明。
2、作为示例,当某个场景下的节点a用于生成并存储数据1;节点b用于对该数据1进行处理,得到并存储数据2;节点c用于对该数据2进行处理,得到并存储数据3;节点d用于对该数据3进行处理,得到并存储数据4时,该场景下的数据链路可以至少包括节点a→节点b→节点c→节点d这一链路。其中,这些节点之间存在以下位置关系:节点a位于节点b的上游,节点b、节点c以及节点d均位于节点a的下游,节点a和节点b均位于节点c的上游,节点d位于节点c的下游,节点a、节点b、以及节点c均位于节点d的上游。
3、然而,因一些场景中的数据链路比较长,以使这些场景中的数据依赖关系比较复杂,从而使得当数据变更(或者任务变更,或者数据表变更)或者出现故障时影响评估比较困难,进而影响数据链路管理效果。
技术实现思路
1、为了解决上述技术问题,本技术提供了一种数据链路管理方法、装置、设备、介质、产品。
2、为了实现上述目的,本技术提供的技术方案如下:
3、本技术提供一种数据链路管理方法,所述方法包括:
4、接收针对第一节点中第一字段触发的数据风险申报请求,所述数据风险申报请求用于指示所述第一字段的风险类型以及风险等级,所述数据风险申报请求携带的字段标识用于标识所述第一字段;
5、依据所述字段标识进行字段级血缘溯源处理,得到处理结果,所述处理结果用于指示所述第一字段与第二节点中第二字段之间存在血缘关系、以及所述第一节点中第一字段对应的任务与所述第二节点中第二字段对应的任务之间存在血缘关系,所述第二节点位于所述第一节点的上游;
6、对所述第二字段对应的任务标注第一信息,以及向所述第二节点对应的终端发送第二信息,所述第二节点对应的终端用于展示所述第二信息,所述第一信息包括所述风险类型,所述第二信息是依据所述数据风险申报请求所携带的部分或者全部信息所确定的。
7、在一种可能的实施方式下,所述第二字段对应的任务包括多个任务;
8、所述多个任务中目标任务与所述第一字段对应的任务之间的路径长度,不大于,所述多个任务中除了所述目标任务以外的其他任一任务与所述第一字段对应的任务之间的路径长度;
9、所述处理结果具体用于指示:所述第一节点中第一字段对应的任务与所述目标任务之间存在血缘关系;
10、所述对所述第二字段对应的任务标注第一信息,包括:
11、对所述目标任务标注第一信息。
12、在一种可能的实施方式下,所述得到处理结果之后,所述方法还包括:
13、对所述第二节点的数据表中第二字段标注第三信息,所述第三信息包括所述风险类型。
14、在一种可能的实施方式下,所述第二信息还依据所述第二节点的至少一项信息确定;
15、所述至少一项信息包括所述第二节点的管理者的标识、所述第二字段的标识、以及所述第二字段所属数据表的标识中的至少一个。
16、本技术提供了一种数据链路管理方法,所述方法包括:
17、接收针对第二节点中目标对象触发的影响确定请求,所述影响确定请求用于请求确定被所述目标对象影响的节点,所述影响确定请求携带的对象标识用于标识所述目标对象,所述目标对象包括所述第二节点中至少一个字段;位于所述第二节点下游的至少一个第一节点的风险申报处理过程已执行完,所述风险申报处理过程是利用上文数据链路管理方法所实现的;
18、依据所述至少一个第一节点以及所述对象标识进行查询处理,得到查询结果,所述查询结果用于指示一个或者多个所述第一节点被所述目标对象影响;
19、依据所述查询结果对所述影响确定请求进行反馈。
20、在一种可能的实施方式下,所述方法应用于第二节点对应的终端,
21、所述接收针对第二节点中目标对象触发的影响确定请求之前,所述方法还包括:
22、在所述终端上展示申报信息列表以及查询框,所述申报信息列表包括所述至少一个第一节点对应的风险申报信息;
23、所述接收针对第二节点中目标对象触发的影响确定请求,包括:
24、接收向所述查询框输入的所述目标对象的标识;
25、所述依据所述至少一个第一节点以及所述对象标识进行查询处理,得到查询结果,包括:
26、按照所述对象标识,对所述申报信息列表进行查询处理,得到查询结果,所述查询结果用于指示与所述对象标识匹配的风险申报信息;
27、所述依据所述查询结果对所述影响确定请求进行反馈,包括:
28、依据所述查询结果,更新所述终端上的展示内容,更新后的展示内容用于指示与所述对象标识匹配的风险申报信息。
29、在一种可能的实施方式下,所述至少一个第一节点包括目标节点;
30、所述查询结果用于指示所述目标节点被所述目标对象影响;
31、所述得到查询结果之后,所述方法还包括:
32、向所述目标节点发送第一提示信息,所述第一提示信息用于指示所述目标节点受到所述第二节点中目标对象的影响。
33、在一种可能的实施方式下,所述第二节点用于对所述目标对象进行变更处理;
34、或者,
35、所述第二节点中目标对象是通过针对第三节点发生的故障进行定位所得到的,所述第二节点位于所述第三节点的上游。
36、在一种可能的实施方式下,所述第二节点用于对所述目标对象进行变更处理;
37、所述方法还包括:
38、向第四节点发送第二提示信息,所述第二提示信息用于指示所述第二节点中目标对象进行变更处理,所述第四节点位于所述第二节点的下游,所述第四节点与所述第二节点的位置相邻。
39、本技术提供了一种数据链路管理装置,包括:
40、第一接收单元,用于接收针对第一节点中第一字段触发的数据风险申报请求,所述数据风险申报请求用于指示所述第一字段的风险类型以及风险等级,所述数据风险申报请求携带的字段标识用于标识所述第一字段;
41、第一处理单元,用于依据所述字段标识进行字段级血缘溯源处理,得到处理结果,所述处理结果用于指示所述第一字段与第二节点中第二字段之间存在血缘关系、以及所述第一节点中第一字段对应的任务与所述第二节点中第二字段对应的任务之间存在血缘关系,所述第二节点位于所述第一节点的上游;
42、第一反馈单元,用于对所述第二字段对应的任务标注第一信息,以及向所述第二节点对应的终端发送第二信息,所述第二节点对应的终端用于展示所述第二信息,所述第一信息包括所述风险类型,所述第二信息是依据所述数据风险申报请求所携带的部分或者全部信息所确定的。
43、本技术通过了一种数据链路管理装置,包括:
44、第二接收单元,用于接收针对第二节点中目标对象触发的影响确定请求,所述影响确定请求用于请求确定被所述目标对象影响的节点,所述影响确定请求携带的对象标识用于标识所述目标对象,所述目标对象包括所述第二节点中至少一个字段;位于所述第二节点下游的至少一个第一节点的风险申报处理过程已执行完,所述风险申报处理过程是利用上文数据链路管理方法所实现的;
45、第二处理单元,用于依据所述至少一个第一节点以及所述对象标识进行查询处理,得到查询结果,所述查询结果用于指示一个或者多个所述第一节点被所述目标对象影响;
46、第二反馈单元,用于依据所述查询结果对所述影响确定请求进行反馈。
47、本技术提供了一种电子设备,所述设备包括:处理器和存储器;
48、所述存储器,用于存储指令或计算机程序;
49、所述处理器,用于执行所述存储器中的所述指令或计算机程序,以使得所述电子设备执行本技术提供的数据链路管理方法。
50、本技术提供了一种计算机可读介质,所述计算机可读介质中存储有指令或计算机程序,当所述指令或计算机程序在设备上运行时,使得所述设备执行本技术提供的数据链路管理方法。
51、本技术提供了一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行本技术提供的数据链路管理方法的程序代码。
52、与相关技术相比,本技术至少具有以下优点:
53、本技术提供的技术方案中,对于任一数据链路来说,当该数据链路包括第一节点、以及位于第一节点上游的一些节点,如第二节点时,如果检测到针对第一节点中第一字段触发的数据风险申报请求,则先依据该数据风险申报请求携带的字段标识进行字段级血缘溯源处理,得到处理结果,以使该处理结果用于指示该第一字段与第二节点中第二字段之间存在血缘关系、以及该第一节点中第一字段对应的任务与该第二节点中第二字段对应的任务之间存在血缘关系;再对该第二字段对应的任务标注第一信息,以及向该第二节点对应的终端发送第二信息,以使该第二节点对应的终端用于展示该第二信息。
54、其中,因第一信息包括数据风险申报请求携带的风险类型,以使在针对第二字段对应的任务标注该第一信息之后,第二节点或者该第二节点的管理者能够从该任务的标注内容中获知,当该任务发生错误或者该任务进行变更时可能会导致第一节点出现风险,从而确定当该任务发生错误或者该任务进行变更时能够对第一节点造成影响,如高风险影响,如此能够实现借助标注内容在进行变更或者出现故障时快速地确定出该任务所造成的影响,从而有利于提高影响确定效率,进而有利于提高数据链路管理效果。
55、另外,因第二信息是依据数据风险申报请求所携带的部分或者全部信息所确定的,以使第二信息能够更好地表示出当第二节点中一些对象,如任务、字段、数据表等对象发生错误或者进行变更时能够影响第一节点,从而使得该第二信息能够比较准确地表示出第二节点对第一节点所造成的影响,如高风险影响,进而使得第二节点的管理者能够从该第二信息获知该第二节点对第一节点所造成的影响,以便后续在该对象出现故障或者进行变更时能够从该第二信息中快速地确定出该对象所造成的影响,从而有利于提高影响确定效率,进而有利于提高数据链路管理效果。
56、基于上述三段内容可知,对于任一数据链路来说,该数据链路中下游节点可以通过申报方式将其具有风险的字段告知给其上游节点,以使该上游节点能够准确地且及时地获知当该上游节点中一些字段、任务或者数据表进行变更(或者出现错误)时会给该下游节点造成风险,如此有利于实现高效地、精准地、以及全面地影响评估,从而减少故障,如将因上游节点无法感知下游节点所涉及的风险而导致的故障降低为0,进而有利于提高数据链路管理效果。
1.一种数据链路管理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述第二字段对应的任务包括多个任务;
3.根据权利要求1所述的方法,其特征在于,所述得到处理结果之后,所述方法还包括:
4.根据权利要求1-3任一项所述的方法,其特征在于,所述第二信息还依据所述第二节点的至少一项信息确定;
5.一种数据链路管理方法,其特征在于,所述方法包括:
6.根据权利要求5所述的方法,其特征在于,所述方法应用于第二节点对应的终端,
7.根据权利要求5所述的方法,其特征在于,所述至少一个第一节点包括目标节点;
8.根据权利要求5-7任一项所述的方法,其特征在于,所述第二节点用于对所述目标对象进行变更处理;
9.根据权利要求5所述的方法,其特征在于,所述第二节点用于对所述目标对象进行变更处理;
10.一种数据链路管理装置,其特征在于,包括:
11.一种数据链路管理装置,其特征在于,包括:
12.一种电子设备,其特征在于,所述设备包括:处理器和存储器;
13.一种计算机可读介质,其特征在于,所述计算机可读介质中存储有指令或计算机程序,当所述指令或计算机程序在设备上运行时,使得所述设备执行权利要求1-9任一项所述的方法。
14.一种计算机程序产品,其特征在于,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行权利要求1-9任一项所述的方法的程序代码。
