数据下载方法、装置、终端、系统及存储介质与流程

allin2024-05-30  116



1.本发明实施例涉及计算机技术,尤其涉及一种数据下载方法、装置、终端、系统及存储介质。


背景技术:

2.传统的数据下载方案,用户的本地客户端必须处于在线状态。但由于下载过程影响因素(如数据文件大、网速慢)较多,下载数据的过程耗时较长,因此离线下载数据的方案越来越多。
3.现有离线数据下载的方案,由用户向服务器发送数据下载请求,服务器检测对应的数据是否处于缓存中,若数据处于缓存中则告知用户,用户直接从缓存中获取整个数据文件;若不是,服务器把数据下载请求转发给任务调度器,由任务调度器进行下载;任务调度器在下载完数据后将数据加入缓存中并通知用户从缓存中获取整个数据文件。
4.但由于离线数据下载方案中的数据存储于缓存中,难以满足用户长时间之后再次获取数据或者部分数据的需求。


技术实现要素:

5.本发明实施例提供一种数据下载方法、装置、终端、系统及存储介质,满足了用户在长时间后再次获取目标数据表或者部分目标数据的需求,为用户提供了更加便捷、经济和高效的数据下载方式。
6.第一方面,本发明实施例提供一种数据下载方法,所述方法包括:
7.获取数据下载任务;
8.向数据服务集群发送所述数据下载任务,以使得所述数据服务集群根据所述数据下载任务从源数据表中获取目标数据并根据所述目标数据创建目标数据表;
9.从中间存储设备下载所述目标数据表,所述目标数据表由所述数据服务集群发送至所述中间存储设备。
10.第二方面,本发明实施例提供了一种数据下载装置,所述控制装置包括:
11.数据下载任务获取模块,用于获取数据下载任务;
12.目标数据表创建模块,用于向数据服务集群发送所述数据下载任务,以使得所述数据服务集群根据所述数据下载任务从源数据表中获取目标数据并根据所述目标数据创建目标数据表;
13.目标数据表下载模块,用于从中间存储设备下载所述目标数据表,所述目标数据表由所述数据服务集群发送至所述中间存储设备。
14.第三方面,本发明实施例还提供了一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例中任一所述的数据下载方法。
15.第四方面,本发明实施例还提供了一种数据下载系统,所述数据下载系统包括数
据服务集群、中间存储设备以及用于执行如本发明实施例中任一所述的数据下载方法。
16.第五方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一所述的数据下载方法。
17.本发明实施例中,获取数据下载任务;向数据服务集群发送数据下载任务,以使得数据服务集群根据数据下载任务从源数据表中获取目标数据并根据目标数据创建目标数据表;从中间存储设备下载目标数据表,目标数据表由数据服务集群发送至中间存储设备。即本发明实施例中,数据服务集群会将创建的目标数据表发送至中间存储设备,从而便于终端随时从中间存储设备下载目标数据表,解决了目标数据表由于处于缓存状态而导致存储时间较短的问题,满足了用户在长时间后再次获取目标数据表或者部分目标数据的需求,为用户提供了更加便捷、经济和高效的数据下载方式。
附图说明
18.为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
19.图1是本发明实施例提供的数据下载方法的一个流程示意图;
20.图2是本发明实施例提供的数据下载方法的另一个流程示意图;
21.图3是本发明实施例提供的数据下载方法的终端、中间存储设备和数据服务集群的一个交互示意图;
22.图4是本发明实施例提供的数据下载方法中查询目标任务的执行状态信息的一个流程示意图;
23.图5是本发明实施例提供的数据下载方法中的一个前端页面交互示意图;
24.图6是本发明实施例提供的触发器修改数据下载任务的执行状态信息的一个示意图;
25.图7是本发明实施例提供的用户查询数据下载任务的执行状态信息的一个界面示意图;
26.图8是本发明实施例提供的数据下载装置的一个结构示意图;
27.图9是本发明实施例提供的终端的一个结构示意图。
具体实施方式
28.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
29.图1是本发明实施例提供的数据下载方法的一个流程示意图,该方法可以由本发明实施例提供的数据下载装置来执行,该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中,该装置可以集成在终端中,终端比如可以是计算机、手机等。以下实施例将以该装置集成在终端中为例进行说明,参考图1,该方法具体可以包括如下步骤:
30.步骤101,获取数据下载任务。
31.其中,数据下载任务可以理解为获取的用户所创建的下载数据的任务,可以包括用户需要下载的数据所对应的数据下载条件,例如,用户创建了获取a省2022年1月的消费数据的数据下载任务,其中,“a省2022年1月的消费数据”就是用户需要下载的数据所对应的数据下载条件。
32.具体地,可以在用户通过终端创建数据下载任务之后,获取数据下载任务。
33.示例地,假设用户需要创建的数据下载任务为:获取a省2022年1月的消费数据,则可以在用户通过终端创建了获取a省2022年1月的消费数据下载任务之后,获取该数据下载任务。
34.步骤102,向数据服务集群发送数据下载任务,以使得数据服务集群根据数据下载任务从源数据表中获取目标数据并根据目标数据创建目标数据表。
35.其中,数据服务集群可以理解为多个数据库服务器,可以用于提供透明的数据服务;源数据表可以理解为所有数据的汇总表;目标数据可以理解为与数据下载任务中数据下载条件对应的数据;目标数据表可以理解为存储目标数据的数据表。
36.具体地,可以利用终端的数据库将数据下载任务发送至数据服务集群;数据服务集群在接收到数据下载任务之后,可以根据数据下载任务中的数据下载条件从源数据表中获取目标数据,并可以根据所获取的目标数据创建目标数据表。
37.示例地,继续上述举例,在获取到用户创建的数据下载任务(获取a省2022年1月的消费数据)之后,终端的数据库可以将数据下载任务发送至数据服务集群;数据服务集群在接收到数据下载任务之后,可以根据数据下载任务中的数据下载条件从源数据表中获取目标数据(a省2022年1月的消费数据),并可以根据所获取的目标数据创建目标数据表(a省2022年1月的消费数据表)。
38.步骤103,从中间存储设备下载目标数据表,目标数据表由数据服务集群发送至中间存储设备。
39.其中,中间存储设备可以理解为用于存储来自数据服务集群的数据的中间设备,例如,可以是网盘。
40.具体地,数据服务集群在根据目标数据创建目标数据表之后,可以将目标数据表发送至中间存储设备;在中间存储设备接收到目标数据表之后,终端可以从中间存储设备下载目标数据表。
41.示例地,继续上述举例,在数据服务集群根据目标数据(a省2022年1月的消费数据)创建目标数据表(a省2022年1月的消费数据表)之后,数据服务集群可以将目标数据表发送至网盘;在网盘接收到目标数据表之后,终端可以根据用户操作从网盘下载目标数据表。
42.本发明实施例提供的技术方案,通过获取数据下载任务;向数据服务集群发送数据下载任务,以使得数据服务集群根据数据下载任务从源数据表中获取目标数据并根据目标数据创建目标数据表;从中间存储设备下载目标数据表,目标数据表由数据服务集群发送至中间存储设备。即本发明实施例中,数据服务集群会将创建的目标数据表发送至中间存储设备,从而便于终端随时从中间存储设备下载目标数据表,解决了目标数据表由于处于缓存状态而导致存储时间较短的问题,满足了用户在长时间后再次获取目标数据表或者部分目标数据的需求,为用户提供了更加便捷、经济和高效的数据下载方式。
43.下面进一步描述本发明实施例提供的数据下载方法,图2是本发明实施例提供的数据下载方法的另一个流程示意图,如图2所示,具体包括如下步骤:
44.步骤201,获取数据下载任务。
45.示例地,图3是本发明实施例提供的数据下载方法的终端、中间存储设备和数据服务集群的一个交互示意图,如图3所示,终端31可以包括前端311、个人应用312和数据库313,数据服务集群32可以包括集群调度服务器321和源数据服务器322,可以通过用户在前端311创建数据下载任务,然后前端311将数据下载任务发送至个人应用312;个人应用312可以将数据下载任务发送至数据库313;数据库313就可以获取用户创建的数据下载任务。
46.步骤202,将数据下载任务加入下载任务表。
47.其中,下载任务表可以理解为具有多个数据下载任务的汇总表。
48.示例地,继续上述举例,可以在数据库313获取到数据下载任务后,数据库313将数据下载任务(获取a省2022年1月的消费数据)写入下载任务表。
49.步骤203,在预设时间范围内确定下载任务表中的数据下载任务的当前数量是否超过预设数量;若当前数量超过预设数量时,执行步骤204;若当前数量不超过预设数量时,执行步骤205。
50.其中,预设时间范围可以理解为具体的时长限制,例如10分钟内;数据下载任务的当前数量可以理解为下载任务表中存储的数据下载任务数量;预设数量可以理解为向数据服务集群发送的数据下载任务的数量上限的临界值,例如50。
51.具体地,可以通过在预设时间范围内比较数据下载任务的当前数量与预设数量的大小,确定数据下载任务的当前数量是否超过预设数量。
52.本发明实施例中,通过将数据下载任务加入下载任务表;在预设时间范围内确定下载任务表中的数据下载任务的当前数量是否超过预设数量;在当前数量超过预设数量时,向数据服务集群发送预设数量的数据下载任务;在当前数量不超过预设数量时,向数据服务集群发送当前数量的数据下载任务,可以确保数据服务集群不处于超负荷的运行状态,进而提高数据服务集群运行的稳定性和数据下载方法的下载速度。
53.步骤204,向集群调度服务器发送预设数量的数据下载任务,以使得集群调度服务器将预设数量的数据下载任务发送给源数据服务器,预设数量的数据下载任务用于源数据服务器从源数据表中获取目标数据并根据目标数据创建目标数据表。
54.其中,集群调度服务器可以理解为批量调度数据下载任务的服务器;源数据服务器可以理解为存储所有数据的服务器,可以将结构化的数据文件映射为一张数据库表,并提供查询功能。
55.具体地,在确定数据下载任务的当前数量超过预设数量时,可以向集群调度服务器发送预设数量的数据下载任务;在集群调度服务器接收到预设数量的数据下载任务之后,集群调度服务器可以将预设数量的数据下载任务发送给源数据服务器;源数据服务器在接收到预设数量的数据下载任务之后,可以根据数据下载任务中的数据下载条件确定对应的源数据表,并从源数据表中获取目标数据并根据目标数据创建目标数据表。
56.示例地,假设数据下载任务的当前数量为70,预设数量为50,可以通过数据库313比较10分钟内的数据下载任务的当前数量(70)与预设数量(50)的大小,数据库313可以确定数据下载任务的当前数量超过预设数量,则可以向集群调度服务器321发送50个数据下
载任务;集群调度服务器321可以将50个数据下载任务发送给源数据服务器322;源数据服务器322在接收到50个数据下载任务之后,可以根据50个数据下载任务中的数据下载条件确定对应的源数据表,并从源数据表中获取目标数据并根据目标数据创建目标数据表(a省2022年1月的消费数据表)。
57.其中,从源数据表中获取目标数据并根据目标数据创建目标数据表,可以通过spark(即apache spark)组件根据数据下载任务中的数据下载条件(a省2022年1月的消费数据)从源数据服务器322中获取目标数据,spark组件还可以根据目标数据创建目标数据表;spark组件可以理解为一种快速、通用、可扩展的大数据分析引擎组件,可以用于分析数据、筛选数据等。
58.执行步骤204之后,执行步骤206。
59.步骤205,向集群调度服务器发送当前数量的数据下载任务,以使得集群调度服务器将当前数量的数据下载任务发送给源数据服务器,当前数量的数据下载任务用于源数据服务器从源数据表中获取目标数据并根据目标数据创建目标数据表。
60.具体地,在确定数据下载任务的当前数量没有超过预设数量时,可以向集群调度服务器发送当前数量的数据下载任务;在集群调度服务器接收到当前数量的数据下载任务之后,集群调度服务器可以将当前数量的数据下载任务发送给源数据服务器;源数据服务器在接收到当前数量的数据下载任务之后,可以根据数据下载任务中的数据下载条件确定对应的源数据表,并从源数据表中获取目标数据并根据目标数据创建目标数据表。
61.示例地,假设数据下载任务的当前数量为40,预设数量为50,可以通过数据库313比较10分钟的数据下载任务的当前数量(40)与预设数量(50)的大小,数据库313确定数据下载任务的当前数量没有超过预设数量,则可以向集群调度服务器321发送40个数据下载任务;集群调度服务器321将40个数据下载任务发送给源数据服务器322;源数据服务器322在接收到40个数据下载任务之后,可以根据40个数据下载任务中的数据下载条件确定对应的源数据表,并从源数据表中获取目标数据并根据目标数据创建目标数据表(a省2022年1月的消费数据表)。
62.可选地,源数据服务器可以包括多个,向集群调度服务器发送数据下载任务,以使得集群调度服务器将数据下载任务发送给源数据服务器,可以包括:向集群调度服务器发送数据下载任务,以使得集群调度服务器从多个源数据服务器中确定出目标源数据服务器并向目标源数据服务器发送数据下载任务。
63.其中,目标源数据服务器可以理解为存储目标数据的源数据服务器。
64.示例地,可以通过终端向集群调度服务器321发送数据下载任务;集群调度服务器321可以从多个源数据服务器中确定出存储目标数据的源数据服务器并向存储目标数据的源数据服务器发送数据下载任务。
65.本发明实施例中,通过向集群调度服务器发送数据下载任务,以使得集群调度服务器从多个源数据服务器中确定出目标源数据服务器并向目标源数据服务器发送数据下载任务,可以通过目标源数据服务器更加快速地处理数据下载任务,提高数据下载任务的下载速度。
66.步骤206,获取集群调度服务器发送的目标数据表的表标识信息,表标识信息由集群调度服务器在从源数据服务器获取目标数据表之后为目标数据表设置的。
67.其中,表标识信息可以理解为目标数据表的表编码,可以是数值形式,也可以是其他形式(字母、符号)的表编码,例如011。
68.具体地,源数据服务器可以创建目标数据表并将目标数据表发送给集群调度服务器;集群调度服务器在获取到目标数据表后,可以设置目标数据表的表标识信息并将目标数据表上传至中间存储设备,还可以将目标数据表的表标识信息发送至终端的数据库;数据库就可以获取到集群调度服务器发送的目标数据表的表标识信息。
69.示例地,源数据服务器322可以创建目标数据表(a省2022年1月的消费数据表)并将目标数据表(a省2022年1月的消费数据表)发送给集群调度服务器321;集群调度服务器321在获取到目标数据表后,可以为目标数据表设置表标识信息(011)并将目标数据表上传至中间存储设备33(网盘)。
70.本发明实施例中,通过获取集群调度服务器发送的目标数据表的表标识信息,基于表标识信息从中间存储设备下载目标数据表,可以提高从中间存储设备下载目标数据表的准确率,也可以满足用户长时间后再次使用目标数据表的需求。
71.步骤207,基于表标识信息从中间存储设备下载目标数据表。
72.具体地,可以在集群调度服务器将目标数据表发送至中间存储设备之后,终端可以基于步骤206获取到的表标识信息从中间存储设备下载与表标识信息对应的目标数据表。
73.示例地,可以在集群调度服务器321将目标数据表发送至中间存储设备33(网盘)之后,终端可以基于步骤206获取到的表标识信息(011)从中间存储设备33(网盘)下载与表标识信息(011)对应的目标数据表(a省2022年1月的消费数据表)。
74.本发明实施例中,数据服务集群会将创建的目标数据表发送至中间存储设备,从而便于终端随时从中间存储设备下载目标数据表,解决了目标数据表由于处于缓存状态而导致存储时间较短的问题,满足了用户在长时间后再次获取目标数据表或者部分目标数据的需求,为用户提供了更加便捷、经济和高效的数据下载方式。
75.图4是本发明实施例提供的数据下载方法中查询目标任务的执行状态信息下的一个流程示意图,具体可以包括如下步骤:
76.步骤401,获取数据查询请求,数据查询请求中包括目标任务的任务标识信息。
77.其中,数据查询请求可以理解为数据下载任务状态的查询请求。
78.具体地,可以在用户点击页面的查询数据下载任务状态的按钮之后,终端可以获取用户所触发的数据查询请求。
79.示例地,图5是本发明实施例提供的数据下载方法中的一个前端页面交互示意图,如图5所示,用户可以进入查询条件界面,在用户选择查询数据下载任务执行状态信息按钮之后,终端可以获取用户所触发的数据下载任务状态的查询请求。
80.可选地,用户还可以选择查看数据下载任务按钮,进入数据下载任务展示界面,以查看所创建的数据下载任务。
81.步骤402,向集群调度服务器发送数据查询请求,以使得集群调度服务器基于任务标识信息获取目标任务的执行状态信息。
82.其中,执行状态信息可以理解为数据下载任务的处理状态信息;目标任务可以理解为数据查询请求对应的数据下载任务。
83.具体地,为了便于获取目标任务的执行状态信息,本发明实施例设置了7个数据下载任务的执行状态,并根据执行状态设置了对应的状态值,表1是本发明实施例提供的数据下载任务执行状态值和执行状态对应关系表。
84.由表1可知,7个数据下载任务的执行状态包括:待处理、导出中、导出成功、导出失败、删除中、删除失败、取消和手动锁定。
85.表1数据下载任务执行状态值和执行状态对应关系表
86.数据下载任务执行状态值执行状态1待处理2导出中3导出成功4导出失败5删除中6删除失败7取消+100手动锁定
87.进一步地,终端在根据用户操作创建数据下载任务后,会将数据下载任务发送给集群调度服务器,此时数据下载任务的执行状态为待处理,即集群调度服务器拉取的数据下载任务执行状态值为“1”,将数据下载任务的执行状修改为待处理;集群调度服务器将数据下载任务发送至源数据服务器,此时数据下载任务的执行状态为导出中,即集群调度服务器可以拉取的状态值为“2”,将数据下载任务的执行状态修改为导出中。当终端在根据用户操作创建数据下载任务后,可以通过用户取消所创建的数据下载任务,此时数据下载任务的执行状态为取消,即集群调度服务器可以拉取的数据下载任务执行状态值为“7”,将数据下载任务的执行状态修改为取消。
88.本发明实施例通过在集群调度服务器中设置10分钟触发器,10分钟触发器可以修改数据下载任务的执行状态为导出成功或导出失败,图6是本发明实施例提供的触发器修改数据下载任务的执行状态信息的一个示意图,如图6所示,在集群调度服务器接收到目标数据表并将目标数据表上传至中间存储设备后,10分钟触发器可以查询目标数据表是否成功上传至中间存储设备;若目标数据表没有成功上传至中间存储设备,10分钟触发器则修改数据下载任务的执行状态为导出失败,此时数据下载任务的执行状态为导出失败,即集群调度服务器拉取的数据下载任务执行状态值为“4”;若目标数据表成功上传至中间存储设备,10分钟触发器则修改数据下载任务的执行状态为导出成功,此时数据下载任务的执行状态为导出成功,即集群调度服务器拉取的数据下载任务执行状态值为“3”。本发明实施例通过在集群调度服务器中设置1小时触发器,1小时触发器可以修改数据下载任务的执行状态为删除中或删除失败;在从中间存储设备下载目标数据表后,1小时触发器可以查询数据下载任务的执行状态信息,并删除已经导出成功的数据下载任务,1小时触发器可以修改数据下载任务的执行状态为删除中,此时数据下载任务的执行状态为删除中,即集群调度服务器拉取的数据下载任务执行状态值为“5”;若1小时触发器没有删除数据下载任务,1小时触发器则可以修改数据下载任务的执行状态为删除失败,此时数据下载任务的执行状态为删除失败,即集群调度服务器拉取的数据下载任务执行状态值为“6”。
89.手动锁定可以理解为人工暂停处于超负荷状态下的数据服务集群接收数据下载任务的操作,可以通过人工暂停数据服务集群接收数据下载任务,此时数据下载任务的执行状态为手动锁定,即集群调度服务器拉取的数据下载任务执行状态值为“+100”。
90.示例地,终端可以向集群调度服务器发送查询数据下载任务状态的数据查询请求;集群调度服务器在接收到查询数据下载任务状态的查询请求之后,可以通过所设置的触发器获取数据下载任务的执行状态信息,假设数据下载任务的执行状态信息为“导出成功”,则集群调度服务器可以将数据下载任务的执行状态信息(导出成功)发送给终端的数据库。
91.步骤403,接收集群调度服务器反馈的目标任务的执行状态信息。
92.具体地,可以通过数据库接收目标任务的执行状态信息。
93.示例地,可以通过数据库接收集群调度服务器基于表标识信息(011)反馈的目标任务的执行状态信息(导出成功),那么用户就可以通过图5中的查询结果展示界面看到目标任务的执行状态信息,图7是本发明实施例提供的用户查询数据下载任务的执行状态信息的一个界面示意图,如图7所示,asdf为数据下载任务的任务标识,创建时间为用户创建数据下载任务的时间,执行状态为数据下载任务的执行状态信息,操作可以包括用户取消数据下载任务的操作或者下载数据的操作;用户可以在数据下载任务asdf的查询结果页面的执行状态栏中看到数据下载任务asdf的执行状态信息为导出成功。
94.本发明实施例中,通过获取数据查询请求,数据查询请求中包括目标任务的任务标识信息;向集群调度服务器发送数据查询请求,以使得集群调度服务器基于任务标识信息获取目标任务的执行状态信息;接收集群调度服务器反馈的目标任务的执行状态信息,满足了用户随时获取目标任务的执行状态信息的需求,为用户提供了更加便捷和高效的数据下载任务的执行状态信息查询方式。
95.图8是本发明实施例提供的数据下载装置的一个结构示意图,该装置适用于执行本发明实施例提供的数据下载方法。如图8所示,该装置具体可以包括:
96.数据下载任务获取模块801,用于获取数据下载任务;
97.目标数据表创建模块802,用于向数据服务集群发送所述数据下载任务,以使得所述数据服务集群根据所述数据下载任务从源数据表中获取目标数据并根据所述目标数据创建目标数据表;
98.目标数据表下载模块803,用于从中间存储设备下载所述目标数据表,所述目标数据表由所述数据服务集群发送至所述中间存储设备。
99.一实施例中,目标数据表创建模块802向数据服务集群发送所述数据下载任务,包括:
100.将所述数据下载任务加入下载任务表;
101.在预设时间范围内确定所述下载任务表中的数据下载任务的当前数量是否超过预设数量;
102.在所述当前数量超过所述预设数量时,向所述数据服务集群发送所述预设数量的数据下载任务;
103.在所述当前数量不超过所述预设数量时,向所述数据服务集群发送所述当前数量的数据下载任务。
104.一实施例中,所述数据服务集群包括集群调度服务器和源数据服务器;
105.目标数据表创建模块802,具体用于:
106.向所述集群调度服务器发送所述数据下载任务,以使得所述集群调度服务器将所述数据下载任务发送给所述源数据服务器,所述数据下载任务用于所述源数据服务器从源数据表中获取目标数据并根据所述目标数据创建所述目标数据表。
107.一实施例中,所述源数据服务器包括多个;
108.目标数据表创建模块802向所述集群调度服务器发送所述数据下载任务,以使得所述集群调度服务器将所述数据下载任务发送给所述源数据服务器,包括:
109.向所述集群调度服务器发送所述数据下载任务,以使得所述集群调度服务器从所述多个源数据服务器中确定出目标源数据服务器并向所述目标源数据服务器发送所述数据下载任务。
110.一实施例中,该装置还包括,表标识信息获取模块,用于:
111.获取所述集群调度服务器发送的所述目标数据表的表标识信息,所述表标识信息由所述集群调度服务器在从源数据服务器获取所述目标数据表之后为所述目标数据表设置的;
112.目标数据表下载模块803从中间存储设备下载所述目标数据表,包括:
113.基于所述表标识信息从所述中间存储设备下载所述目标数据表。
114.一实施例中,该装置还包括,执行状态信息接收模块,用于:
115.获取数据查询请求,所述数据查询请求中包括目标任务的任务标识信息;
116.向所述集群调度服务器发送所述数据查询请求,以使得所述集群调度服务器基于所述任务标识信息获取所述目标任务的执行状态信息;
117.接收所述集群调度服务器反馈的所述目标任务的执行状态信息。
118.本领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述功能模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
119.本发明实施例的装置,包括获取数据下载任务;向数据服务集群发送数据下载任务,以使得数据服务集群根据数据下载任务从源数据表中获取目标数据并根据目标数据创建目标数据表;从中间存储设备下载目标数据表,目标数据表由数据服务集群发送至中间存储设备。即本发明实施例中,数据服务集群会将创建的目标数据表发送至中间存储设备,从而便于终端随时从中间存储设备下载目标数据表,解决了目标数据表由于处于缓存状态而导致存储时间较短的问题,满足了用户在长时间后再次获取目标数据表或者部分目标数据的需求,为用户提供了更加便捷、经济和高效的数据下载方式。
120.本发明实施例还提供了一种终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一实施例提供的数据下载方法。
121.本发明实施例还提供了一种数据下载系统,如图3所示,所述数据下载系统包括数据服务集群32、中间存储设备33以及用于执行所述程序时实现上述任一实施例提供的数据
下载方法的终端31。
122.本发明实施例还提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一实施例提供的数据下载方法。
123.下面参考图9,其示出了适于用来实现本发明实施例的终端的计算机系统1000的结构示意图。图9示出的终端仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
124.如图9所示,计算机系统1000包括中央处理单元(cpu)1001,其可以根据存储在只读存储器(rom)1002中的程序或者从存储部分1008加载到随机访问存储器(ram)1003中的程序而执行各种适当的动作和处理。在ram 1003中,还存储有系统1000操作所需的各种程序和数据。cpu 1001、rom 1002以及ram 1003通过总线1004彼此相连。输入/输出(i/o)接口1005也连接至总线1004。
125.以下部件连接至i/o接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至i/o接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
126.特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(cpu)1001执行时,执行本发明的系统中限定的上述功能。
127.需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。
128.附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程
序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
129.描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中,例如,可以描述为:一种处理器包括数据下载任务获取模块、目标数据表创建模块和目标数据表下载模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定。
130.作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:
131.获取数据下载任务;向数据服务集群发送所述数据下载任务,以使得所述数据服务集群根据所述数据下载任务从源数据表中获取目标数据并根据所述目标数据创建目标数据表;从中间存储设备下载所述目标数据表,所述目标数据表由所述数据服务集群发送至所述中间存储设备。
132.根据本发明实施例的技术方案,可以获取数据下载任务;向数据服务集群发送所述数据下载任务,以使得所述数据服务集群根据所述数据下载任务从源数据表中获取目标数据并根据所述目标数据创建目标数据表;从中间存储设备下载所述目标数据表,所述目标数据表由所述数据服务集群发送至所述中间存储设备。即本发明实施例中,数据服务集群会将创建的目标数据表发送至中间存储设备,从而便于终端随时从中间存储设备下载目标数据表,解决了目标数据表由于处于缓存状态而导致存储时间较短的问题,满足了用户在长时间后再次获取目标数据表或者部分目标数据的需求,为用户提供了更加便捷、经济和高效的数据下载方式。
133.上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

技术特征:
1.一种数据下载方法,其特征在于,所述方法包括:获取数据下载任务;向数据服务集群发送所述数据下载任务,以使得所述数据服务集群根据所述数据下载任务从源数据表中获取目标数据并根据所述目标数据创建目标数据表;从中间存储设备下载所述目标数据表,所述目标数据表由所述数据服务集群发送至所述中间存储设备。2.根据权利要求1所述的方法,其特征在于,所述向数据服务集群发送所述数据下载任务,包括:将所述数据下载任务加入下载任务表;在预设时间范围内确定所述下载任务表中的数据下载任务的当前数量是否超过预设数量;在所述当前数量超过所述预设数量时,向所述数据服务集群发送所述预设数量的数据下载任务;在所述当前数量不超过所述预设数量时,向所述数据服务集群发送所述当前数量的数据下载任务。3.根据权利要求1所述的方法,其特征在于,所述数据服务集群包括集群调度服务器和源数据服务器,所述向数据服务集群发送所述数据下载任务,以使得所述数据服务集群根据所述数据下载任务从源数据表中获取目标数据并根据所述目标数据创建目标数据表,包括:向所述集群调度服务器发送所述数据下载任务,以使得所述集群调度服务器将所述数据下载任务发送给所述源数据服务器,所述数据下载任务用于所述源数据服务器从源数据表中获取目标数据并根据所述目标数据创建所述目标数据表。4.根据权利要求3所述的方法,其特征在于,所述源数据服务器包括多个,所述向所述集群调度服务器发送所述数据下载任务,以使得所述集群调度服务器将所述数据下载任务发送给所述源数据服务器,包括:向所述集群调度服务器发送所述数据下载任务,以使得所述集群调度服务器从所述多个源数据服务器中确定出目标源数据服务器并向所述目标源数据服务器发送所述数据下载任务。5.根据权利要求3所述的方法,其特征在于,在向所述集群调度服务器发送所述数据下载任务,以使得所述集群调度服务器将所述数据下载任务发送给所述源数据服务器之后,还包括:获取所述集群调度服务器发送的所述目标数据表的表标识信息,所述表标识信息由所述集群调度服务器在从源数据服务器获取所述目标数据表之后为所述目标数据表设置的;所述从中间存储设备下载所述目标数据表,包括:基于所述表标识信息从所述中间存储设备下载所述目标数据表。6.根据权利要求3所述的数据下载方法,其特征在于,所述方法还包括:获取数据查询请求,所述数据查询请求中包括目标任务的任务标识信息;向所述集群调度服务器发送所述数据查询请求,以使得所述集群调度服务器基于所述任务标识信息获取所述目标任务的执行状态信息;
接收所述集群调度服务器反馈的所述目标任务的执行状态信息。7.一种数据下载装置,其特征在于,所述装置包括:数据下载任务获取模块,用于获取数据下载任务;目标数据表创建模块,用于向数据服务集群发送所述数据下载任务,以使得所述数据服务集群根据所述数据下载任务从源数据表中获取目标数据并根据所述目标数据创建目标数据表;目标数据表下载模块,用于从中间存储设备下载所述目标数据表,所述目标数据表由所述数据服务集群发送至所述中间存储设备。8.一种终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6中任一所述的数据下载方法。9.一种数据下载系统,其特征在于,所述数据下载系统包括数据服务集群、中间存储设备以及用于执行如权利要求1至6任一项所述的数据下载方法的终端。10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至6中任一所述的数据下载方法。

技术总结
本发明实施例公开了一种数据下载方法、装置、终端、系统及存储介质,该方法包括:获取数据下载任务;向数据服务集群发送数据下载任务,以使得数据服务集群根据数据下载任务从源数据表中获取目标数据并根据目标数据创建目标数据表;从中间存储设备下载目标数据表,目标数据表由数据服务集群发送至中间存储设备。即本发明实施例中,数据服务集群会将创建的目标数据表发送至中间存储设备,从而便于终端随时从中间存储设备下载目标数据表,解决了目标数据表由于处于缓存状态而导致存储时间较短的问题,满足了用户在长时间后再次获取目标数据表或者部分目标数据的需求,为用户提供了更加便捷、经济和高效的数据下载方式。经济和高效的数据下载方式。经济和高效的数据下载方式。


技术研发人员:吴爽
受保护的技术使用者:中国农业银行股份有限公司
技术研发日:2022.03.28
技术公布日:2022/7/5
转载请注明原文地址: https://www.8miu.com/read-14057.html

最新回复(0)