基于动态路由的分段式数据导出方法及系统与流程

allin2026-10-09  4


本发明涉及数据传输的,尤其涉及一种基于动态路由的分段式数据导出方法及系统。


背景技术:

1、随着企业信息化建设的深入,多个业务系统并存成为了常态。这些系统之间经常需要进行数据交换和共享,其中导出功能是一个常见的需求。由于不同业务系统具有不同的数据结构和导出逻辑,因此需要一种灵活的机制来统一处理这些导出请求。

2、在大数据处理和企业级应用中,数据的导出操作尤为关键,但往往伴随着大量的数据处理和文件存储需求。传统的同步导出方式在处理海量数据时,不仅会导致系统性能显著下降,甚至可能引发超时、阻塞等问题,严重影响正常业务的运行和用户体验。


技术实现思路

1、本发明的目的在于提供一种基于动态路由的分段式数据导出方法及系统,以解决现有技术因系统性能差影响业务运行的问题。

2、为实现上述发明目的之一,本发明一实施方式提供一种基于动态路由的分段式数据导出方法,所述方法包括,

3、接收导出请求创建导出任务;

4、通过解析所述导出任务,匹配所述导出任务的路由规则,以及确定所述导出任务的目标导出服务,将所述导出任务路由至所述目标导出服务;

5、基于所述目标导出服务的分段式导出策略,将所述导出任务切割为分段式数据文件流;

6、基于匹配的路由规则将所述分段式数据文件流转发至对象存储服务。

7、作为本发明一实施方式的进一步改进,所述方法还包括,所述接收导出请求创建导出任务包括,

8、所述导出请求包括所述导出任务的任务信息,包括发起人、导出名称、导出来源类型、请求类型、请求参数、请求头、业务系统标识、导出数据类型和导出条件。

9、作为本发明一实施方式的进一步改进,所述方法还包括,所述解析所述导出任务包括,

10、匹配所述导出任务的所述导出来源类型与预设的任务来源类型、所述请求类型与预设的接口名称、所述导出数据类型与预设的路由规则,确定有效导出任务;

11、根据所述有效导出任务的所述业务系统标识,确定所述有效导出任务的目标导出服务;

12、将所述有效导出任务基于所述预设的路由规则通过消息队列转发至所述目标导出服务。

13、作为本发明一实施方式的进一步改进,所述方法还包括,所述“基于所述目标导出服务的分段式导出策略,将所述导出任务切割为分段式数据文件流”包括,

14、根据所述有效导出任务的导出条件,将所述有效导出任务切割为分段式数据文件流;

15、所述导出条件包括文件大小、数据条数或时间序列的条件信息。

16、作为本发明一实施方式的进一步改进,所述方法还包括,所述“将所述导出任务切割为分段式数据文件流”包括,

17、通过使用分布式锁机制,确保同一时间内只有一个线程切割所述有效导出任务,并通过心跳检测和定时任务定期续约锁的有效期;

18、所述分布式锁在任务完成后释放,并通过定时延长锁有效期的机制避免任务并发执行。

19、作为本发明一实施方式的进一步改进,所述方法还包括,所述“基于匹配的路由规则将所述分段式数据文件流转发至对象存储服务”包括,

20、将所述分段式数据文件流发送至消息队列,所述消息队列基于匹配的路由规则将所述分段式数据文件流转发至对象存储服务,并返回存储导出文件的位置信息。

21、作为本发明一实施方式的进一步改进,所述方法还包括,当所述消息队列转发所述分段式数据文件流任务失败时,记录失败次数并将所述分段式数据文件流重新投入队列进行重试;

22、若失败次数超过预设阈值,则将所述导出任务的状态被标记为失败。

23、为实现上述发明目的之一,本发明一实施方式提供一种基于动态路由的分段式数据导出系统,包括接收模块、解析模块、切割模块和转发模块。

24、所述接收模块用于接收导出请求创建导出任务;

25、所述解析模块用于通过解析所述导出任务,匹配所述导出任务的路由规则,以及确定所述导出任务的目标导出服务,将所述导出任务路由至所述目标导出服务;

26、所述切割模块用于基于所述目标导出服务的分段式导出策略,将所述导出任务切割为分段式数据文件流;

27、所述转发模块用于基于匹配的路由规则将所述分段式数据文件流转发至对象存储服务。

28、为实现上述发明目的之一,本发明一实施例还提供一种电子设备,包括存储器以及处理器,其特征在于,所述存储器中存储可在所述处理器上运行的计算机程序,所述处理器上执行程序时实现如上所述基于动态路由的分段式数据导出方法中的步骤。

29、为实现上述发明目的之一,本发明一实施例还提供一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上所述基于动态路由的分段式数据导出方法中的步骤。

30、本发明与现有技术相比,本发明提供的一种基于动态路由的分段式数据导出方法及系统,通过异步消息队列与分布式锁机制,优化了系统的响应速度和用户体验,允许用户在提交导出请求后无需等待即能继续操作。通过动态路由与分段式切割策略,系统能够高效处理大数据量导出,并确保文件格式与大小符合预期。



技术特征:

1.一种基于动态路由的分段式数据导出方法,其特征在于:包括,

2.根据权利要求1所述的基于动态路由的分段式数据导出方法,其特征在于:所述接收导出请求创建导出任务包括,

3.根据权利要求2所述的基于动态路由的分段式数据导出方法,其特征在于:所述解析所述导出任务包括,

4.根据权利要求3所述的基于动态路由的分段式数据导出方法,其特征在于:所述“基于所述目标导出服务的分段式导出策略,将所述导出任务切割为分段式数据文件流”包括,

5.根据权利要求4所述的基于动态路由的分段式数据导出方法,其特征在于:所述“将所述导出任务切割为分段式数据文件流”包括,

6.根据权利要求4所述的基于动态路由的分段式数据导出方法,其特征在于:所述“基于匹配的路由规则将所述分段式数据文件流转发至对象存储服务”包括,

7.根据权利要求6所述的基于动态路由的分段式数据导出方法,其特征在于:还包括,

8.一种基于动态路由的分段式数据导出系统,其特征在于:包括接收模块、解析模块、切割模块和转发模块;

9.一种电子设备,包括存储器以及处理器,其特征在于:所述存储器中存储可在所述处理器上运行的计算机程序,所述处理器上执行程序时实现如权利要求1-7任意一项所述基于动态路由的分段式数据导出方法中的步骤。

10.一种存储介质,所述存储介质存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述基于动态路由的分段式数据导出方法中的步骤。


技术总结
本发明涉及一种基于动态路由的分段式数据导出方法及系统,包括接收导出请求创建导出任务;通过解析所述导出任务,匹配所述导出任务的路由规则,以及确定所述导出任务的目标导出服务,将所述导出任务路由至所述目标导出服务;基于所述目标导出服务的分段式导出策略,将所述导出任务切割为分段式数据文件流;基于匹配的路由规则将所述分段式数据文件流转发至对象存储服务。本发明通过异步消息队列与分布式锁机制,优化了系统的响应速度和用户体验,允许用户在提交导出请求后无需等待即能继续操作。通过动态路由与分段式切割策略,系统能够高效处理大数据量导出,并确保文件格式与大小符合预期。

技术研发人员:麦淼,张仲凯,胡光
受保护的技术使用者:广东南方智媒科技有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-31939.html

最新回复(0)