本发明属于数据同步，具体涉及一种数据同步任务调度系统及方法。
背景技术：
1、在当今信息技术领域，数据同步任务调度框架的设计至关重要。这种框架旨在实现数据在不同系统之间的高效同步，并应对各种数据源类型、规模和实时性需求。然而，传统的数据同步方法可能面临性能瓶颈、调度策略不灵活等挑战。大规模数据量的增加：随着业务的发展，数据量急剧增加，传统的同步方法可能无法有效处理庞大的数据流。传统的同步方式可能采用周期全量数据同步，但这种方式在数据量增大时会导致同步效率降低，甚至可能无法满足实时性的需求。数据传输和处理的瓶颈：传统的同步方法可能受限于网络带宽、磁盘i/o、cpu处理能力等因素，导致数据传输和处理速度受限，从而成为性能瓶颈。在实时数据同步的场景中，同步延迟是一个重要指标。传统的同步方法可能由于上述原因导致同步延迟增加，无法满足实时性的需求。传统的数据同步方法可能采用固定的调度策略，如fifo(先进先出)策略。这种策略在特定场景下可能有效，但在复杂的业务场景中可能无法适应。例如，当有高优先级的任务需要优先处理时，fifo策略可能导致低优先级的任务长时间等待。传统的同步方法可能缺乏根据系统负载、任务优先级等因素动态调整调度策略的能力。这可能导致在某些情况下，系统资源无法得到充分利用，或者某些任务无法得到及时处理。传统的同步方法可能只支持单一的调度策略，无法满足不同业务场景下的需求。例如，某些业务场景可能需要根据任务的实时性需求、数据的重要性等因素来制定不同的调度策略。因此需要一种基于分布式架构、智能调度、灵活配置、元数据管理、监控与报警、可扩展性等特性的新型设计。
技术实现思路
1、为了解决现有技术中存在的问题，本发明提供一种数据同步任务调度系统及方法，实现数据同步任务的横向扩展，适应不断增长的数据量和负载，实现智能任务调度，根据数据同步任务的优先级、实时性需求和系统负载等动态调整调度策略，提供灵活的配置选项，以满足不同业务场景下的需求，有效管理数据同步任务的元数据信息，包括数据源、目标端、同步策略等，以及如何实现实时监控和异常报警机制。
2、为了实现上述目的，本发明采用的技术方案是：一种数据同步任务调度系统，包括分布式数据同步引擎、智能任务调度器、元数据管理模块、监控与报警模块；
3、分布式数据同步引擎用于实现数据的增量同步和全量同步；分布式数据同步引擎基于多线程和异步io实现的数据复制功能，支持并行同步和增量同步，与分布式存储系统集成；
4、智能任务调度器用于根据任务优先级、实时性需求和系统负载等信息动态调度数据同步任务；
5、元数据管理模块用于存储和维护数据同步任务的元数据信息；
6、监控与报警模块用于实时监控数据同步任务的执行情况，并在发生异常时进行及时报警。
7、进一步的，分布式数据同步引擎从不同类型的数据源中采集数据文件，将采集到的数据文件传输到目标位置，对数据进行转换，使数据格式、结构与目标位置的要求相匹配。
8、进一步的，分布式数据同步引擎包括数据采集模块、数据转换模块、数据加载模块以及管理界面；数据采集模块用于从各种数据源中采集数据文件，并将其传输到转换模块，数据采集模块支持多种数据源类型，包括数据库、文件系统以及api；数据转换模块用于对采集到的数据进行必要的转换，使数据格式、结构与目标位置的要求相匹配，将转换后的数据传输到加载模块；数据加载模块用于将经过转换的数据加载到目标位置，更新目标数据库表或存储到目标文件系统中。支持不同类型的目标位置，并能够保证数据的完整性和一致性。管理界面提供用户操作界面，用于配置数据同步任务、监控数据同步状态。
9、进一步的，数据采集模块：实现数据源的管理功能，包括添加、编辑、删除数据源信息，每个数据源包括类型、地址、认证信息。支持配置数据采集任务，包括选择数据源、指定采集规则、设置采集频率，其中的数据采集器根据配置的采集任务，实现数据的实时或定时采集，保证数据的及时性和准确性，处理采集过程中可能出现的错误和异常情况，包括网络故障、数据源不可用，提供错误日志和告警功能；
10、数据转换模块用于实现数据转换规则的管理功能，包括添加、编辑、删除转换规则；每个转换规则包括源数据格式、目标数据格式、转换逻辑，其中的数据转换器根据配置的转换规则，实现数据的格式转换、字段映射、数据清洗操作，使转换后的数据符合目标位置的要求，处理转换过程中可能出现的异常情况，包括数据格式不匹配、转换逻辑错误，提供错误日志和告警功能；
11、数据加载模块用于实现目标位置的管理，包括添加、编辑、删除目标位置信息；每个目标位置应包括类型、地址、认证信息，支持配置数据加载任务，包括选择目标位置、指定加载规则、设置加载频率；数据加载器根据配置的加载任务，实现数据的批量加载或实时加载，确保数据加载的事务性，即要么全部加载成功，要么全部失败，避免数据不一致的情况发生；
12、管理界面提供界面化的任务配置功能，包括添加、编辑、删除数据同步任务，设置数据源、目标位置、转换规则、加载规则；监控界面提供实时监控数据同步状态的界面，包括插件运行状态、数据采集情况、数据转换情况、数据加载情况；日志查看器提供查看操作日志和错误日志的功能，提供用户管理功能，包括用户权限设置和用户登录记录。
13、进一步的，智能任务调度器采用cirrodata调度器。
14、进一步的，智能任务调度器基于任务优先级、实时性需求和系统负载的调度方法。
15、进一步的，元数据管理模块包括元数据存储数据库，元数据存储数据库用于存储和管理数据同步任务的元数据信息，定期同步任务状态信息；所述数据同步任务的执行情况包括任务进度和数据同步速率。
16、进一步的，所述报警采用邮件、短信和/或app推送的形式。
17、在提供上述系统的基础上，同时提供一种数据同步任务调度方法，包括以下步骤：
18、根据配置的采集任务，实时监听数据源并获取数据或根据配置的采集频率定时执行数据采集任务；
19、根据转换规则将源数据转换为目标数据格式；
20、根据转换规则对数据字段进行映射和转换；
21、将转换后的数据批量加载到目标位置；
22、根据配置的加载任务实时将数据加载到目标位置。
23、与现有技术相比，本发明至少具有以下有益效果：本发明系统采用分布式架构设计，实现数据同步引擎的横向扩展，提高系统的可扩展性和容错性。引入智能调度器，实现任务调度的自适应性和优化性，提高数据同步任务的执行效率。提供丰富的配置选项，使用户能够根据实际需求灵活配置数据同步任务，增强了系统的适应性和灵活性。
1.一种数据同步任务调度系统，其特征在于，包括分布式数据同步引擎、智能任务调度器、元数据管理模块、监控与报警模块；
2.根据权利要求1所述的数据同步任务调度系统，其特征在于，分布式数据同步引擎从不同类型的数据源中采集数据文件，将采集到的数据文件传输到目标位置，对数据进行转换，使数据格式、结构与目标位置的要求相匹配。
3.根据权利要求1所述的数据同步任务调度系统，其特征在于，分布式数据同步引擎包括数据采集模块、数据转换模块、数据加载模块以及管理界面；数据采集模块用于从各种数据源中采集数据文件，并将其传输到转换模块，数据采集模块支持多种数据源类型，包括数据库、文件系统以及api；数据转换模块用于对采集到的数据进行必要的转换，使数据格式、结构与目标位置的要求相匹配，将转换后的数据传输到加载模块；数据加载模块用于将经过转换的数据加载到目标位置，更新目标数据库表或存储到目标文件系统中，支持不同类型的目标位置，并能够保证数据的完整性和一致性，管理界面提供用户操作界面，用于配置数据同步任务、监控数据同步状态。
4.根据权利要求3所述的数据同步任务调度系统，其特征在于，数据采集模块：实现数据源的管理功能，包括添加、编辑、删除数据源信息，每个数据源包括类型、地址、认证信息。支持配置数据采集任务，包括选择数据源、指定采集规则、设置采集频率，其中的数据采集器根据配置的采集任务，实现数据的实时或定时采集，保证数据的及时性和准确性，处理采集过程中可能出现的错误和异常情况，包括网络故障、数据源不可用，提供错误日志和告警功能；
5.根据权利要求1所述的数据同步任务调度系统，其特征在于，智能任务调度器采用dolphinscheduler、airflow、azkaban、cirrodata调度器或redis分布式调度器。
6.根据权利要求1所述的数据同步任务调度系统，其特征在于，智能任务调度器基于任务优先级、实时性需求和系统负载进行调度。
7.根据权利要求1所述的数据同步任务调度系统，其特征在于，元数据管理模块包括元数据存储数据库，元数据存储数据库用于存储和管理数据同步任务的元数据信息，定期同步任务状态信息；所述数据同步任务的执行情况包括任务进度和数据同步速率。
8.根据权利要求1所述的数据同步任务调度系统，其特征在于，所述报警采用邮件、短信和/或app推送的形式。
9.一种数据同步任务调度方法，其特征在于，包括以下步骤：
