本发明属于电数字数据处理，具体涉及一种数据流分析处理方法。
背景技术：
1、随着大数据技术的发展，实时数据流分析处理在各个领域中得到了广泛应用。然而，现有的数据流处理系统在灵活性和可扩展性方面存在不足。对象继承思想在面向对象编程中具有广泛的应用，通过继承和多态性，可以实现系统的灵活扩展和复用。因此，提出一种基于对象继承思想的数据流分析处理方法，以克服现有技术的不足。
2、因此，现阶段需设计一种数据流分析处理方法、系统及存储介质，来解决以上问题。
技术实现思路
1、本发明目的在于提供一种数据流分析处理方法、系统及存储介质，用于解决上述现有技术中存在的技术问题，通过对象继承机制，将数据流处理的各个环节封装为可继承和扩展的对象类，实现数据流的动态分析和处理。
2、为实现上述目的，本发明的技术方案是：
3、一种数据流分析处理方法，包括以下步骤：
4、s1：定义数据流处理的基础对象类，其中数据流处理的基础属性有代码、英文编号、中文名、描述、组件类型、结果执行语句、结果预览语句、结果数据量统计语句、组件输入字段和输出字段的映射关系；
5、s2：依据步骤s1制定的基础对象类，按照不同的数据处理需求，通过继承基础对象类，扩展实现特定的数据处理功能；并按照不同数据处理类型进行划分为六大类，分别是：输入，输出，转换，清洗，安全，计算；
6、s3：依据步骤s2制定的输入类对象，实现不同的数据源接入；
7、s4：依据步骤s2制定的转换、清洗类对象，对数据进行清洗、格式转换和初步分析，确保数据质量和一致性；
8、s5：依据步骤s2制定的安全、计算类对象，执行复杂的分析操作，对数据流进行分析和处理；
9、s6：依据步骤s2制定的输出对象将分析处理的结果通过结果输出对象类输出到指定的目标系统；
10、s7：数据流处理对象通过构建的依赖关系网，使得数据流的处理按照指定的顺序执行；
11、s8：将数据流任务对象转化为可执行的任务对象。
12、进一步的，步骤s1中，数据流处理的基础方法包括初始化方法、参数校验方法、字段类型校验方法；
13、基础属性提供对组件功能的解释与用户自定义的标注能力；
14、其中，结果执行语句是通过分析用户在组件的行为组织出与之匹配的标准语句定义，通过标准语句定义可实现所有用户利用组件定义的各类操作；
15、结果预览语句是通过分析用户定义行为生成的数据结果预览定义，旨在于用户设计数据处理模型时能够实时的查看自己的处理结果，达到所见即所得，边处理边分析的效果；
16、结果数据量统计语句是为数据处理结果提供预览时进行分页；
17、字段映射是保存各个组件间字段的血缘关系，方便整个数据处理模型管理数据字段的血缘信息。
18、进一步的，步骤s3包括以下子步骤：
19、s31：表输入类对象专门用于从关系型数据库表中读取数据；需要配置数据源id、数据库名、数据表名以及字段列表参数，其中字段列表包含列的名字、字段类型、字段长度、小数位数、是否为空、是否主键和字段描述；表输入类对象首先定义数据源配置参数，包括数据源id、数据库名和数据表名；用于指定需要读取数据的具体来源；
20、在配置好数据源参数后，表输入类对象实现数据获取方法；首先通过数据源id获取到具体的数据源信息，然后根据数据库名和数据表名，查询数据库中的数据，并将其转换为系统可处理的数据格式；
21、表输入类对象实现参数校验和对象初始化方法；在参数校验方法中，对数据源id、数据库名、数据表名和字段列表进行校验，确保这些参数都有值；对象初始化方法中，通过数据源id获取具体的数据源信息，并根据字段列表的定义进行类型转换和数据获取操作；
22、s32：api输入类对象通过填入http请求的信息来获取数据；api输入类对象需要配置访问地址、请求方式、json数据路径、请求头、请求参数和字段列表；api输入类对象定义访问地址、请求方式、json数据路径、请求头、请求参数和字段列表；用于指定从api接口获取数据所需的详细信息；
23、api输入类对象实现数据获取方法；根据配置的访问地址、请求方式、请求头和请求参数，向api接口发起请求，并根据json数据路径提取所需的数据；
24、api输入类对象同样实现参数校验方法；对访问地址、请求方式、json数据路径进行校验，确保有效性和完整性。
25、进一步的，步骤s4包括以下子步骤：
26、s41：数据清洗处理中，字段替换类用于根据不同的替换需求对数据流中的字段值进行处理；继承基础类，并新增一系列参数；包括字段名、是否保留原字段、结果字段设置、替换类型、替换内容参数、替换区间参数和替换空值字符串；在字段替换类中，替换类型被分为三类：替换内容、替换区间和替换空值；
27、对于替换内容类型，参数中包含原字符串和新字符串，用于将字段中的指定字符串替换为新的字符串；替换区间类型的参数中包含替换起始位置、结束位置和新字符串，用于将字段中指定位置范围内的内容替换为新的字符串；替换空值类型的参数中包含新字符串，用于将字段中的空值替换为指定的字符串；
28、s42：在数据转换处理中，连接对象类通过继承基础类，将多个数据流通过指定的连接条件合并为一个新的数据流；新增主表参数和连接表参数，其中连接表可为多个，并且每个连接表包含连接表别名、连接条件、连接方式和连接表字段前缀；连接对象类的核心在于其初始化方法；首先根据用户提供的主表参数和连接表参数进行解析，确保所有的参数都符合预期并具有有效的值；主表参数定义数据流的主体，而连接表参数则提供要连接的数据流及其详细信息；
29、对于每个连接表，系统首先会为其分配一个别名，以便在后续的处理过程中引用；连接条件用于定义主表和连接表之间的关联关系；连接方式定义连接的类型；连接表字段前缀用于在最终的数据流中区分来自不同连接表的字段，以避免字段名称冲突。
30、一种数据流分析处理系统，采用如上述的一种数据流分析处理方法进行数据流分析处理。
31、一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被运行时执行如上述的一种数据流分析处理方法。
32、与现有技术相比，本发明所具有的有益效果为：
33、通过这种数据流分析处理方法，能够按照正确的顺序高效地处理所有数据对象，充分利用对象继承和初始化机制，实现灵活和可扩展的数据流分析处理。关系列表在其中起到了核心作用，确保了数据流的有序和正确性，为大规模数据处理提供了可靠的基础。
1.一种数据流分析处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种数据流分析处理方法，其特征在于，步骤s1中，数据流处理的基础方法包括初始化方法、参数校验方法、字段类型校验方法；
3.根据权利要求2所述的一种数据流分析处理方法，其特征在于，步骤s3包括以下子步骤：
4.根据权利要求3所述的一种数据流分析处理方法，其特征在于，步骤s4包括以下子步骤：
5.一种数据流分析处理系统，其特征在于，采用如权利要求1-4任一项所述的一种数据流分析处理方法进行数据流分析处理。
6.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被运行时执行如权利要求1-4任一项所述的一种数据流分析处理方法。
