本技术涉及金融科技,尤其涉及一种数据处理的方法和装置、电子设备及存储介质。
背景技术:
1、随着互联网金融的发展,网络金融的风险在与日俱增的同时交易数据量也与日俱增。因此,常采用流式处理引擎(如f l i nk)对海量的交易数据进行实时的处理实时的分析,从而可以很好的起到规避金融风险的效果。然而,基于流式处理引擎的框架中,通常是基于水位线策略来确定每一次集中处理的交易事件的数量,也即水位线策略的设置的好坏能决定交易时间处理的正确性和效率。但是相关技术中,水位线的设定策略并不能在兼顾处理效率和准确性的同时适配复杂金融数据场景的交易事件的分析处理。
技术实现思路
1、本技术实施例的主要目的在于提出一种数据处理的方法和装置、电子设备及存储介质,旨在兼顾处理效率和准确性的同时适配复杂金融数据场景的交易事件的分析处理。
2、为实现上述目的,本技术实施例的第一方面提出了一种数据处理的方法,所述方法包括:
3、基于预设的流处理窗口接收交易事件,得到目标交易事件流;
4、对所述目标交易事件流进行事件延迟分布统计,得到延迟数据;
5、对所述目标交易事件流进行事件乱序统计,得到乱序数据;
6、根据所述延迟数据和所述乱序数据,调整所述流处理窗口的初始水位线,得到目标水位线;
7、在所述流处理窗口延迟关闭的时长未达到所述目标水位线的情况下,更新所述目标交易事件流,得到当前交易事件流;
8、在所述流处理窗口延迟关闭的时长达到所述目标水位线的情况下,关闭所述流处理窗口,并对所述当前交易事件流进行交易分析处理。
9、在一些实施例,所述延迟数据包括最大延迟时间以及延迟平均时间;所述对所述目标交易事件流进行事件延迟分布统计,得到延迟数据,包括:
10、获取所述目标交易事件流中各交易事件的事件时间和处理时间;
11、基于各所述交易事件的到达顺序依次对所述目标交易事件流中的各交易事件进行遍历;
12、对于每一遍历到的所述交易事件,根据所述事件时间、对应的处理时间,计算延迟时间;
13、根据所述目标交易事件流中的各延迟时间,计算得到所述最大延迟时间以及所述延迟平均时间。
14、在一些实施例,所述乱序数据包括乱序分布值;所述对所述目标交易事件流进行事件乱序统计,得到乱序数据,包括:
15、获取所述目标交易事件流中各交易事件的事件时间;
16、根据各所述事件时间,从所述目标交易事件流中确定出乱序交易事件,并将所述乱序交易事件前的接收的交易事件作为所述乱序交易事件对应的参考交易事件;
17、根据所述乱序交易事件的事件时间和各所述参考交易事件的事件时间,计算得到乱序分布值。
18、在一些实施例,所述根据所述乱序交易事件的事件时间和各所述参考交易事件的事件时间,计算得到乱序分布值,包括:
19、对每一所述乱序交易事件进行遍历,并对遍历到的所述乱序交易事件均进行乱序度计算,得到遍历到的所述乱序交易事件的乱序值;
20、将各所述乱序交易事件的乱序值求和后进行平均值求取,得到乱序分布值;
21、其中,遍历到的所述乱序交易事件的乱序度计算包括如下步骤:
22、将遍历到的所述乱序交易事件的事件时间与对应的每一所述参考交易事件的事件时间求差,得到与所述参考交易事件一一对应的第一数值;
23、将所述第一数值作为预设的阶跃函数的自变量,得到第二数值并将所述第一数值和对应的所述第二数值进行乘积计算,得到各所述参考交易事件的乱序值;
24、将遍历到的所述乱序交易事件对应的各所述参考交易事件的乱序值求和,得到遍历到的所述乱序交易事件的乱序值。
25、在一些实施例,所述根据所述延迟数据和所述乱序数据,调整所述流处理窗口的初始水位线,得到目标水位线,包括:
26、基于所述目标交易事件流各交易事件的事件时间,确定最大事件时间;
27、根据所述最大事件时间、所述延迟数据和所述乱序数据,调整所述流处理窗口的初始水位线,得到目标水位线。
28、在一些实施例,所述乱序数据包括最大延迟时间以及延迟平均时间;所述乱序数据包括乱序分布值;所述根据所述最大事件时间、所述延迟数据和所述乱序数据,调整所述流处理窗口的初始水位线,得到目标水位线,包括:
29、获取预定义的第一系数、第二系数以及第三系数;
30、计算所述第一系数与所述最大事件时间、所述乱序分布值的乘积,得到第一延迟数值;
31、计算所述第二系数与所述延迟平均时间的乘积,得到第二延迟数值;
32、将所述流处理窗口的初始水位线更新为所述最大事件时间与所述第一延迟数值、第二延迟数值以及所述第三系数的差值,得到目标水位线。
33、在一些实施例,在对所述目标交易事件流进行事件延迟分布统计,得到延迟数据之前,所述方法还包括:
34、将所述目标交易事件流中的第一个交易事件的事件编号设置为预设的初始事件编号值;
35、从所述目标交易事件流中第一个交易事件开始,对依次达到的各交易事件依次进行事件编号赋值,其中,除所述第一个交易事件外的各所述交易事件与前一个交易事件的事件编号相差一,以根据各所述交易事件的事件编号确定事件到达顺序。
36、为实现上述目的,本技术实施例的第二方面提出了一种数据处理的装置,所述装置包括:
37、接收处理模块,用于基于预设的流处理窗口接收交易事件,得到目标交易事件流;
38、延迟统计模块,用于对所述目标交易事件流进行事件延迟分布统计,得到延迟数据;
39、乱序统计模块,用于对所述目标交易事件流进行事件乱序统计,得到乱序数据;
40、调整模块,用于根据所述延迟数据和所述乱序数据,调整所述流处理窗口的初始水位线,得到目标水位线;
41、窗口管理模块,用于在所述流处理窗口延迟关闭的时长未达到目标水位线的情况下,更新所述目标交易事件流得到当前交易事件流;
42、交易处理模块,用于在所述流处理窗口延迟关闭的时长达到目标水位线的情况下,关闭所述流处理窗口,并对当前交易事件流进行交易分析处理。
43、为实现上述目的,本技术实施例的第三方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
44、为实现上述目的,本技术实施例的第四方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法。
45、本技术提出的数据处理的方法和装置、电子设备及存储介质,其基于每一次流处理窗口内的目标交易事件流进行延迟数据和乱序数据统计来动态调整水位线,可以灵活调整对交易事件乱序的容忍度,进而使得通过水位线确定的交易事件处理时能确保交易事件处理的效率和准确性。同时,由于水位线的条件引入了延迟数据以及乱序数据,从两个维度共同进行水位线的调整,从而可以确保水位线调整的有效性,进而进一步确保每一次流处理窗口中接收的交易事件的有序性且降低水位线的数量,从而可以适配更为复杂的金融数据场景。因此,和相关技术相比,本技术实施例能在兼顾处理效率和准确性的同时适配复杂金融数据场景的交易事件的分析处理。
1.一种数据处理的方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述延迟数据包括最大延迟时间以及延迟平均时间;所述对所述目标交易事件流进行事件延迟分布统计,得到延迟数据,包括:
3.根据权利要求1所述的方法,其特征在于,所述乱序数据包括乱序分布值;所述对所述目标交易事件流进行事件乱序统计,得到乱序数据,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述乱序交易事件的事件时间和各所述参考交易事件的事件时间,计算得到乱序分布值,包括:
5.根据权利要求1所述的方法,其特征在于,所述根据所述延迟数据和所述乱序数据,调整所述流处理窗口的初始水位线,得到目标水位线,包括:
6.根据权利要求5所述的方法,其特征在于,所述乱序数据包括最大延迟时间以及延迟平均时间;所述乱序数据包括乱序分布值;所述根据所述最大事件时间、所述延迟数据和所述乱序数据,调整所述流处理窗口的初始水位线,得到目标水位线,包括:
7.根据权利要求2所述的方法,其特征在于,在对所述目标交易事件流进行事件延迟分布统计,得到延迟数据之前,所述方法还包括:
8.一种数据处理的装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的数据处理的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的数据处理的方法。
