本发明提供一种基于掩码注意力网络和生成模型的时间序列异常检测方法，属于基于掩码注意力网络和生成模型的时间序列异常检测。
背景技术：
1、随着物联网和大数据技术的快速发展，越来越多的网络传感器被部署在许多自动化信息系统中，用于监测和控制各种操作过程，这些过程通常部署在关键基础设施中，如服务器、水处理系统和航天器。随着时间的推移，各种设备上的传感器会产生大量在时间和空间上相互作用的多变量时间序列数据，挖掘这些数据中的有用信息可以提高生产的管控能力，已成为业界和学术界共同关注的重要问题。异常检测是时间序列分析中的一个重要研究课题，有助于监控系统行为，使工作人员能够提前对异常事件采取有针对性的行动，检查和解决潜在问题，从而避免潜在风险和经济损失。目前，异常检测已广泛应用于医疗保健、航空航天和工业生产等领域。
2、近年来，时间序列数据异常检测方法得到广泛研究，现有的异常检测算法大致可分为以下几类：基于统计的方法、基于聚类的方法、基于距离的方法、基于密度的方法以及基于深度学习的方法等。深度神经网络因其有效的自动特征提取能力而被广泛应用于多元时间序列异常检测。由于异常数据的标签较为稀有，并且其获取成本通常很高，因此在这种情况下，无监督学习通常被认为是合适的解决方案。
3、近年来，循环神经网络(recurrent neural network，rnn)、卷积神经网络(convolutional neural network，cnn)、图神经网络(graph neural network，gnn)、transformer和自编码器(autoencoder，ae)被广泛应用于无监督异常检测模型。rnn是一类非常适合于序列数据分析的神经网络，它通过循环结构捕获数据中的时间依赖性。然而，标准rnn对长序列的记忆能力较弱，可能出现梯度消失或梯度爆炸问题。为了解决这些问题，各种rnn变体已经被开发出来，包括长短期记忆网络(long short-term memory，lstm)和门控循环单元(gated recurrent unit，gru)，它们提供了增强的内存和梯度流，能够更有效地建模复杂的序列数据。su等人采用gru和变分自编码器(variational autoencoder，vae)构造了一个随机rnn，捕获了时间依赖性并生成了新的随机表示。在此基础上，利用平面标准化流将时间相关关系转换为新的表达式，然后根据重构概率判断异常。zhang等人根据每个时间序列的相关性构造了签名矩阵，采用卷积和卷积lstm结合注意机制对签名矩阵进行编码，获取时间信息。然后将新的表示解码为签名矩阵，并与之前的签名矩阵进行比较来判断异常。tuli等人提出基于transformer的编解码器网络，通过调整注意力分数和对抗性训练过程自适应提取特征，计算重构误差进行异常检测。在过去几年中，研究人员提出从多元时间序列中提取空间信息并形成图结构，然后根据其图结构检测时间序列的异常，并且已经使用gnn来建模这些图。deng等人引入图结构来表达多变量时间序列之间的关系，基于gnn捕获传感器之间的相关性和特征，预测时间序列从而进行异常检测。标准化流(normalizing flow)是一类用于学习数据样本底层分布的深度生成模型，其核心思想是通过一系列可逆的变换将复杂数据分布转换为标准的简单分布(如高斯分布)。这一过程中，每一步变换都是可逆的，且具有明确的雅可比行列式，这使得模型可以精确地计算数据的概率密度函数，从而有效识别数据分布显著不同的异常点。dai等人使用贝叶斯网络沿序列维度分解时间序列，并使用条件标准化流沿时间维度分解，使用基于图的依赖编码器对分解产生的条件密度进行异常检测。
4、但是，由于现实系统多样的交互，基于信号的异常检测存在以下缺陷：
5、(1)多元变量复杂交互：不同传感器产生的数据之间往往以复杂的非线性方式进行交互，这使得空间特征的相关性难以被发现和利用；
6、(2)时序依赖关系复杂：不同历史时刻对当前数据的影响各不相同，从历史数据中发现可靠的时序依赖关系以识别异常变得尤为困难；
7、(3)数据缺失和噪声干扰：受到来自设备的误差、操作不当或外部环境变化的影响，以及数据采集与传输过程中的不确定性，收集到的数据可能包含缺失值且受到噪声干扰，影响异常检测的准确性和可靠性。
技术实现思路
1、本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于掩码注意力网络和生成模型的时间序列异常检测方法。
2、为了解决上述技术问题，本发明采用的技术方案为：基于掩码注意力网络和生成模型的时间序列异常检测方法，包括如下的检测步骤：
3、步骤一：分别对时间序列中的节点和时间维度进行掩码，并利用图注意力网络捕获时间序列的空间和时序关系；
4、步骤二：结合标准化流的概率估计能力和变分自编码器vae的深层潜在特征提取能力捕获序列中的复杂分布，使用标准化流和变分自编码器计算概率密度；
5、步骤三：基于计算得到的概率密度得出异常分数，对时间序列进行异常值的检测与判断。
6、所述步骤一中利用图注意力网络捕获时间序列的空间和时序关系的具体方法为：
7、步骤1.1：建立空间掩码图注意力模块：
8、对时间序列进行掩码：将每个传感器(即每一维时间序列)视为一个节点，构成节点集u；在滑动窗口中，节点集u中的每个节点xi是一个序列向量xi＝{xi，t|t∈[0，w]}，共n个节点，即n维时间序列，其中，xi，t为在时刻t时传感器i的数值，w为滑动窗口大小；
9、随机采样选择节点的子集使用掩码令牌mask对子集中的每个节点进行掩码；
10、按照比例将掩码子集其划分为和对中的节点赋值为一个可学习的掩码向量对中的节点随机赋值为其他节点的数据，掩码后的节点表示为：
11、
12、其中，表示掩码标记是一个d维的实数向量，ui和uj为节点集u中的节点，xi和xj分别为时间序列节点ui和uj的数值；
13、然后，以传感器每一维数据作为节点构建有向图图中每个节点代表一维时间序列，每条边表示两个对应时间序列之间的关系；
14、对每个传感器赋予一个可学习的嵌入向量，用于构建图结构和参与注意力机制的运算，表达式为：
15、vi∈rn,i∈{1,2,...，n}；
16、其中，vi表示第i个传感器的嵌入向量，rn表示n维的实数向量，n为时间序列的维数，即传感器个数；
17、用邻接矩阵a表示有向图，aij表示一条i指向j的边，首先计算两节点间嵌入向量的归一化点积，然后对于每一个节点，计算节点间的余弦相似度，并选取与每个节点最相似的p个节点作为其邻居，构建邻接矩阵a∈rn×n，表达式为：
18、
19、其中，vi和vj表示第i个传感器和第j个传感器的嵌入向量，sim(·)为余弦相似度函数，topm(·)为选取前m个最大值；
20、引入图注意力网络融合节点信息和邻居信息，处理图中节点的依赖关系，将节点i的聚合表示zi的表达式为：
21、
22、其中，n(i)＝{j|aij＞0}是通过邻接矩阵a得到的节点i的邻居集合，αi，j为注意力系数，w为可学习的参数；
23、计算注意力系数αi，j的计算公式为：
24、
25、其中，at是注意力机制可学习的系数向量a的转置，表示拼接，gi表示传感器i融合了掩码后数据和嵌入向量vi的表征，gj表示传感器j融合了掩码后数据和嵌入向量的表征，π(i，j)表示节点i和节点j之间的注意力分数，∑k∈n(i)∪{i}exp(π(i，k))表示节点i及其所有邻居节点的注意力得分的指数函数之和，n(i)表示节点i的邻居集合，{i}表示自身节点，w为可学习的参数；
26、对图注意力网络的输出进行再次掩码操作，将被掩码节点的特征置零：
27、
28、其中，zi为经过图注意力网络后节点i的聚合表示，为掩码操作后的节点表征，表示被掩码的节点集合，ui表示节点i，用于标识当前节点是否在掩码集合中；
29、最后得到空间掩码图注意力模块输出的矩阵形式表示为：z∈rn×n；
30、其中，r表示实数集，n表示节点的数量，n表示特征维度；
31、步骤1.2：建立时间掩码图注意力模块：
32、在滑动窗口内将同一时刻t的n个传感器的数据视为一个时间节点xt＝{xi，t|i∈[0，n)}，构建完全图；
33、使用与空间掩码图注意力模块中类似的掩码策略对时间节点数据进行掩码操作，得到掩码后的时间序列然后使用图注意力网络捕捉时间维度上的关系依赖，节点xt的更新特征表示为ct，表达式为：
34、
35、其中，σ表示sigmoid激活函数，和分别为掩码后节点t和节点s的数值，表示拼接，αt,s表示节点t和节点s之间的注意力权重，et，s表示时间节点t和s之间的相关性分数，et，l表示时间节点t和l之间的相关性分数，w为可学习的参数；
36、采用与空间掩码图注意力模块中的再掩码策略，得到时间掩码图注意力模块输出的矩阵形式表示为：
37、c∈rn×n；
38、其中，r表示实数集，n表示节点的数量，n表示特征维度；
39、步骤1.3：通过建立的空间掩码图注意力模块捕获变量间的空间依赖关系，通过建立的时间掩码图注意力模块捕获时间序列的时序依赖模式；
40、将空间掩码图注意力模块捕获到的空间特征，与时间掩码图注意力模块捕获到的时序特征进行拼接，融合空间和时序两种模态的特征表示为：
41、h∈rn×2n；
42、
43、所述步骤二中使用标准化流和变分自编码器计算概率密度的具体方法为：
44、步骤2.1：重构概率密度估计模块：
45、将变分自编码器vae建模为一个编码器-解码器架构，其中建立的编码器网络qφ(z|x)将输入数据x编码为服从某概率分布的潜变量z，其中φ为编码器的参数；建立的解码器网络pθ(x|z)则根据从qφ(z|x)采样得到的潜变量z，重构出与输入数据x相近的输出数据其中θ为解码器的参数；
46、变分自编码器vae通过变分推断引入证据下界elbo：
47、
48、其中：第一项为重构项，表示解码器生成输入数据的对数似然的期望，反映了解码器重构输入数据的能力；第二项dkl为kl散度，作为正则项限制qφ(z|x)偏离先验p(z)；
49、通过最大化elbo，变分自编码器vae可间接地最大化数据的对数似然ln pθ(x)，达到概率密度估计效果，pθ(x)是基于参数的生成模型对数据概率密度估计；
50、在训练阶段，给定输入x，变分自编码器的编码器qφ(z|x)先将x映射为均值μ和方差σ2，表征其参数；
51、采用重参数技巧从qφ(z|x)中采样潜变量z，其中表示来自标准正态分布的噪声；
52、解码器pθ(x|z)根据潜变量z重构出输出x，并通过上述elbo目标函数对vae的参数φ和θ进行优化训练；
53、得到重构损失lossreconsitution，表达式为：
54、
55、通过预先在正常数据上训练变分自编码器vae，基于重构的概率密度估计模块为后续异常检测提供关键的重构概率密度用于判别异常样本；
56、步骤2.2：采用标准化流概率生成模型通过可逆可微变换f(·)：rd→rd，将复杂数据分布p(x)标准化处理为简单的基准分布q(f(x))，实现对p(x)的建模和概率密度的估计计算：
57、具体通过可逆可微变换，将x的对数密度表示为：
58、
59、其中，为变换f的雅可比矩阵，为雅可比矩阵的行列式；
60、将标准化流概率生成模型进一步将变量变换扩展为条件变换f(x；ht)，
61、以时间步t处的融合时空特征表示ht为条件的xt的对数密度logp(xt|ht)，表达式为：
62、
63、其中，p(xt|ht)为基于条件ht的目标数据分布的概率密度函数，为条件变换的雅可比矩阵，为雅可比矩阵的行列式；
64、通过条件变换f(·)，将复杂的条件目标数据分布p(xt|ht)映射到简单的条件基准分布，实现对目标数据的建模和概率密度估计；
65、使用掩码自回归流maf学习潜在复杂的标准化流变换，目标是在给定ht的条件下，最大化输入数据xt在当前maf模型下的对数概率密度，表达式为：
66、
67、其中，φ和θ分别为标准化流和条件分布qθ(·)的参数，将时间序列xt在给定条件ht下通过流变换映射到潜变量空间，qθ(·)为映射后潜变量在基准分布下的概率密度，为雅可比矩阵，用于计算变换流的对数行列式值；
68、其损失函数的计算公式为：
69、lossflow＝-o log p；
70、两个模块分别基于重构和变换这两种不同的密度估计范式，共同输出概率密度，得到模型总损失，计算公式为：
71、loss＝lossreconsitution+lossflow。
72、所述步骤三中对时间序列进行异常值的检测与判断的具体方法为：
73、基于混合生成模型得到的概率密度估计，对时间序列数据进行异常检测，t时刻的异常分数scoret由vae和normalizing flow分别对xt的概率密度得出：
74、scoret＝1-pvae(xt)+1-pflow(xt)；
75、其中，pvae(xt)为变分自编码器计算得到的概率密度，pflow(xt)为标准化流计算得到的概率密度；
76、获得t时刻的异常分数后，如果该分数大于阈值k，将t时刻标记为异常，表达式为：
77、
78、使用峰值超过阈值方法自动选择阈值k。
79、本发明相对于现有技术具备的有益效果为：本发明提供的时间序列异常检测方法通过考虑多传感器信号，将掩码机制、图注意力网络和混合生成模型结合，同时捕获多元时间序列空间依赖关系和时序依赖关系，高效建模复杂工业时间序列数据的分布从而进行异常检测；本发明设计的掩码策略促使模型能够从输入数据中捕捉到足够的信息，发掘数据内部的更深层次结构和关系，增强了模型处理不完整数据的能力，从而提升模型在面对真实数据中存在缺失或噪声影响时的鲁棒性和灵活性；作为一种无监督学习方法，为异常数据标签稀有或标签获取成本高的实际异常检测情况提供了合适的解决方案，具有先进性、稳定性和实用性，异常检测性能高，在公开数据集上得到了显著的性能提升。
1.基于掩码注意力网络和生成模型的时间序列异常检测方法，其特征在于：包括如下的检测步骤：
2.根据权利要求1所述的基于掩码注意力网络和生成模型的时间序列异常检测方法，其特征在于：所述步骤一中利用图注意力网络捕获时间序列的空间和时序关系的具体方法为：
3.根据权利要求2所述的基于掩码注意力网络和生成模型的时间序列异常检测方法，其特征在于：所述步骤二中使用标准化流和变分自编码器计算概率密度的具体方法为：
4.根据权利要求3所述的基于掩码注意力网络和生成模型的时间序列异常检测方法，其特征在于：所述步骤三中对时间序列进行异常值的检测与判断的具体方法为：
