1.本发明涉及变压器故障诊断领域，尤其是利用变压器溶解气体含量来分析的领域，具体为一种基于长短期记忆网络的智能化变压器故障诊断方法。
背景技术：2.电力变压器在当今的电力系统中扮演着举足轻重的角色，直接影响着电力系统的安全稳定与经济运行。因此变压器的故障诊断越来越受到重视，其诊断方法也多种多样，利用变压器绝缘油中溶解气体含量分析变压器故障(dga)是最佳的方法之一。采用dga诊断方法不仅可以在变压器运行过程中及时诊断出存在的故障，而且能够在检修维护过程中进行隐患故障排查以提高检修效率。目前，改良三比值法与特征气体法等是dga变压器故障诊断方法的几种数据处理方式。
3.近些年来，随着智能算法的逐渐应用，传统的诊断算法被取代，智能算法在准确率与可靠性上体现出了其优越性。智能算法包括专家系统、支持向量机、模糊理论与神经网络等。基于神经网络的模型在特征样本、参数优化上存在诸多瓶颈，应用效果不佳。
技术实现要素：4.针对现有技术中存在各故障类别收集到的样本不均衡的问题以及长短期记忆网络的可调超参数寻优问题，本发明提供一种基于长短期记忆网络的智能化变压器故障诊断方法，使各故障样本数量达到均衡，使变压器故障准确率达到最高。
5.本发明是通过以下技术方案来实现：
6.一种基于长短期记忆网络的智能化变压器故障诊断方法，包括如下步骤：
7.采集变压器溶解气体特征样本，对采集的变压器溶解气体特征样本进行扩充；
8.判定变压器溶解气体特征样本数量的扩充是否完毕，当变压器溶解气体特征样本数量完毕时，将扩充后的变压器溶解气体特征样本作为训练样本，反之继续扩充特征样本；
9.建立长短期记忆网络模型，并训练长短期记忆网络模型，确定网络超参数、系数矩阵与偏置矩阵；
10.将训练样本输入至长短期记忆网络模型中，得到需要诊断的变压器故障类型。
11.优选的，变压器溶解气体特征样本包括氢气h2、甲烷ch4、乙烷c2h6、乙烯c2h4和乙炔c2h2。
12.优选的，采用少数类样本过采样的方法对采集到的特征样本进行扩充。
13.进一步的，少数类样本过采样的方法如下：
14.将两个现有样本生成新样本，xi为合成新样本的选依据的根样本，搜索得到xi的k个最近邻样本，并从中随机选取一个样本作为根样本的辅助样本，在两样本间通过线性插值得到新样本，公式为：
15.x
new,attr
＝x
i,attr
+(x
ij,attr-x
i,attr
)
×
γ；
16.其中，xi∈rd，x
i,attr
为样本中第attr个特征值，attr＝1，2，
…
，d；γ为0至1间的随
机数；x
ij
为xi的第j个最近邻样本；x
new,attr
为第attr个特征的新样本。
17.优选的，通过l1正则化定义判定样本数量扩充是否完毕，当l1正则化损失函数小于所设定的阈值时，则将扩充后的特征样本作为训练样本，反之继续扩充特征样本。
18.进一步的，l1正则化损失函数的计算公式如下：
[0019][0020]
其中，e
in
为无正则化的样本训练误差；wj为各特征权重参数；λ为正则化参数；l为l1正则化损失函数。
[0021]
优选的，长短期记忆网络模型的建立的方法如下：
[0022]
利用贝叶斯算法对lstm网络神经元个数、l2正则化因子以及初始学习率三个超参数寻优，以目标值最小状态下对应三个超参数值为最优，目标值取训练集分类错误率或测试集分类错误率。
[0023]
优选的，在长短期记忆网络模型结构中，信息的向后传递依赖于细胞状态c(t)，其值在每个隐藏单元中完成更新并传递给下一个隐藏单元；每个隐藏单元输入信息的处理与隐藏状态的更新由三个门控结构实现，所述是三个门控结构包括遗忘门、输入门和输出门。
[0024]
优选的，变压器故障类型包括高温过热、局部放电、中温过热、低温过热、低能放电和高能放电。
[0025]
与现有技术相比，本发明具有以下有益的技术效果：
[0026]
本发明提供了一种基于长短期记忆网络的智能化变压器故障诊断方法，采用少数类样本过采样的方法对收集到的变压器故障溶解气体特征样本进行扩充，并借助l1正则化理论确定样本扩充至何时结束。变压器溶解气体为特征样本输入至长短期记忆网络，变压器的故障类别作为长短期记忆网络的输出。基于贝叶斯优化算法以最小训练样本错误率为目标函数确定长短期记忆网络隐藏层神经元个数、初始学习率以及l2正则化因子三个超参数，在此基础上训练并建立长短期记忆网络变压器故障诊断模型。
附图说明
[0027]
图1为本发明中基于长短期记忆网络的智能化变压器故障诊断方法的流程图；
[0028]
图2为本发明中长短期记忆网络结构图；
[0029]
图3为本发明中少数类样本过采样方法示意图。
具体实施方式
[0030]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0031]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或
描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0032]
下面结合附图对本发明做进一步详细描述：
[0033]
变压器故障诊断以长短期记忆网络算法为基础，变压器溶解气体为特征样本输入至长短期记忆网络，变压器的故障类别作为长短期记忆网络的输出。本发明提供一种基于长短期记忆网络的智能化变压器故障诊断方法，针对各故障类别收集到的样本不均衡的问题，少数量样本扩充的方法可基于收集到的特征样本进行样本扩充，使各故障样本数量达到均衡。针对长短期记忆网络的可调超参数寻优问题，贝叶斯优化的方法可找到可调超参数寻优最佳值，使变压器故障准确率达到最高。
[0034]
具体的，参见图1所示，该变压器故障诊断方法，包括如下步骤：
[0035]
采集变压器溶解气体特征样本，对采集的变压器溶解气体特征样本进行扩充；
[0036]
判定变压器溶解气体特征样本数量的扩充是否完毕，当变压器溶解气体特征样本数量完毕时，将扩充后的变压器溶解气体特征样本作为训练样本，反之继续扩充特征样本；
[0037]
建立长短期记忆网络模型，并训练长短期记忆网络模型，确定网络系数矩阵与偏置矩阵；
[0038]
将训练样本输入至长短期记忆网络模型中，得到需要诊断的变压器故障类型。
[0039]
具体的，变压器溶解气体的特征样本包括五个特征：氢气(h2)、甲烷(ch4)、乙烷(c2h6)、乙烯(c2h4)与乙炔(c2h2)。当变压器发生故障时，往往伴随着热量的释放或电流的产生。电力变压器油中含有的多种分子量的碳氢化合物在热量或电流的作用下，化学键断裂、氢原子与自由基生成并重新化合成低分子烃类气体与氢气，其中低分子烃类气体主要包括甲烷(ch4)、乙烷(c2h6)、乙烯(c2h4)与乙炔(c2h2)。在变压器发生故障的初期，各类气体以溶解的方式存在于油中，其溶解含量能够准确、及时地反映变压器故障情况。
[0040]
具体的，根据图3所示，采用少数类样本过采样的方法对采集到的特征样本进行扩充，少数类样本过采样可改善长短期记忆网络模型的过拟合问题。
[0041]
其中，少数类样本过采样的方法如下：
[0042]
将两个现有样本生成新样本，xi为合成新样本的选依据的根样本，搜索得到xi的k个最近邻样本，并从中随机选取一个样本作为根样本的辅助样本，在两样本间通过线性插值得到新样本，公式为：
[0043]
x
new,attr
＝x
i,attr
+(x
ij,attr-x
i,attr
)
×
γ；
[0044]
其中，xi∈rd，x
i,attr
为样本中第attr个特征值，attr＝1，2，
…
，d；γ为0至1间的随机数；x
ij
为xi的第j个最近邻样本；x
new,attr
为第attr个特征的新样本。
[0045]
少数类样本过采样扩充的样本示例如表1所示：
[0046][0047][0048]
表1少数类样本过采样算法样本扩充
[0049]
具体的，通过l1正则化定义判定样本数量扩充是否完毕，当l1正则化损失函数小于0.05时，则将扩充后的特征样本作为训练样本，反之继续扩充特征样本。
[0050]
其中，l1正则化损失函数的计算公式如下：
[0051][0052]
其中，e
in
为无正则化的样本训练误差；wj为各特征权重参数；λ为正则化参数；l为l1正则化损失函数。
[0053]
具体的，长短期记忆网络模型的建立的方法如下：
[0054]
利用贝叶斯算法对lstm网络神经元个数、l2正则化因子以及初始学习率三个超参数寻优，以目标值最小状态下对应三个超参数值为最优，目标值取训练集分类错误率或测试集分类错误率，贝叶斯优化可改善长短期记忆网络训练精度不高的问题。
[0055]
贝叶斯优化算法实现在有界区域内最小化标量目标函数f(x)。最小化的关键要素是：f(x)的高斯过程模型；采集函数a(x)，最大化该函数以确定下一个评估点x。算法实现的步骤为：
[0056]
步骤1，在定义域范围内随机选取若干数量的观测点xi，计算函数值f(xi)；
[0057]
步骤2，更新f(x)的高斯过程模型，以获得函数q(f|xi，yi，i＝1，
…
，t)的后验分布。
[0058]
步骤3，找到使采集函数a(x)最大化的新点x，并作为新的观测点加入已有观测点中。
[0059]
步骤4，不断重复步骤1～步骤3，直至计算到达规定的迭代次数或最小目标函数值。
[0060]
所述的高斯过程假设贝叶斯优化的参数组合为x＝{x1,x2,..,xn},目标函数为神经网络网络训练集或测试集的分类误差，记为l(x)，将训练集或测试集的每个独立样本视为独立事件，因此分类错误的样本符合二项分布：
[0061]
l～gp(μ,k(x,x’))；
[0062]
式中：gp为高斯函数；μ为均值；k(x,x’)为均方差。
[0063]
当贝叶斯优化进行至n-1次迭代时，获得新观测值(x
n-1
,l(x
n-1
)),而观测数据集包含有m
n-1
＝{(x1，l(x1))，(x2，l(x2))，...，(x
n-1
，l(x
n-1
))}。根据现有观测点确定第n个观测点，假定n个观测点符合满足高斯分布：
[0064][0065]
式中：
[0066]
k＝[k(xn,x
’1),k(xn,x
’2),
…
,k(xn,x’n-1
)]。
[0067]
因此可求得ln的分布：
[0068]
p(ln|d,xn)＝gp(u(xn),δ2(xn))
[0069]
式中：u(xn)＝kk-1
l
1:n-1
，为预测平均值；δ2(xn)＝k(xn,x’n
)-kk-1kt
，为预测的协方差。
[0070]
由此可求得第n个观测点(x
n-1
,l(x
n-1
))。
[0071]
所述的采集函数被用来确定下一个观测点xn，本发明选取ei(expected improvement)函数。在每次迭代步骤中，ei的定义域不断更新，如在确定第n个观测值的过程中，ei的定义域为未搜索的区域以及已搜索区域的极值点。以最大化采集函数的自变量x为下一步的观测点：
[0072]
xn＝max
x∈χ
α
t
(x；d
1；t-1
)
[0073]
式中：函数α为观测空间r、决策空间以及参数空间ω映射到实数空间的函数。
[0074]
具体的，根据图2所示，在长短期记忆网络模型结构中，信息的向后传递依赖于细胞状态c(t)，其值在每个隐藏单元中完成更新并传递给下一个隐藏单元；每个隐藏单元输入信息的处理与隐藏状态的更新由三个门控结构实现，所述是三个门控结构包括遗忘门、输入门和输出门。
[0075]
所述的遗忘门能够对上一单元细胞状态c(t-1)进行选择性遗忘，其具体过程为：上一单元的隐藏状态h(t-1)、本层输入的序列数据x(t)与系数矩阵相乘后经激活函数映射后得到f(t)，f(t)与c(t-1)对应位置相乘以实现上一层细胞状态c(t-1)的遗忘或保留。如下式所示：
[0076]
f(t)＝σ(wfh(t-1)+ufx(t)+bf)
[0077]
式中：wf为上一单元的隐藏状态的系数矩阵、uf为本层输入序列数据的系数矩阵；bf为遗忘门的偏置；σ为sigmoid激活函数。
[0078]
所述的输入门具备双通道。第一通道中上一单元的隐藏状态h(t-1)与本层输入的序列数据x(t)、系数相乘后经激活函数映射后得到i(t)；第二通道中上一单元的隐藏状态h(t-1)、本层输入的序列数据x(t)与系数相乘后经激活函数映射后得到a(t)，x(t)与a(t)对
应位置相乘后得到的向量用来更新遗忘门的输出。其运算如下式所示：
[0079]
i(t)＝σ(wih(t-1)+uix(t)+bi)；
[0080]
a(t)＝tanh(wah(t-1)+uax(t)+ba)；
[0081]
式中：wi为上一单元的隐藏状态的系数矩阵、ui为本层输入序列数据的系数矩阵；bi为第一通道的偏置；σ为第一通道的sigmoid激活函数；wa为上一单元的隐藏状态的系数矩阵、ua为本层输入序列数据的系数矩阵；ba为第二通道的偏置；tanh为反正切激活函数。
[0082]
所述的细胞状态c(t)的更新过程为遗忘门结果与输入门结果的加法运算：
[0083]
c(t)＝c(t-1)
⊙
f(t)+i(t)
⊙
a(t)
[0084]
式中：
⊙
为hadamard积运算；f(t)为遗忘门输出结果；i(t)为输入门第一通道的输出结果；a(t)为输入门第二通道的输出结果；c(t-1)为上一单元的细胞状态。
[0085]
所述的输出门由两部分组成，第一部分中上一单元的隐藏状态h(t-1)、本层输入的序列数据x(t)与系数相乘后经激活函数映射后得到o(t)；第二部分为细胞状态c(t)经激活函数映射后得到结果。h(t)由o(t)与第二部分映射结果对应位置相乘得到：
[0086]
o(t)＝σ(woh(t-1)+uox(t)+bo)
[0087]
h(t)＝o(t)
⊙
tanh(c(t))
[0088]
式中：wo为上一单元的隐藏状态的系数矩阵、uo本层输入序列数据的系数矩阵，bo为输出门的偏置；h(t-1)为上一单元的隐藏状态；x(t)为本层输入的序列数据；tanh为反正切激活函数；c(t)为本层细胞状态；h(t)为本单元的隐藏状态；o(t)为输出门第一部分输出。
[0089]
所述的长短期记忆网络输出为：
[0090][0091]
式中：为t时刻的长短期记忆网络的输出，wy为输出更新的系数矩阵，by为输出更新的偏置矩阵。
[0092]
所述长短期记忆网络设定如下表：
[0093]
[0094][0095]
表2 ltsm网络设定
[0096]
所述的系数矩阵与偏置矩阵的更新方式为：在模型训练过程中，采用反向传播算法通过数据训练更新并最终确定长短期记忆网络中系数矩阵与偏置矩阵。反向传播算法引入交叉熵损失函数：
[0097][0098][0099]
式中：yi为第i个预测输出分量，li为i个预测输出分量的交叉熵损失，l为损失函数。
[0100]
引入定义：
[0101][0102][0103]
这里以wf为例给出结果，由推导可知其梯度为：
[0104][0105]
其中，δc(t)为损失函数对细胞状态的偏导数；
⊙
为hadamard积运算；c(t-1)为上一层的细胞状态；f(t)为遗忘门输出；h(t-1)
t
为上一单元隐藏状态的转置。
[0106]
具体的，变压器故障类型包括高温过热、局部放电(超低能量的局部放电)、中温过热、低温过热、低能放电(低能量的火花放电)、高能放电(高能量的电弧放电)。
[0107]
所述的变压器故障的特征样本示例如表3所示(以低能放电故障为例)：
[0108][0109]
表3低能放电故障下气体溶解含量数据集
[0110]
本发明提供了一种基于长短期记忆网络的智能化变压器故障诊断方法，采用少数类样本过采样的方法对收集到的变压器故障溶解气体特征样本进行扩充，并借助l1正则化理论确定样本扩充至何时结束。变压器溶解气体为特征样本输入至长短期记忆网络，变压器的故障类别作为长短期记忆网络的输出。基于贝叶斯优化算法以最小训练样本错误率为目标函数确定长短期记忆网络隐藏层神经元个数、初始学习率以及l2正则化因子三个超参数，在此基础上训练并建立长短期记忆网络变压器故障诊断模型。
[0111]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
技术特征：1.一种基于长短期记忆网络的智能化变压器故障诊断方法，其特征在于，包括如下步骤：采集变压器溶解气体特征样本，对采集的变压器溶解气体特征样本进行扩充；判定变压器溶解气体特征样本数量的扩充是否完毕，当变压器溶解气体特征样本数量完毕时，将扩充后的变压器溶解气体特征样本作为训练样本，反之继续扩充特征样本；建立长短期记忆网络模型，并训练长短期记忆网络模型，确定网络超参数、系数矩阵与偏置矩阵；将训练样本输入至长短期记忆网络模型中，得到需要诊断的变压器故障类型。2.根据权利要求1所述的一种基于长短期记忆网络的智能化变压器故障诊断方法，其特征在于，变压器溶解气体特征样本包括氢气h2、甲烷ch4、乙烷c2h6、乙烯c2h4和乙炔c2h2。3.根据权利要求1所述的一种基于长短期记忆网络的智能化变压器故障诊断方法，其特征在于，采用少数类样本过采样的方法对采集到的特征样本进行扩充。4.根据权利要求3所述的一种基于长短期记忆网络的智能化变压器故障诊断方法，其特征在于，少数类样本过采样的方法如下：将两个现有样本生成新样本，x
i
为合成新样本的选依据的根样本，搜索得到x
i
的k个最近邻样本，并从中随机选取一个样本作为根样本的辅助样本，在两样本间通过线性插值得到新样本，公式为：x
new,attr
＝x
i,attr
+(x
ij,attr-x
i,attr
)
×
γ；其中，x
i
∈r
d
，x
i,attr
为样本中第attr个特征值，attr＝1，2，
…
，d；γ为0至1间的随机数；x
ij
为x
i
的第j个最近邻样本；x
new,attr
为第attr个特征的新样本。5.根据权利要求1所述的一种基于长短期记忆网络的智能化变压器故障诊断方法，其特征在于，通过l1正则化定义判定样本数量扩充是否完毕，当l1正则化损失函数小于所设定的阈值时，则将扩充后的特征样本作为训练样本，反之继续扩充特征样本。6.根据权利要求5所述的一种基于长短期记忆网络的智能化变压器故障诊断方法，其特征在于，l1正则化损失函数的计算公式如下：其中，e
in
为无正则化的样本训练误差；w
j
为各特征权重参数；λ为正则化参数；l为l1正则化损失函数。7.根据权利要求1所述的一种基于长短期记忆网络的智能化变压器故障诊断方法，其特征在于，长短期记忆网络模型的建立的方法如下：利用贝叶斯算法对lstm网络神经元个数、l2正则化因子以及初始学习率三个超参数寻优，以目标值最小状态下对应三个超参数值为最优，目标值取训练集分类错误率或测试集分类错误率。8.根据权利要求1所述的一种基于长短期记忆网络的智能化变压器故障诊断方法，其特征在于，在长短期记忆网络模型结构中，信息的向后传递依赖于细胞状态c(t)，其值在每个隐藏单元中完成更新并传递给下一个隐藏单元；每个隐藏单元输入信息的处理与隐藏状态的更新由三个门控结构实现，所述是三个门控结构包括遗忘门、输入门和输出门。
9.根据权利要求1所述的一种基于长短期记忆网络的智能化变压器故障诊断方法，其特征在于，所述变压器故障类型包括高温过热、局部放电、中温过热、低温过热、低能放电和高能放电。
技术总结本发明涉及变压器故障诊断领域，提供了一种基于长短期记忆网络的智能化变压器故障诊断方法，采用少数类样本过采样的方法对收集到的变压器故障溶解气体特征样本进行扩充，并借助L1正则化理论确定样本扩充至何时结束。变压器溶解气体为特征样本输入至长短期记忆网络，变压器的故障类别作为长短期记忆网络的输出。基于贝叶斯优化算法以最小训练样本错误率为目标函数确定长短期记忆网络隐藏层神经元个数、初始学习率以及L2正则化因子三个超参数，在此基础上训练并建立长短期记忆网络变压器故障诊断模型。故障诊断模型。故障诊断模型。
技术研发人员：栾丛超 吴涛 杜保华 吴智群 黄廷辉
受保护的技术使用者：西安热工研究院有限公司
技术研发日：2022.03.30
技术公布日：2022/7/5
