1.本发明属于设备故障预测与健康管理技术领域，具体涉及一种基于双层注意力网络多域特征融合的设备剩余寿命预测方法。
背景技术：2.随着科学技术的发展，现代设备变得更加精确、自动和系统化。在现代制造业的场景中，设备的工作环境往往是恶劣和多变的。长时间的运行会导致设备的可靠性下降，而设备的运行能力下降到某一阈值就可能导致设备突然停机，严重的可能会导致人员伤亡。因此，设备的剩余使用寿命预测在学术界和工业界一直受到依赖。近期，由于数据驱动的剩余寿命预测方法不依赖于任何故障机理，可以通过直接提取观测数据的特征来识别退化趋势，预测未来状态，引起了越来越多的关注。数据驱动的方法可以分为传统的数据驱动方法和深度学习方法。传统的数据驱动方法通常分为特征提取和模型构建两步，但是存在模型较为浅层、两阶段易丢失联系的问题。而深度学习方法具有强大的特征提取能力，能够从大量样本中自动提取特征，减少了对信号处理技术及专家经验的依赖。同时其模型较为深层，能够更好捕捉原始信号与剩余寿命之间的复杂映射。因此，深度学习能够应对设备在工业大数据场景中具有数据高维、非线性的特性，为设备剩余寿命的预测提供了一种新的解决思路。
3.但是现有的深度学习方法在预测剩余寿命中仍存在着不足之处：
4.(1)没有考虑基于信号处理技术和专家经验的传统方法的优势。在目前的深度学习研究中，研究人员主要关注如何提高深度学习方法的表示能力或预测性能。大多数研究开发了几种深度学习方法，如改进网络结构以提高估计性能，而没有考虑利用传统统计特征的优势。
5.(2)没有充分考虑信息的尺度在特征提取中的重要性。在目前的剩余寿命预测的特征提取步骤中，研究者常常以单一的视角处理数据，即每次计算的序列长度都是单一的。而使用过短或过长的时间尺度进行特征提取可能会遗漏重要的信息，无法全面地在机械振动信号数据中找到时间点之间的深度关联来进行设备剩余寿命的预测。
技术实现要素：6.本发明是为了解决上述现有技术存在的不足之处，提出一种基于双层注意力网络多域特征融合的设备剩余寿命预测方法，以期能融合统计特征和多尺度信息构建预测模型，从而能更有效和准确地实现设备剩余寿命的预测。
7.本发明为达到上述发明目的，采用如下技术方案：
8.本发明一种基于双层注意力网络多域特征融合的设备剩余寿命预测方法的特点在于：包括如下步骤：
9.步骤1，构建网络训练集：
10.通过安装在设备上的传感器在采样周期t下采集n个采样点的振动信号并构成一
组样本，从而由m组样本构建网络训练集，记为t＝{x1,x2,
…
,xm,
…
,xm}；xm表示第m组样本；
11.步骤2，统计特征提取：
12.提取第m组样本xm的时域特征，记为表示第m组样本xm中第n1个时域特征；n1表示提取的时域特征个数；
13.提取第m组样本xm的频域特征，记为表示第m组样本xm中第n2个频域特征；n2表示提取的频域特征个数；
14.提取第m组样本xm的时频域特征，记为表示第m组样本xm中第n3个时频域特征；n3表示提取的时频域特征个数；
15.步骤3，构建基于双层注意力多域特征融合的ham-rul网络，包括：多尺度特征提取模块、尺度注意力模块、长短期神经网络、领域注意力模块、全连接层；
16.步骤3.1，构建多尺度特征提取模块，包括k个一维卷积神经网络，并分别为mscaleblock1,...,mscaleblockk,...,mscaleblockk，其中，mscaleblockk表示样本xm第k个一维卷积神经网络模块，k＝1,2,...,k；第k个一维卷积神经网络模块mscaleblockk具有l层一维卷积层和l层下采样层其中，表示第k个一维卷积神经网络模块mscaleblockk中第l层一维卷积层，表示第k个一维卷积神经网络模块mscaleblockk中第l层下采样层，l＝1,2,...,l；
17.当l＝1时，将所述第m组样本xm输入第k个一维卷积神经网络模块mscaleblockk中，并依次经过第l层一维卷积层的卷积处理和第l层下采样层的最大池化处理后输出第一层多尺度特征
18.当l＞1时，将第l-1层多尺度特征经过第l层一维卷积层和第l层下采样层的处理后输出第l层多尺度特征从而由第l层下采样层输出最终多尺度特征
19.从而由k个一维卷积神经网络模块mscaleblock1,...,mscaleblockk,...,mscaleblockk输出多尺度特征并作为多尺度特征提取模块输出的最终多尺度特征，记为其中，表示第m组样本xm在经过第k个一维卷积神经网络模块后输出的最终多尺度特征，
20.步骤3.2，构建t个尺度注意力模块，记为sawareblock1,...,sawareblock
t
,...,sawareblock
t
，其中，sawareblock
t
表示第t个尺度注意力模块，t＝1,2,...,t；
21.步骤3.2.1，按照时间步对第k个最终多尺度特征进行划分，得到划分后的多尺度特征其中，表示第k个最终多尺度特征对应第t个时间步的片段，t＝1,2,...,t；
22.步骤3.2.2，将k个一维卷积神经网络模块mscaleblock1,...,mscaleblockk,...,mscaleblockk输出的多尺度特征在第t个时间步的片段进行组合后得到多尺度组合特征并输入第t个尺度注意力模块sawareblock
t
中，从而利用式(1)得到k个尺度特征的注意力分数
[0023][0024]
式(1)中，表示第k个最终多尺度特征对应第t个时间步时所得到的分数，和为第k个最终多尺度特征对应第t个时间步时尺度注意力模块的参数；s()是一个非线性激活函数；
[0025]
步骤3.2.3，对k个尺度特征的注意力分数进行归一化，得到最终的注意力内容得分表示第k个最终多尺度特征对应第t个时间步时所最终得到的分数；
[0026]
步骤3.2.4，所述第t个尺度注意力模块sawareblock
t
利用式(2)得到最终输出的带关注的多尺度特征
[0027][0028]
步骤3.3，构建t个长短期记忆网络，记为lstmcell1,...,lstmcell
t
,...,lstmcell
t
，其中，lstmcell
t
表示第t个长短期记忆网络单元，t＝1,2,...,t；
[0029]
将第t个带关注的多尺度特征输入第t个长短期记忆网络单元lstmcell
t
进行深度特征提取，输出第t个时序特征从而由t个长短期记忆网络单元输出t个时序特征并作为多尺度深度特征，记为其中，表示第m组样本xm中第n4个多尺度深度特征；n4表示提取的多尺度深度特征个数；n4＝t；n4＝t；
[0030]
步骤3.4，将时域特征、频域特征、时频域特征和多尺度深度特征分别作为领域特征并输入到领域注意力模块中进行处理：
[0031]
步骤3.4.1，根据式(3)得到第d种领域特征的注意力得分
[0032][0033]
式(3)中，为第d种领域特征，是第d种领域特征对应的领域注意力的参数；d＝1,2,3,4；
[0034]
步骤3.4.2，将所述关注度得分归一化后，得到第d种领域特征的最终关注
度得分
[0035]
步骤3.4.3，根据式(4)得到第d种领域特征的最终特征从而由4种领域特征的最终特征拼接后作为领域注意力模块输出的最终特征f
(m)
；
[0036][0037]
步骤3.5，所述全连接层利用式(5)对第m组样本xm的剩余寿命进行预测，得到第m组样本xm的剩余寿命
[0038][0039]
式(5)中，表示最终特征f
(m)
中第x个最终特征，表示全连接层中第x个最终特征对应的参数，表示第x个最终特征对应偏置，φ()表示激活函数；x为最终特征的个数；
[0040]
步骤3.6，对ham-rul网络进行训练，并计算如式(6)所示的损失函数l(x)，当训练迭代次数达到设定的次数时训练停止，从而得到最优重建模型，用于实现设备剩余寿命的预测：
[0041][0042]
式(6)中，rul
(m)
表示第m组样本xm对应的真实剩余寿命。
[0043]
与现有技术相比，本发明的有益效果在于：
[0044]
1.本发明在端到端网络中加入了统计特征，可以帮助减少传统剩余寿命预测方法中特征提取与预测环节不连通造成的负面影响，同时在利用深度学习的同时增加了信号学知识及专家经验作为对剩余寿命预测的补充，从而能利用更丰富的信息进行准确的设备剩余寿命预测。
[0045]
2.本发明通过利用统计特征作为双层注意力的补充，提出了基于注意力的端到端方法。首先，使用领域感知的注意力将时域、频域、时频域特征和深度特征融合在一起。此外，还在长短期记忆网络增加了一个尺度注意力层，以从加权的多尺度信息中提取深度特征，从而更好特征领域知识并能避免单一尺度导致的信息遗漏。
[0046]
3.本发明提出了一种多尺度深层特征提取方法，以收集不同尺度的退化信息，并综合利用它们，通过包含不同大小的核过滤器的多尺度一维卷积神经网络层，获得更全面的信号信息，用于后续深度特征提取。
附图说明
[0047]
图1为本发明流程示意图；
[0048]
图2为本发明尺度注意力示意图；
具体实施方式
[0049]
本实施例中，一种基于双层注意力网络多域特征融合的设备剩余寿命预测方法，具体流程如图1所示，包括：
[0050]
步骤1，构建网络训练集：
[0051]
通过安装在设备上的传感器在采样周期t下采集n个采样点的振动信号并构成一组样本，从而由m组样本构建网络训练集，记为t＝{x1,x2,...,xm,...,xm}；xm表示第m组样本；将训练集划分为m组样本，记为t＝{x1,x2,...,xm,...,xm}；xm表示第m组样本；
[0052]
本实施例中，以轴承为例，采用ieee phm2012挑战赛提供的轴承加速寿命实验数据对该方法进行验证；实验数据来自pronostia实验台，该实验专门设计用于轴承的故障检测、诊断和预测方法的研究；在这个数据集中使用了nsk 6804dd球轴承；该数据集提供了真实的实验数据，描述了球轴承在整个寿命中的退化过程，当振动信号的振幅超过20g时，轴承的寿命就结束了；采样频率为25.6khz，在每个10秒的监测周期中，总共记录了2560个样本，耗时0.1s；监测间隔为9.9秒(10-0.1秒)；试验期间使用的工作条件是1800rpm和4000n，只使用水平轴振动信号数据；对步骤1中的振动信号构建训练集；选取6个轴承的数据作为训练集，将其余的数据作为测试集；例如，如果选择从轴承1到轴承6的数据作为训练集，则使用来自轴承7的数据作为测试集；
[0053]
步骤2，统计特征提取：
[0054]
提取第m组样本xm的时域特征，记为表示第m组样本xm中第n1个时域特征；n1表示提取的时域特征个数；本实施例中提取的时域特征如表1所示；
[0055]
表1本实施例中提取的时域特征
[0056][0057]
提取第m组样本xm的频域特征，记为表示第m组样本xm中第n2个频域特征；n2表示提取的频域特征个数；本实施例中提取的频域特征如表2所示；
[0058]
表2本实施例中提取的频域特征
[0059][0060]
提取第m组样本xm的时频域特征，记为表示第m组样本xm中第n3个时频域特征；n3表示提取的时频域特征个数；本实施例中采用小波包变换以及经验模态分解进行时频域特征的提取；
[0061]
步骤3，构建基于双层注意力多域特征融合的网络(ham-rul)，包括：多尺度特征提取模块、尺度注意力模块、长短期神经网络、领域注意力模块、全连接层；
[0062]
步骤3.1，构建多尺度特征提取模块，包括k个一维卷积神经网络，并分别为mscaleblock1,...,mscaleblockk,...,mscaleblockk，其中，mscaleblockk表示样本xm第k个一维卷积神经网络模块，k＝1,2,...,k，本实施例中，k＝5；第k个一维卷积神经网络模块mscaleblockk具有l层一维卷积层和l层下采样层其中，表示第k个一维卷积神经网络模块mscaleblockk中第l层一维卷积层，表示第k个一维卷积神经网络模块mscaleblockk中第l层下采样层，l＝1,2,...,l，本实施例中，l＝2；对于第k个一维卷积神经网络模块卷积核大小为n＝1,2,...,k；本实施例中，卷积步长为1，填充补零；
[0063]
当l＝1时，将第m组样本xm输入第k个一维卷积神经网络模块mscaleblockk中，并依次经过第1层一维卷积层的卷积处理和第1层下采样层的最大池化处理后输出第一层多尺度特征
[0064]
当l＞1时，将l-1层多尺度特征经过第l层一维卷积层和第l层下采样层的处理后输出第l层多尺度特征从而由第l层下采样层输出最终多尺度特征
[0065]
从而由k个一维卷积神经网络模块mscaleblock1,...,mscaleblockk,...,mscaleblockk输出多尺度特征并作为多尺度特征提取模块的输出其中，表示样本xm在经过第k个一维卷积神经网络模块后输出的最终多尺度特征，
[0066]
步骤3.2，构建t个尺度注意力模块，记为sawareblock1,...,sawareblock
t
,...,
sawareblock
t
，其中，sawareblock
t
表示第t个尺度注意力模块，t＝1,2,...,t，具体结构如图2所示；本实施例中，t＝10；
[0067]
步骤3.2.1，按照时间步对第k个最终多尺度特征进行划分，表示为其中，表示第k个最终多尺度特征对应第t个时间步的片段，t＝1,2,...,t；
[0068]
步骤3.2.2，将k个一维卷积神经网络模块mscaleblock1,...,mscaleblockk,...,mscaleblockk输出的多尺度特征在第t个时间步的片段进行组合得到多尺度组合特征并输入第t个尺度注意力模块sawareblock
t
中，从而利用式(1)得到k个尺度特征的注意力分数
[0069][0070]
式(1)中，表示第k个最终多尺度特征对应第t个时间步时所得到的分数，和为第k个最终多尺度特征对应第t个时间步时尺度注意力模块的参数；s()是一个非线性激活函数；
[0071]
步骤3.2.3，对k个尺度特征的注意力分数进行归一化，得到最终的注意力内容得分表示第k个最终多尺度特征对应第t个时间步时所最终得到的分数；
[0072]
步骤3.2.4，第t个尺度注意力模块sawareblock
t
利用式(2)得到最终输出的带关注的多尺度特征
[0073][0074]
步骤3.3，构建长短期记忆网络，共计t个长短期记忆网络单元，记为lstmcell1,...,lstmcell
t
,...,lstmcell
t
，其中，lstmcell
t
表示第t个长短期记忆网络单元，t＝1,2,...,t；
[0075]
将第t个带关注的多尺度特征输入第t个长短期记忆网络单元lstmcell
t
进行深度特征提取，输出第t个时序特征从而由t个长短期记忆网络单元输出t个时序特征并作为多尺度深度特征，记为其中，表示第m组样本xm中第n4个多尺度深度特征；n4表示提取的多尺度深度特征个数；n4＝t；n4＝t；
[0076]
步骤3.4，采将时域特征、频域特征、时频域特征和多尺度深度特征分别作为领域特征并输入到领域注意力模块中进行处理：
[0077]
步骤3.4.1，根据式(3)得到第d种领域特征的注意力得分
[0078][0079]
式(3)中，是第d种领域特征对应的领域注意力的参数；为第d种领域特征，d＝1,2,3,4；
[0080]
步骤3.4.2，将关注度得分归一化后，得到上第d种领域特征的最终关注度得分
[0081]
步骤3.4.3，根据式(4)得到第d种领域特征的最终特征从而由4种领域特征的最终特拼接后作为领域注意力模块输出的最终特征f
(m)
；
[0082][0083]
步骤3.5，全连接层利用式(5)对第m组样本xm的剩余寿命进行预测，得到xm的剩余寿命
[0084][0085]
式(5)中，是全连接层中特征对应的参数，表示最终特征f
(m)
中第x个最终特征，表示特征对应偏置，φ()表示激活函数；x为最终特征的个数；
[0086]
步骤3.6，对ham-rul网络进行训练，并计算如式(6)所示的损失函数l(x)，当训练迭代次数达到设定的次数时训练停止，从而得到最优重建模型，用于实现设备剩余寿命的预测；本实施例中，采用relu优化器，每次训练迭代100次；
[0087][0088]
式(6)中，rul
(m)
表示第m组样本xm对应的真实剩余寿命。
技术特征：1.一种基于双层注意力网络多域特征融合的设备剩余寿命预测方法，其特征在于：包括如下步骤：步骤1，构建网络训练集：通过安装在设备上的传感器在采样周期t下采集n个采样点的振动信号并构成一组样本，从而由m组样本构建网络训练集，记为t＝{x1,x2,...,x
m
,...,x
m
}；x
m
表示第m组样本；步骤2，统计特征提取：提取第m组样本x
m
的时域特征，记为的时域特征，记为表示第m组样本x
m
中第n1个时域特征；n1表示提取的时域特征个数；提取第m组样本x
m
的频域特征，记为的频域特征，记为表示第m组样本x
m
中第n2个频域特征；n2表示提取的频域特征个数；提取第m组样本x
m
的时频域特征，记为的时频域特征，记为表示第m组样本x
m
中第n3个时频域特征；n3表示提取的时频域特征个数；步骤3，构建基于双层注意力多域特征融合的ham-rul网络，包括：多尺度特征提取模块、尺度注意力模块、长短期神经网络、领域注意力模块、全连接层；步骤3.1，构建多尺度特征提取模块，包括k个一维卷积神经网络，并分别为mscaleblock1,...,mscaleblock
k
,...,mscaleblock
k
，其中，mscaleblock
k
表示样本x
m
第k个一维卷积神经网络模块，k＝1,2,...,k；第k个一维卷积神经网络模块mscaleblock
k
具有l层一维卷积层和l层下采样层其中，表示第k个一维卷积神经网络模块mscaleblock
k
中第l层一维卷积层，表示第k个一维卷积神经网络模块mscaleblock
k
中第l层下采样层，l＝1,2,...,l；当l＝1时，将所述第m组样本x
m
输入第k个一维卷积神经网络模块mscaleblock
k
中，并依次经过第l层一维卷积层的卷积处理和第l层下采样层的最大池化处理后输出第一层多尺度特征当l＞1时，将第l-1层多尺度特征经过第l层一维卷积层和第l层下采样层的处理后输出第l层多尺度特征从而由第l层下采样层输出最终多尺度特征从而由k个一维卷积神经网络模块mscaleblock1,...,mscaleblock
k
,...,mscaleblock
k
输出多尺度特征并作为多尺度特征提取模块输出的最终多尺度特征，记为其中，表示第m组样本x
m
在经过第k个一维卷积神经网络模块后输出的最终多尺度特征，步骤3.2，构建t个尺度注意力模块，记为sawareblock1,...,sawareblock
t
,...,sawareblock
t
，其中，sawareblock
t
表示第t个尺度注意力模块，t＝1,2,...,t；
步骤3.2.1，按照时间步对第k个最终多尺度特征进行划分，得到划分后的多尺度特征其中，表示第k个最终多尺度特征对应第t个时间步的片段，t＝1,2,...,t；步骤3.2.2，将k个一维卷积神经网络模块mscaleblock1,...,mscaleblock
k
,...,mscaleblock
k
输出的多尺度特征在第t个时间步的片段进行组合后得到多尺度组合特征并输入第t个尺度注意力模块sawareblock
t
中，从而利用式(1)得到k个尺度特征的注意力分数从而利用式(1)得到k个尺度特征的注意力分数式(1)中，表示第k个最终多尺度特征对应第t个时间步时所得到的分数，和为第k个最终多尺度特征对应第t个时间步时尺度注意力模块的参数；s()是一个非线性激活函数；步骤3.2.3，对k个尺度特征的注意力分数进行归一化，得到最终的注意力内容得分注意力内容得分表示第k个最终多尺度特征对应第t个时间步时所最终得到的分数；步骤3.2.4，所述第t个尺度注意力模块sawareblock
t
利用式(2)得到最终输出的带关注的多尺度特征的多尺度特征步骤3.3，构建t个长短期记忆网络，记为lstmcell1,...,lstmcell
t
,...,lstmcell
t
，其中，lstmcell
t
表示第t个长短期记忆网络单元，t＝1,2,...,t；将第t个带关注的多尺度特征输入第t个长短期记忆网络单元lstmcell
t
进行深度特征提取，输出第t个时序特征从而由t个长短期记忆网络单元输出t个时序特征并作为多尺度深度特征，记为其中，表示第m组样本x
m
中第n4个多尺度深度特征；n4表示提取的多尺度深度特征个数；n4＝t；n4＝t；步骤3.4，将时域特征、频域特征、时频域特征和多尺度深度特征分别作为领域特征并输入到领域注意力模块中进行处理：步骤3.4.1，根据式(3)得到第d种领域特征的注意力得分步骤3.4.1，根据式(3)得到第d种领域特征的注意力得分式(3)中，为第d种领域特征，是第d种领域特征对应的领域注意力
的参数；d＝1,2,3,4；步骤3.4.2，将所述关注度得分归一化后，得到第d种领域特征的最终关注度得分步骤3.4.3，根据式(4)得到第d种领域特征的最终特征从而由4种领域特征的最终特征拼接后作为领域注意力模块输出的最终特征f
(m)
；步骤3.5，所述全连接层利用式(5)对第m组样本x
m
的剩余寿命进行预测，得到第m组样本x
m
的剩余寿命的剩余寿命式(5)中，表示最终特征f
(m)
中第x个最终特征，表示全连接层中第x个最终特征对应的参数，表示第x个最终特征对应偏置，φ()表示激活函数；x为最终特征的个数；步骤3.6，对ham-rul网络进行训练，并计算如式(6)所示的损失函数l(x)，当训练迭代次数达到设定的次数时训练停止，从而得到最优重建模型，用于实现设备剩余寿命的预测：式(6)中，rul
(m)
表示第m组样本x
m
对应的真实剩余寿命。
技术总结本发明公开了一种基于双层注意力网络多域特征融合的设备剩余寿命预测方法，包括：1、融合领域知识，提取信号信息的时域、频域和时频域统计特征；2、构建多尺度特征提取模块，采用不同大小卷积核的一维卷积神经网络从多个尺度的信号信息中提取特征；3、基于尺度注意力模块对得到的多尺度综合信息进行加权组合；4、将多尺度特征输入长短期记忆网络提取多尺度深度特征；5、采用领域注意力模块，为多尺度深度特征和三种统计特征赋予不同的权重，有针对性的利用不同的特征组合进行设备剩余寿命预测。本发明能快速、准确地预测设备的剩余寿命，从而提高工程机械高端装备可靠性和安全性、降低失效事件发生的风险。低失效事件发生的风险。低失效事件发生的风险。
技术研发人员：王刚 邵佳颖 苏泽容 张亚楠 伍章俊 杨敏 马敬玲 卢明凤 贡俊巧
受保护的技术使用者：合肥工业大学
技术研发日：2022.04.11
技术公布日：2022/7/5
