标题: A novel lightweight relation network for cross-domain few-shot fault diagnosis

期刊: Measurement. Volume 213, 31 May 2023, 112697

作者: Tang Tang, Chuanhang Qiu, Tianyuan Yang, Jingwei Wang, Jun Zhao, Ming Chen, Jie Wu, Liang Wang.

分享人: 河海大学——张雨濛

（1）数据预处理

将实验数据集中的所有振动信号随机截取成长度为 1024 的切片。考虑到时频域表示可以同时关注时域和频域特征，对这些切片应用连续小波变换（CWT）以获得二维频谱图.首先，进行尺度为256的CWT，得到1024×256的二维矩阵;然后通过双线性插值调整二维矩阵的大小，得到大小为64×64的矩阵。最后，这些大小为64×64的矩阵将被视为 1 通道图像作为NLRN的输入。

（2）情境学习策略

放宽了元学习训练任务类别不相交的要求，但严格遵守元学习要求，训练数据集和测试数据集的类别不重叠，并提出了一种用于故障诊断的情节学习策略。除了按照元学习范式的要求将数据集划分为元训练集和元测试集外，还为校准方法引入了一个未标记集，诊断过程分为元训练和元测试。未标记集和元测试集被认为是同一域并在元测试中使用，具有相同的工作条件，并且元训练中使用的元训练集具有自己的工作条件，即与元测试集不同的域。根据情节学习策略，从未标记集中随机选择的未标记数据被视为元测试中使用的支持集的一部分。如图1所示。

图1  情境学习策略

元训练可以看作是一系列任务{Ti}的学习过程，每一集对应一个任务。在一个集中，对于元训练集中随机的N个类，选取K个实例作为支持集，组成N-way K-shot设置。在元训练中选取相同N个类的其他J个实例作为查询集。NLRN有一个与关联网络类似的模块，包括编码器模块fφ和关系模块g∅。编码后，支持集和查询集的样本成为特征图(feature_S、feature_Q和feature_U分别表示支持集、查询集和未标记数据的特征图)，然后将feature_S和feature_Q进行深度拼接，称为特征图拼接。将组合的特征映射输入到关系模块中，生成一个范围在0到1之间的关系分数，该分数表示支持集和查询集之间的相似性。训练目标是学习参数φ，∅可表示为:

式中ri,j=g∅(C(fφ(xi)，fφ(xj)))，表示关系评分，C表示串联操作，方法中的损失函数为均方误差(MSE)。

在元测试中，元测试集将分为两部分:支持集Dspt test{xi, yi}N•K i=1，同样遵循N-way K-shot设置，另一部分即查询集Dspt test{xj, yj}。则对一个查询样本xj的预测量的表达式为:

在考虑未标记数据时，将对关系评分函数进行校准。

（3）情境学习策略

NLRN的框架如图4所示。文中提出的方法包含两个主要模块:编码器模块fφ，关系模块g∅。编码器模块将输入映射到特征空间，然后关系模块对支持集和查询集之间的特征表示的相关性进行评分。此外，提出了一种基于半监督学习的校准方法，该方法可以利用未标记的数据来提高跨域和少样本问题的分类精度。

图2  NLRN的框架

编码器模块:经过预处理后，NLRN的输入成为尺寸为NK(Nq)×1×64×64的单通道和二维谱图的组合，其中NK和Nq表示Nway K-shot设置和查询样本数，然后送入编码器模块fφ。编码器模块由四个模块组成：基本卷积块(BC)和三个Ghost块(GH)。BC包含4个部分:一个3×3卷积层、一个二维批处理归一化(BN)层、一个ReLU非线性层和一个2×2最大池化层。Ghost块是在Stride =2Ghost瓶颈的基础上进行修改的，该瓶颈不固定DWconv中Stride的大小，以便在后续关系模块中获得更大的特征映射和更好的比较，并在两个Ghost模块之间插入一个SE(压缩激励)块。Ghost模块可以在初级卷积之后通过简单卷积操作生成更多的特征映射。第一个Ghost模块根据扩展比作为通道激励层，第二个Ghost模块作为通道挤压层来满足网络的需要。Ghost模块的更多细节如图3(a)所示，编码器模块的整体架构图3(b)所示。

图3  (a)Ghost模块的细节，(b)编码器模块的整体架构

关系模块:关系模块在元训练中学习深度距离度量，通过计算元测试中支持集和查询集之间的关系分数对故障样本进行分类。编码器得到的特征映射经过拼接后输入到关系模块中。支持(查询)特征映射的大小为NK(Nq)×1024×8×8。特征图拼接后，关系模块的输入大小为NK(Nq)×2048×8×8。关系模块包含两个基本卷积块和两个全连接层，如图4所示。这两个基本卷积块与编码器模块中提到的基本卷积块相同。这两个完全连接的层分别是100维和1维。为了直接提取通道中的信息并满足准备比较的几个编码器模块，在最后一个基本卷积块和第一个全连接层之间应用了二维自适应平均池化和Squeeze。

图4  关系模块的结构

标定（校准）方法：本文提出了一种基于半监督学习的标定方法，该方法可以利用未标记数据缓解原型偏差问题，并且由于关系网络的特点，标定方法可以在特征标定过程和关系标定过程两个过程中实现。在这两个过程中，特征标定过程的计算复杂度较低，将作为主要标定方法，关系标定过程将用作比较。

特征校准过程利用每个伪标签对应的特征表示来校准原型。编码器模块生成的这些特征表示可以用来校准支持集的原始原型，然后在后续的查询集分类中发挥作用。算法过程如图5所示。支持集通过编码器模块生成原始原型Pc，并通过关系模块分配伪标签及其未标记数据的概率。为每一类原型选择一些概率最高的未标记数据。将这些未标记数据对应的特征表示与原始原型的概率权重相加，得到校准后的原型─Pc。

图5  特征标定过程流程图

关系校准过程对关联网络的关系评分进行校准，如图6所示。使用标记支持集生成伪标签及其未标记数据的概率pi,c,u和查询集的关系分数ri,j。然后将伪标签数据作为伪支持数据对查询集进行分类，得到伪关系分数~ri,j。最终校准的关系分数─ri,j是前两个分数的加权和。

图6  关系标定过程流程图

 本文提出使用少样本和跨域任务来模拟真实世界的故障诊断应用场景，其中利用来自已知工作条件的数据来训练模型，同时使用新的工作条件来评估模型的性能，并在实验中添加噪声以模拟操作环境的干扰。本实验中使用了三个数据集：CWRU、东南大学轴承数据集SU、同济轴承数据集。NLRN的实现细节总结在表1中，文中的比较方法与该配置一致。

表1  NLRN的实现细节

A. 轻量级编码器在噪声环境的验证

在元测试中，根据不同的信噪比（SNR），将收集到的原始振动信号与白高斯噪声相加，而模型仍在原始振动信号上进行训练。本节中，比较了不同模型架构在噪声工作下的性能，SNR值设置为−4dB至4 dB。

为了可视化不同信噪比的信号，以CWRU的1HP工况为例，给出了CWT前后的4种故障示意图，分别为:正常故障、球故障(0.021 in.)、内圈故障(0.021 in.)、外圈故障(0.021 in.)。如图7，随着信噪比的逐渐减小，信号受到的干扰越来越多，CWT后的频谱图中的高频噪声开始越来越明显，使得信号的频率难以分辨。特别是在内圈故障和外圈故障的图中，可以发现高频噪声被整合到信号频带中，故障特征逐渐变得不明显。

图7  不同信噪比下4种类型故障的可视化(数据以灰度图的形式可视化，颜色图参数为“蓝到黄”)

还比较了不同模型架构在噪声和可变工作条件下的性能，如表5所示。传输场景是从原始的3HP信号到带有1HP噪声的信号。从表的结果可以直观地看出，随着噪声强度的增加，模型的性能逐渐降低。此外，可以发现，随着信噪比的降低，由于参数较小，表示能力不足，M1的精度远远低于BC。同时，发现NLRN-0在两个实验中的表现都很好，相当接近最高准确率。

表5  CWRU不同模型架构在噪声工况下的性能比较(3→1,5 way-1shot)

B. 校准方法的验证

1）不同模型在不同N-way K-shot设置下的性能比较

如表6所示，可以发现我们的校准方法在跨域问题上表现出很强的泛化性能，特别是在5 way-1shot设置下，NLRN-1 实现了最高的精度，并且与 NLRN-0 相比，这两个过程都提供了显着的性能改进，这也在图8的混淆矩阵中得到了证实。

表6  SU数据集不同N-way K-shot设置下不同模型的性能结果

图8  SU 5-way 1-shot L→H分类结果的混淆矩阵

2）不同模型在不同大小的元训练集下的性能比较

为了探索该方法在不同规模元训练集下的性能，在同济数据集上设计了实验。考虑到传统卷积网络的性能较差，在接下来的实验中不将其纳入比较。实验结果如表7和图9所示。请注意，传输场景下面的数字表示元序列集的大小，即元序列集的每个类别中的样本数量。从实验结果可以看出，该模型的性能明显优于其他模型，特别是在0.5A、1800→0A、1200(20)和0A、1200→0.5A、1800(100)的转移场景下，同时，NLRN-1和NLRN-2分别通过特征校准过程和关系校准过程成功地提高了诊断精度。在同济数据集上的对比结果进一步证明了本文提出的标定方法的有效性，该方法可以缓解原型点漂移现象，提高度量模型在小镜头和跨域问题中的泛化能力。

表7  同济数据集(5way-1shot)不同模型在不同规模元训练集下的结果

图9  同济数据集分类结果混淆矩阵：0A,1200→0.5A,1800 100

本文提出一种具有标定方法的新型轻量级关系网络，以解决数据有限、泛化性差、模型效率高的故障诊断问题。通过将轻量级网络应用于编码器模块，大大减少了模型中的参数数量，同时编码器模块的特征提取能力也保持在较高水平。通过使用标定方法，缓解了跨域和少镜头问题的原型偏差和域偏移，并详细提出并比较了两种标定过程。通过广泛的跨域少样本故障诊断实验对所提方法的性能进行了评价，实验结果表明了该方法优异的识别和泛化能力。此外，实验证明，引入来自其他工作条件的数据可以提高诊断性能。

==河海大学网络与安全实验室==

微信搜索：Hohai_Network

联系QQ：1084561742

责任编辑：何宇