团队科研成果分享-22
2023-7-23 05:2:40 Author: 网络与安全实验室(查看原文) 阅读量:42 收藏

团队科研成果分享

2023.07.17-2023.07.23

标题: A Two-Stage Model Based on Complex-valued Separate Residual Network for Cross-Domain IIoT

期刊: IEEE Transactions on Network and Service Management,2023

作者: Guangjie Han,Zhengwei Xu,Hongbo Zhu,Yunlu Ge and Jinlin Peng

分享人: 河海大学——张煜

01

研究背景

BACKGROUND

研究背景

在工业物联网(IIoT)中,将辐射源个体识别技术(SEI)技术与关键认证技术相结合,可以有效抵御欺骗攻击,提高系统安全性。然而,大多数现有的SEI方法都是基于实值操作提取信号特征,并且只能在静态场景中工作。这一点在实际复杂多变的动态电磁环境下很难满足,从而导致模型泛化能力差且识别精度不佳。

针对时变场景中部署的辐射源设备发生变化导致已训练的模型无法适用的问题,本文提出了一个两阶段跨域识别模型,实现新场景SEI模型的快速重构。

02

关键技术

TECHNOLOGY

关键技术

为了解决传统基于实值SEI方法特征提取不充分且迁移能力较差的问题,本文通过考虑复数信号实部和虚部之间的相互耦合关系,建立复值分离残差网络(CVSRN)作为预训练模型,精确提取辐射源的射频指纹特征(RFF)。此外,本文采用领域自适应技术,通过三种迁移策略,全面考虑了部署辐射源的各种可能的调度情况,以利用从预训练的CVSRN中学到的知识,促进第二阶段对新的但相似的辐射源的识别。建立从已有复值信号(源域)到新的复值信号(目标域)的知识迁移。

该方法的创新和贡献如下:

1)提出了一个两阶段跨域识别模型,包括预训练模型的构建和知识迁移策略的构建。此外,通过对真实场景下采样的ADS-B辐射源信号数据集的实验,对该模型进行了综合评估,结果表明该模型作为动态场景下SEI问题的新解决方案具有潜力。

2)通过设计有效的复值分离残差模块和引入多尺度粗粒度分支,提出了一种利用I/Q信号数据实现SEI的CVSRN方法。该方法可以有效地捕获复值信号的深度、浅、互耦合等不同尺度特征,从而可以并行提取原始辐射源数据中丰富的RFF信息。

3)提出了基于预训练CVSRN模型的三种传输策略,用于在部署的发射源及其总数周期性变化的动态场景下,通过少量样本快速构建SEI模型。与直接使用少量目标域信号数据直接训练网络相比,所提出的策略可以大大提高SEI的性能和速度。

03

算法介绍

ALGORITHMS

算法介绍

(1)网络模型

图1  面向动态场景的两阶段跨域SEI模型

如图1所示,提出的面向动态场景的跨域识别模型主要包括两个阶段。第一阶段采用所提出的MCVRSN作为预训练模型,构建初始场景中的识别模型。第二阶段在场景中部署的辐射源设备发生变化时,采用域自适应策略通过少量的目标域数据对预训练模型进行自适应域更新,从而实现新场景SEI 模型的快速重构。

第一阶段令初始场景中辐射源发射的IQ 信号数据集为源域,当场景变化时,辐射源类型和对应的信号数据分布也会发生变化,变化后的IQ 信号数据集被视为目标域。设源域中有足够的标记的IQ信号样本用于训练模型,而目标域只有少量的IQ信号数据。IQ信号样本和对应的标签分别表示为x和y,则源域和目标域可分别描述Ds和Dt。由于领域之间存在差异,源域与目标域中的数据分布也不同。

在第二阶段,针对时变环境部署辐射源设备的不同变化情况,本文提出了三种迁移策略,通过预训练模型实现变化后场景的识别模型的快速重构,分别为:1)面向场景辐射源缩减的迁移策略;2)面向场景辐射源局部替换的迁移策略;3)面向场景辐射源扩充的迁移策略。所提出的三种迁移策略是在原有的预训练模型上,主要采用重构、微调和冻结三种操作结合的方式对预训练模型的层进行调整,如图2所示。

图2  三种迁移策略示意图

(2)预训练模型 

为了实现跨域复值SEI,本文首先设计了预训练的CVSRN模型,以最小化源域数据中的辐射源分类误差。考虑到信号的特征分布在多个时间尺度上,采用复数残差分割模块(CVSpeRes)构建了一种多尺度卷积神经网络架构,可同时进行特征提取和分类。所提出的CVSRN模型如图3所示,该模型包括三个阶段:输入数据、多尺度特征学习和分类。

图3  CVSRN模型

输入数据:在本文中,输入数据为I/Q信号样本,两个信道相互正交进行载波调制。具体来说,信号由I载波和将I载波旋转90度得到的Q载波组成,这样,辐射源的每个信号样本都可以用复数表示。它的实部和虚部由于位移效应在任何相位变化下都是相互作用的。传统的实值模型将信号的实部和虚部视为独立的,而本文提出的复值模型则考虑信号的实部和虚部之间的相关性。

特征提取:所提出的CVSRN模型能够以并行方式从输入的复值信号样本中学习高级有效特征。考虑到网络的性能和复杂性,本文为CVSRN提供了一个参考网络结构,该结构包括三个分支,每个分支由四个CVSpeRes模块和四个最大池层组成,如图3所示。

图4 复数卷积示意图

在CVSpeRes模块中,使用复值卷积层(CVConv)代替传统的卷积层。CVConv的输入是一个复向量u=x+iy,对应的复滤波器矩阵为W=a+iB,使用滤波器对复向量进行卷积操作,如图4所示:

因此,CVConv不仅支持复值输入,还可以获得关于复值信号实部和虚部相互耦合关系的额外信息。

在CVSpeRes模块中,如图5所示。输入特征映射首先馈送1×1的CVConv,并根据通道均匀分成4个特征映射子集。将这些特征映射子集表示为xi,其中i为1、2、3、4。除x4外,每个xi都要经过一个CVConv和一个复整流线性单元(CReLU),用Mi(·)表示。对于M1和M2,输入是xi和Mi+1(·)的输出之和。对于M3,输入是x3。因此,每个特征映射子集yi的输出可表示为:

通过这种方法,每个Mi(·)都可以从其他特征映射子集中提取潜在信息。最后,将所有子集的输出连接起来并发送到另一组卷积中,有利于提取信号的局部和全局信息。

图5 复数残差分割模型

同一分支中CVSpeRes的卷积滤波器是相同的,卷积核越大的分支将获得更大的局部感受野。最大池层总是在CVSpeRes模块之后执行,它可以通过下采样减少参数的数量。在CVSRN中,池化大小为1×4,相应的步长为4。经过CVSpeRes和池化操作后,将学习到的不同尺度的表示连接起来,从原始输入I/Q信号中获得多尺度特征。其中,CVSRN的尺度和深度可以以通用和灵活的方式任意调整。在实际应用中,根据输入复值信号样本的长度,为每个支路选择合适的卷积滤波器尺度。

分类:预训练的MSCNN的优化目标是使源域中复值信号样本的分类误差最小。经过卷积和池化操作,学习到的多尺度特征表示被平面化并馈送到分类器中以识别特定的辐射源。而特征仍然是复数。因此采用复值密集层(CVDense)来代替传统的密集层,充分利用复值统计信息。与CVConv运算类似,CVDense运算的数学表达式为:

(3)迁移策略

本文,针对动态场景提出了三种不同的迁移策略,如图2所示。

1) 策略1:场景1中,移除原有的辐射源,不增加新的辐射源。因为分类的辐射源数量发生了变化,重构softmax层,并使用目标信号数据从头开始训练。此外,冻结所有其他层,因为预训练的CVSRN已经包含了更新场景中所有辐射源的特征。

2) 策略2:场景2中,在同一时间段内增加新的辐射源,同时去除相同数量的原有辐射源。因此,其总数保持不变。此外,预训练的CVSRN已经包含了原始辐射源的特征,可以直接使用少量标记的目标信号数据对整个网络进行微调,以快速调整模型参数以适应新的数据集。

3) 策略3:场景3中,增加新的辐射源,导致设备总数发生变化。在这种情况下,首先重构包含原始辐射源分类特征softmax层。然后,冻结之前的层,其功能是提取所有部署的辐射源的一般特征,最后对其他层进行微调,以学习新辐射源设备的独特特征。

04

实验结果

EXPERIMENTS

实验结果

1、 仿真设置

本文通过在ADS-B和XSRP公共SEI数据集上进行实验来评估所提出方法的性能。

仿真分两个阶段进行。第一阶段,利用CVSRN提取信号样本的特征,构建预训练模型。通过将CVSRN的性能与深度信号网络(DSN)、实值卷积神经网络(RVCNN)、ResNet和多采样卷积神经网络(MSCNN)进行比较,验证CVSRN的优越性。DSN是一种复杂的基于网络的模型,它不使用剩余模块或多分支结构。RVCNN、ResNet和MSCNN都是基于实值的模型。

在RVCNN的基础上,通过添加残差模块得到ResNet。RVCNN的结构与所提出的MSCVRN相同,只是含有复数成分。在第二阶段,验证了三种迁移策略在相应场景下的有效性。

2、 结果与分析

图6显示了CVSRN和基于DL的对比网络的总体精度曲线。图6(a)为ADS-B数据集上辐射源数量为20时的整个训练过程。可以看出,CVSRN比其他方法具有更好的识别性能。具体而言,基于多尺度的模型(CVSRN和MSCNN)具有更大的接受野,可以提取更多的信号特征。因此,它们比具有单一大小卷积核的(DSN, RVCNN, ResNet)具有更好的性能。复值模型(CVSRN和DSN)可以从实部信号和虚部信号的相互耦合关系中获取额外的信号特征;因此,它们比具有相同网络深度和相应参数设置的基于实值的模型(MSCNN和RVCNN)具有更高的精度。图6(b)显示了各种算法在XSRP数据集上的训练过程。由于与ADS-B相比,每个XSRP样本中的采样点数量更多,ADS-B在每个样本中包含更多辐射源的RFF信息,因此算法在该数据集上收敛速度更快。此外,可以观察到,所提出的CVSRN仍然取得了最好的识别性能和最快的收敛速度,进一步验证了本文设计结构的有效性。

图6  第一阶段识别精度的对比

此外,图7显示了当辐射源设备数量从10个增加到50个时,提出的CVSRN和比较网络在ADS-B数据集上的识别性能。可以看出,在不深化网络的情况下,CVSRN始终保持最高的识别准确率。除了上面分析的原因外,CVSRN在每个分支中都有残差结构,这使得它可以有效地缓解训练过程中梯度消失或爆炸的问题,保证识别精度不会随着网络的加深而下降。通过以上分析,可以得出,所提出的CVSRN作为预训练模型在第一阶段可以获得最好的识别效果。

图7  各种算法的识别精度与设备数量的关系

上述实验是使用每类平衡数量的样本进行的。然而在真实的工业生产中获取足够的等级平衡数据并不容易,长尾数据分布也会影响最终的DA性能。基于CWRU数据集,我们通过减少特定类别的训练样本数量,构建了几个不平衡版本的CWRU。数据集的类不平衡程度由不平衡因子来衡量,不平衡因子定义为最大类中的训练样本数除以最小类。图7给出了不平衡因子为100、50、20、10和1的实验结果。其中,TAAN表示不使用CB损耗,TAAN-CB表示在所提出的方法中使用CB损耗。TAAN和TAAN-CB的诊断性能同时随着不平衡因素的增加而降低。然而,TAANCB下降相对缓慢,并保持可接受的识别精度,这表明它可以有效地消除样本数量的分布差异。因此,CB损失可以帮助故障诊断模型减少不平衡分布对DA性能的影响,并显著增强其对小样本类的鲁棒性。

最后,本文使用更全面、样本类别更丰富的ADS-B数据集构建动态迁移场景,并验证提出的迁移策略的有效性。

为了验证迁移策略1的有效性,在初始场景中部署了20种不同类型的辐射源。然后从场景中随机去除5个辐射源,重新获取40个信号样本作为目标域数据。由图8可以看出,使用迁移策略1从相应的预训练模型中获取迁移参数后,所有网络的识别性能都得到了显著提高。结果是合理的,因为没有添加其他辐射源,即预训练的网络已经包含了更新场景中所有辐射源的特征。

图8 迁移策略1的识别精度

通过源域样本得到预训练模型。然后使用五个新的辐射源来随机替换场景中的五个辐射源。因此,辐射源的部署发生了变化,而总数保持不变。因此采用迁移策略2来提高目标网络的性能。图9显示了使用迁移策略2训练的网络的准确率对比。结果表明,迁移策略2在所有试验中都能显著提高识别性能,并且所提出的CVSRN在两种情况下都取得了最高的识别准确率。

图9 迁移策略2的识别精度

同样,对于迁移策略3的场景。本文首先将初始场景设置为20种不同类型的辐射源。然后在场景中添加了五个新的辐射源并重新采集了40个信号样本作为目标域数据。由于增加了新的辐射源并改变了发射体的总数,采用迁移策略3快速构建目标域模型。图10显示了使用迁移策略3后的准确率结果。可以看出,所有模型的性能都有了明显的提高。这是因为迁移策略3保留了辐射源的共同特征。因此,目标域网络只需要使用目标域数据学习与辐射源类别相关的特征。

图10 迁移策略3的识别精度

05

总结

CONCLUSION

总结

本文提出了一种两阶段模型来构建复值网络,并在信号源更新时实现SEI模型迁移。具体而言,在第一阶段设计CVSRN作为为处理复值信号的有效SEI预训练模型。同时考虑了复值信号实部和虚部在不同时间尺度上的相互耦合关系和多样化特征。然后,根据辐射源设备的变化,提出了三种迁移策略,实现了目标模型的快速构建。这项工作不仅在以端到端方式提取复杂值信号的典型特征方面取得了重大进展,而且为在实际场景中快速、高精度地重建SEI模型铺平了道路。

然而,时间和空间的变化也会导致信号特性的变化,从而导致模型性能的下降。本文提出的迁移策略主要针对设备数量的变化,而忽略了环境变化的潜在影响。在未来的工作中,需重点研究相关方面,并继续优化SEI模型,以解决各种场景下的迁移问题。

END

扫描二维码关注我们

==河海大学网络与安全实验室==

微信搜索:Hohai_Network

联系QQ:1084561742

责任编辑:何宇


文章来源: http://mp.weixin.qq.com/s?__biz=MzI1MTQwMjYwNA==&mid=2247497833&idx=1&sn=989f81430336c194d81df181037282a9&chksm=e9f1386ade86b17cb3da511fdcf53038ecc041da1899011d5b50793a719dfb0111efde27cd81#rd
如有侵权请联系:admin#unsafe.sh