Development of Deception Defense Technology and Exploration of Its Large Language Model Applications
-
摘要:
欺骗防御作为主动防御中最具发展前景的技术,帮助防御者面对高隐蔽未知威胁化被动为主动,打破攻守间天然存在的不平衡局面. 面对潜在的威胁场景,如何利用欺骗防御技术有效地帮助防御者做到预知威胁、感知威胁、诱捕威胁,均为目前需要解决的关键问题. 博弈理论与攻击图模型在主动防御策略制定、潜在风险分析等方面提供了有力支撑,总结回顾了近年来二者在欺骗防御中的相关工作. 随着大模型技术的快速发展,大模型与网络安全领域的结合也愈加紧密,通过对传统欺骗防御技术的回顾,提出了一种基于大模型的智能化外网蜜点生成技术,实验分析验证了外网蜜点捕获网络威胁的有效性,与传统Web蜜罐相比较,在仿真性、稳定性与灵活性等方面均有所提升. 为增强蜜点间协同合作、提升对攻击威胁的探查与感知能力,提出蜜阵的概念. 针对如何利用蜜点和蜜阵技术,对构建集威胁预测、威胁感知和威胁诱捕为一体的主动防御机制进行了展望.
Abstract:Deception defense, as the most promising technology in proactive defense, aids defenders in facing highly covert and unknown threats, turning passivity into proactivity, and breaking the inherent imbalance between offense and defense. In the face of potential threat scenarios, how to effectively use deception defense technology to help defenders anticipate threats, perceive threats, and entrap threats, is a key issue that currently need to be addressed. Game theory and attack graph models provide strong support in formulating active defense strategies and analyzing potential risks. We summarize and review the recent work of both in the realm of deception defense. With the rapid development of large language model technology and its increasingly close integration with the field of cybersecurity, we review traditional deception defense technology and propose a large language model-based intelligent external network HoneyPoint generation technique. Experimental analysis validates the effectiveness of external network HoneyPoint in capturing network threats, showing improvements over traditional Web honeypots in aspects like simulation, stability, and flexibility. To enhance the collaborative cooperation between HoneyPoints and improve the capabilities for threatening exploration and perception, the concept of Honey-Landscape is introduced. We provide an outlook on how to utilize HoneyPoint and Honey-Landscape technologies to construct an integrated active defense mechanism that includes threat prediction, threat perception, and threat entrapment.
-
Keywords:
- deception defense /
- large language model /
- attack graph /
- game theory /
- HoneyPoint /
- Honey-Landscape
-
深度学习凭借对样本高维特征的非线性表达及数据信息的抽象表示,极大地推进了语音识别、计算机视觉等人工智能方法在工业中的应用. 1989年LeCun等人[1]提出深度卷积网络LeNet模型,在手写体图像识别领域取得了突破性进展,为深度学习的发展提供了前提和基础. 为进一步提升深度神经网络模式识别及图像处理精度,推广其在工业中的应用,国内外学者不断优化及改进网络结构. 随着模型层数逐步增加,模型参数和架构愈加庞大,算法对存储、计算等资源的需求不断增长,导致大模型网络失效等问题[2],例如Resnet50,VGG16等大型神经网络,尽管在图像分类应用上表现出卓越性能,但其冗余参数导致较高计算成本和内存消耗. 同时,多媒体、5G技术、移动终端的快速发展,边缘计算设备广泛部署,使网络应用需求逐步增加. 手机、平板电脑、移动摄像机等便携式近端设备相比于固定设备存在数十倍的计算、存储等能力差距,为大规模网络近端迁移与运行带来困难. 如何提升边缘设备计算、识别及分类能力,实现大规模深度学习网络的近端部署成为有意义的工作. 基于此,Buciluǎ等人[3]提出神经网络模型压缩方法,将信息从大模型或模型集合传输到需要训练的小型模型,而不降低模型精度. 同时,大规模神经网络模型中包含的大量参数存在一定功能稀疏性,使网络结构出现过参数化等问题,即使在网络性能敏感的大规模场景中,仍包含产生重复信息的神经元与链接. 知识蒸馏 (knowledge distillation, KD)将高性能大规模网络作为教师网络指导小规模学生网络[4],实现知识精炼与网络结构压缩,成为模型压缩、加速运算、大规模网络近端部署的重要方法.
然而,随着人们对隐私保护意识的增强以及法律、传输等问题的加剧,针对特定任务的深度网络训练数据往往难以获取,使Data-Free环境下的神经网络模型压缩,即在避免用户隐私数据泄露的同时得到一个与数据驱动条件下压缩后准确率相似的模型,成为一个具有重要实际意义的研究方向. Chen等人[5]提出Data-Free环境知识蒸馏框架DAFL (data-free learning of student networks, DAFL),建立教师端生成器,生成伪样本训练集,实现知识蒸馏并获得与教师网络性能近似的小规模学生网络. 然而,该方法在复杂数据集上将降低学生网络识别准确率,其主要原因有3个方面:
1)判别网络优化目标不同. 模型中教师网络优化生成器产生伪数据,实现学生网络知识蒸馏,使学生网络难以获得与教师网络一致的优化信息构建网络模型.
2)误差信息优化生成器. 教师端生成器的构建过度信任教师网络对伪数据的判别结果,利用误差信息优化并生成质量较差的伪训练样本,知识蒸馏过程学生网络难以有效利用教师网络潜在先验分布信息.
3)学生网络泛化性低. 模型中生成数据仅依赖于教师网络训练损失,导致生成数据特征多样性缺失,降低学生网络判别性.
如图1所示, MNIST数据集中类别为1和7时图像特征有较大差异,而图1右侧中DAFL方法的学生网络得到的2类数据统计特征直方图相当近似,该模型训练得到的小规模学生网络针对特征相似图像难以获得更鲁棒的判别结果. 为提升DAFL模型中学生的网络准确率及泛化性,提出新的双生成器网络架构DG-DAFL(double generators-DAFL,DG-DAFL),图1右侧中由DG-DAFL框架训练得到学生网络判别器特征统计直方图对比,即1类和7类特征统计结果有一定差距,为后续分类提供了前提.
为解决Data-Free环境知识蒸馏、保证网络识别精度与泛化性,本文提出双生成器网络架构DG-DAFL,学生端生成器在教师端生成器的辅助下充分利用教师网络潜在先验知识,产生更适合学生网络训练的伪训练样本,利用生成器端样本分布差异,避免DAFL学生网络对单一教师网络端生成器样本依赖,保证生成器样本多样性,提升学生网络判别器识别泛化性. 本文贡献有3方面:
1)针对Data-Free知识蒸馏问题提出双生成器网络架构DG-DAFL,建立教师生成器网络与学生生成器网络,生成伪样本. 优化教师生成器网络的同时,学生网络判别器优化学生生成器网络,实现生成器与判别器分离,避免误差判别信息干扰生成器构建. 同时,使网络任务及优化目标一致,提升学生网络性能. 该结构可被拓展于解决其他任务的Data-Free知识蒸馏问题.
2)通过增加教师网络及学生网络生成器端样本分布差异度量,避免单生成器网络结构中学生网络训练过度依赖教师生成器网络样本,产生泛化性较低等问题. 同时,该差异度量可使得学生网络生成数据在保证分布近似条件下的样本多样性,进一步提升学生网络识别鲁棒性.
3)所提出框架在流行分类数据集Data-Free环境下,学生网络参数量仅为教师网络的50%时,仍取得了令人满意的识别性能. 同时,进一步验证并分析了近似样本数据集的分类问题,取得了更鲁棒的结果.
1. 相关工作
针对大规模神经网络的近端部署与应用,网络模型压缩及加速成为人工智能领域的研究热点. 目前的模型压缩方法包括网络剪枝[6]、参数共享[7]、量化[8]、网络分解[9]、紧凑网络设计,其中知识蒸馏凭借灵活、直观的知识抽取及模型压缩性能受到学者广泛关注. 2015年,Hinton等人[4]提出知识蒸馏模型,构建教师网络、学生网络及蒸馏算法3部分框架,引入温度(temperature,T)系数,使卷积神经网络softmax层的预测标签由硬标签(hard-label)转换为软标签(soft-label),利用庞大、参数量多的教师网络监督训练得到体量、参数量更少且分类性能与教师网络更近似的学生网络[3-4,10-11]. 根据知识蒸馏操作的不同部分,分为目标(logits)蒸馏[12-16]与特征图蒸馏[17-22]两类. logits知识蒸馏模型主要目标集中在构建更为有效的正则化项及优化方法,在硬标签(hard-label)监督训练下得到泛化性能更好的学生网络. Zhang等人[16]提出深度互学习(deep mutual learning,DML)模型,利用交替学习同时强化学生网络与教师网络. 然而,教师网络与学生网络的性能差距使蒸馏过程难以收敛. 基于此,Mirzadeh等人[14]提出助教知识蒸馏(teacher assistant knowledge distillation,TAKD)模型,引入中等规模助教网络,缩小教师网络和学生网络之间过大的性能差距,达到逐步蒸馏的目的. 特征图知识蒸馏模型通过直接将样本表征从教师网络迁移至学生网络[17-18,20],或将训练教师网络模型样本结构迁移至学生网络[19,21-22],实现知识抽取. 该类方法充分利用大规模教师网络对样本的高维、非线性特征表达及样本结构,获得更高效的学生网络.
Data-Free环境中用于训练模型的真实数据往往难以获取,使知识蒸馏模型失效. 对抗生成网络(generative adversarial network,GAN)技术的发展,激发了该类环境下知识蒸馏领域方法的进步. 2014年,Goodfellow等人[23]提出GAN模型,通过模型中生成器与鉴别器的极大极小博弈,二者相互竞争提升各自生成和识别能力[24],可用于生成以假乱真的图片[25]、影片[26]等的无监督学习方法. GAN中的生成器可合成数据直接作为训练数据集,或用于训练数据集增广及生成难样本支持学生网络训练. Nguyen等人[27]利用预训练的GAN生成器作为模型反演的先验,构建伪训练数据集. Bhardwaj等人[28]利用10%的原始数据和预训练教师模型生成合成图像数据集,并将合成图像用于知识蒸馏. Liu等人[29]与Zhang等人[30]均利用无标签数据提升模型效果,分别提出无标签数据蒸馏的光流学习(learning optical flow with unlabeled data distillation, DDFlow)模型[29]与图卷积网络可靠数据蒸馏(reliable data distillation on graph convolution network, RDDGCN)模型[30]. 其中RDDGCN模型利用教师网络对所生成的未标注数据给予新的训练注释,构建训练数据集训练学生网络. 有研究借助大规模预训练数据集提升模型效果,Yin等人[31]提出的DeepInversion方法将图像更新损失与教师、学生之间的对抗性损失结合,教师网络通过对Batch Normalization层中所包含通道的均值和方差进行推导,在大规模ImageNet数据集上预训练深度网络后合成图像作为训练样本集. Lopes等人[32]进一步利用教师网络先验信息,通过教师网络激活层重构训练数据集以实现学生网络知识蒸馏. 文献[28-32]所述方法均利用少量训练数据或常用的预训练数据集信息,在Data-Free环境中仍难以解决无法直接获取真实且可用于训练小规模学生网络的先验信息等问题.
基于此,DAFL框架借助GAN学习模型,将预训练好的教师网络作为判别器网络,构建并优化生成器网络模型,生成更加接近真实样本分布的伪数据,为高精度、小规模学生网络的知识蒸馏与网络压缩提供有效先验信息,框架如图2所示. 首先,通过函数one_hot获得伪标签,利用损失函数将GAN中判别器的输出结果从二分类转换为多分类,以实现多分类任务的知识蒸馏;其次,采用信息熵损失函数、特征图激活损失函数、类别分布损失函数优化生成器,为学生网络训练提供数据;最终,实现在没有原始数据驱动条件下,通过知识蒸馏方法使学生网络参数减少一半,且具有与教师网络近似的分类准确率. 然而,DAFL框架中生成器优化过程完全信任判别器针对Data-Free环境中初始生成伪样本的先验判别,忽略了伪样本所构造伪标签带来的误差,干扰生成器优化,直接影响学生网络性能. 同时,教师网络与学生网络执行不同任务时存在学生网络过度依赖教师网络生成器样本,降低Data-Free环境下模型学习泛化性.
为了提升生成样本质量,Fang等人[33]提出无数据对抗蒸馏(data-free adversarial distillation,DFAD)模型,通过训练一个外部生成器网络合成数据,使学生网络和教师网络输出差异最大化图像. Han等人[34]提出鲁棒性和多样性的Data-Free知识蒸馏(robutness and diversity seeking data-free knowledge distillation,RDSKD)方法在生成器训练阶段引入指数惩罚函数,提升生成器生成图像的多样性. Nayak等人[35]提出零样本知识蒸馏模型,仅利用教师网络参数对softmax层空间建模生成训练样本. 同时,Micaelli等人[36]提出零样本对抗性信息匹配模型,利用教师网络特征表示的信息生成训练样本. 为避免零样本学习中先验信息缺失降低学生网络学习准确率等问题,Kimura等人[37]与 Shen等人[38]分别提出伪样本训练模型与网络嫁接模型,二者均借助少量确定性监督样本,将知识从教师模型提取到学生神经网络中. 为充分利用教师网络先验信息,Storkey等人[39]提出zero-shot知识蒸馏方法,将教师网络同时定义为样本鉴别器. 同时,Radosavovic等人[40]提出全方位监督学习模型.
文献[5, 33-40]所述的Data-Free环境中知识蒸馏模型所需的训练数据通常由已训练教师模型的特征表示生成,该类数据包含部分教师网络先验信息,在无数据可用的情况下显示出了很大的潜力. 然而,Data-Free知识蒸馏仍是一项非常具有挑战性的任务,主要集中在如何生成高质量、多样化、具有针对性的训练数据,进而获得更高精度、高泛化性的小规模学生网络.
2. 双生成器网络
针对提升Data-Free环境中知识蒸馏方法有效性与泛化性,本文受DAFL模型的启发,提出DG-DAFL网络架构,如图3所示. 包括4部分网络结构:教师端生成器网络GT、学生端生成器网络GS 、教师端判别器网络NT、学生端判别器网络NS. DG-DAFL利用教师端与学生端判别器网络NT与NS,同时优化生成器网络GT与GS,保证学生网络与教师网络优化目标一致,避免真实样本标签类别先验信息缺失时生成器过度信任教师网络判别结果,产生质量较低的伪样本,降低学生网络判别性能. 同时,通过增加生成器端伪样本分布损失,保证学生端生成器网络训练样本多样性,提升学生网络学习泛化性. DG-DAFL框架的训练过程可总结为3个步骤:教师端辅助生成器GT构建、最优化学生端生成器GS构建、学生网络NS与教师网络NT知识蒸馏.
2.1 教师端辅助生成器GT构建
本文构建双生成器网络架构GT与GS,通过教师网络提取训练样本先验信息,训练教师端生成器网络GT,使生成的伪样本分布更近似于真实样本. 由于真实样本标签缺失,GT难以得到来自于NT准确、充分的样本分布先验信息,实现最优化训练. 因此,本文仅利用教师端生成器网络GT作为训练学生端生成器网络GS的辅助网络,强化生成伪样本质量,提升学生网络判别准确率.
随机样本{{\boldsymbol{Z}}^{({\rm{T}})}}作为教师端生成器网络{G_{\rm{T}}}({{\boldsymbol{Z}}^{\left( {\rm{T}} \right)}};{{\boldsymbol{\theta}} _{\rm{g}}})的初始输入,经网络计算后得到伪样本{\boldsymbol{x}}_i^{({\rm{T}})},i = 1,2,…, N,其中{{\boldsymbol{\theta}} _{\rm{g}}}为{G_{\rm{T}}}网络参数. 同时,伪样本集{{\boldsymbol{X}}^{\left( {\rm{T}} \right)}}作为教师网络判别器{N_{\rm{T}}}({{\boldsymbol{X}}^{\left( {\rm{T}} \right)}};{{\boldsymbol{\theta}} _{\rm{d}}})的输入,可得到该网络判别结果,结合先验信息构造损失函数{{{\mathcal{L}}}_{{G_{\rm{T}}}}},反馈训练生成器网络{G_{\rm{T}}},得到更真实样本分布的伪训练样本集,用于学生网络知识蒸馏. 为获得优化反馈信息,{{\mathcal{L}}_{{G_{\rm{T}}}}}由3部分构成:
1)伪样本集可计算得到网络输出向量{\boldsymbol{y}}_i^{\left( {\rm{T}} \right)} = {N_{\rm{T}}}\left( {{{\boldsymbol{X}}^{\left( {\rm{T}} \right)}};{{\boldsymbol{\theta}} _{\rm{d}}}} \right),由于伪样本{\boldsymbol{x}}_i^{\left( {\rm{T}} \right)}缺少真实标签信息,可求解输出向量的伪标签{{\boldsymbol{t}}_i} = \arg \mathop {\rm{m}}\limits_{{j}} \mathop {{\rm{ax}}}\limits{} {({\boldsymbol{y}}_i^{\rm{T}})_j},其中j{\text{ = }}1,2, … ,k. {\boldsymbol{t}}_{i}为包含 k 类向量中最大值位置,构建经验损失函数{{\mathcal{L}}_{\rm{{oh {\text{-}} T}}}}:
{\mathcal{L}_{{\rm{oh}}{{ {\text{-}} {\rm{T}}}}}} = \frac{1}{n}\sum\limits_i {{H_{{\rm{cross}}}}({\boldsymbol{y}}_i^{\left( {\rm{T}} \right)},{{\boldsymbol{t}}_i})} . (1) 最小化预测标签与真实标签交叉熵值,学习教师网络判别器先验信息,使{G_{\rm{T}}}生成与真实样本分布更为接近的伪样本集.
2)借助DAFL中模型训练过程,{N_{\rm{T}}}网络中多卷积层所提取的特征向量中更具判别性的神经元将被激活,即伪样本{{\boldsymbol{X}}^{\left( {\rm{T}} \right)}}经预训练网络{N_{\rm{T}}}逐层非线性特征计算后得到特征向量{\boldsymbol{f}}_i^{\left( {\rm{T}} \right)},其中更大激活值可包含更多的真实样本特征先验信息,特征图激活损失函数可被表示为
\mathcal{L}_{\alpha \text{-T}}=-\frac{1}{N}{\displaystyle \sum _{i}\left|\right|{{\boldsymbol{f}}}_{i}^{\left({\rm{T}}\right)}|{|}_{\text{1}}^{}}\text{,} (2) 该损失在生成器优化过程中减小伪样本经卷积滤波器后激活值更大的特征,得到更接近真实样本特征表达.
3)为充分利用预训练教师网络样本分布及类别先验信息,构建预训练集样本类平衡分布损失{\mathcal{L}_{{\rm{ie}}{\text{-T}}}}. 定义p = \{ {p_1},{p_2}, … ,{p_k}\}为k类样本集中的每类样本出现的概率,当各类样本为均匀分布时,即{p_k} = \dfrac{1}{K},所含信息量最大. 为保证教师网络判别结果的均衡性、多样性,充分利用预训练样本分布信息,以教师网络优化生成器在该类数据集下等概率生成各类样本,构建信息熵损失函数:
{\mathcal{L}_{{\rm{ie}} {\text{-}} {\rm{T}}}} = - {H_{\inf {\rm{o}}}}\left(\frac{1}{N}\sum\limits_i {{\boldsymbol{y}}_i^{\rm{T}}} \right). (3) 结合式(1)~(3),可得到用于优化辅助生成器{G_{\rm{T}}}的目标函数为
\mathcal{L}_{{G}_{{\rm{T}}}}=\mathcal{L}_{{\rm{oh}}{{\text{-}}{\rm{T}}}}+\alpha \mathcal{L}_{\alpha {{\text{-}}{\rm{T}}}}+\beta \mathcal{L}_{{\rm{ie}}{{\text{-}}{\rm{T}}}}\text{,} (4) 其中\alpha 和\beta 为平衡因子. 利用式(4)保证{G_{\rm{T}}}优化过程充分利用教师网络保存的训练样本分布等先验信息,即可获得更近似于真实数据的高质量伪样本数据集.
2.2 最优化学生端生成器{G_{\rm{S}}}的构建
根据2.1节所述的教师端生成器{G_{\rm{T}}}的优化过程,借助教师端判别器网络{N_{\rm{T}}}包含的真实样本先验信息. 然而,由于函数one_hot所构建的伪样本标签将带来大量噪音,当{G_{\rm{T}}}对{N_{\rm{T}}}完全信任时,其优化过程将引入错误信息,使学生端判别器网络{N_{\rm{S}}}训练阶段难以生成与真实样本分布近似的伪样本集,影响学生网络判别准确率. 同时,当{N_{\rm{S}}}的训练将完全依赖于网络{G_{\rm{T}}}生成伪样本时将降低模型{N_{\rm{S}}}的泛化性.
为解决上述问题,本文在学生网络端引入生成器{G_{\rm{S}}},如图2所示. 利用{G_{\rm{T}}}信息辅助{G_{\rm{S}}}优化,生成更接近真实分布且更具多样性的训练样本. 首先,双生成器{G_{\rm{T}}}与{G_{\rm{S}}}通过随机初始样本同时生成伪样本矩阵{{\boldsymbol{X}}^{\left( {\rm{T}} \right)}}与{{\boldsymbol{X}}^{\left( {\rm{S}} \right)}},其中,{{\boldsymbol{X}}^{\left( {\rm{T}} \right)}}通过{N_{\rm{T}}}计算并由式(4)构建损失反馈训练生成器{G_{\rm{T}}},生成新的教师端伪样本集{{\boldsymbol{X}}'^{\left( {\rm{T}} \right)}};其次,{{\boldsymbol{X}}^{\left({\rm{ S}} \right)}}同时经{N_{\rm{T}}}与{N_{\rm{S}}}计算,为充分借助教师网络先验数据分布信息度量分布差异,利用式(5)优化{N_{\rm{S}}}:
{\mathcal{L}_{{\rm{oh}}{\text{-}}{\rm{S}}}} = \frac{1}{n}\sum\limits_i {{H_{{\rm{cross}}}}\left( {{N_{\rm{T}}}\left( {{{\boldsymbol{X}}^{\left( {\rm{T}} \right)}};{{\boldsymbol{\theta}} _{\rm{d}}}} \right),{N_{\rm{S}}}\left( {{{\boldsymbol{X}}^{\left( {\rm{S}} \right)}};{\boldsymbol{\theta}} _{\rm{d}}^{\left( {\rm{S}} \right)}} \right)} \right)} . (5) 此时,利用初步训练得到的{N_{\rm{S}}}结合当前生成伪样本集{{\boldsymbol{X}}^{\left( {\rm{S}} \right)}}与式(4),构建反馈损失函数{\mathcal{L}'_{{G_{\rm{s}}}}} = {\mathcal{L}_{{\rm{oh}}{\text{-}}{\rm{S}}}} +\alpha {\mathcal{L}_{\alpha {\text{-}}{\rm{S}}}} + \beta {\mathcal{L}_{{\rm{ie}}{\text{-}}{\rm{S}}}},优化当前学生网络生成器{G_{\rm{S}}}. 该模型可保证教师网络与学生网络执行相同任务,提升学生网络学习能力. 同时,通过对学生网络优化避免对缺失真实标签判别结果的过分信任,降低生成器优化效果. 最后,{G_{\rm{S}}}生成新的学生端伪样本集{{\boldsymbol{X}}'^{\left( {\rm{S}} \right)}}. 为使GS获得更多样本先验信息保证生成样本与真实样本分布一致性,同时,保证生成伪样本多样性,提升学生网络模型泛化性,本文采用KL散度获得2个优化得到的伪样本集{{\boldsymbol{X}}'^{\left( {\rm{T}} \right)}}与{{\boldsymbol{X}}'^{\left( {\rm{S}} \right)}}随分布差异,如式(6)所示:
{\mathcal{L}_{{\rm{d}} {\text{-}} {\rm{KL}}}} = \sum\limits_{i = 1}^N {{G_{\rm{S}}}({\boldsymbol{x}}{'}_i^{\left( {\rm{S}} \right)}){1} {\text{b}}\frac{{{G_{\rm{S}}}({\boldsymbol{x}}{'}_i^{\left( {\rm{S}} \right)})}}{{{G_{\rm{T}}}({\boldsymbol{x}}{'}_i^{\left( {\rm{T}} \right)})}}} . (6) 本文仅期望学生网络生成器{G_{\rm{S}}}所得的样本集{{\boldsymbol{X}}'^{\left( {\rm{S}} \right)}}在分布上与先验样本分布更为接近. 此时,构建学生网络生成器优化损失表达,如式(7)所示,实现最优化生成器{G_{\rm{S}}}的构建.
{\mathcal{L}_{{G_{\rm{S}}}}} = {\mathcal{L}'_{{G_{\rm{S}}}}}{\text{ + }}\gamma {\mathcal{L}_{{\rm{d}} {\text{-}} {\rm{KL}}}}, (7) 其中,\gamma 为平衡因子.
2.3 学生网络与教师网络知识蒸馏
本文利用优化得到的学生端生成器{G_{\rm{S}}},更新伪样本集{{\boldsymbol{X}}'^{\left( {\rm{S}} \right)}}作为训练数据辅助学生网络构建.
教师网络{N_{\rm{T}}}与学生网络{N_{\rm{S}}}同时接受学生端生成器获得的优化为样本集{{\boldsymbol{X}}'^{\left( {\rm{S}} \right)}},由于模型差异,网络结构相对复杂的教师网络输出结果优于网络结构相对简单的学生网络. 为提升模型压缩效果,借助知识蒸馏技术,将二者softmax层上输出结果进行交叉熵函数计算,使学生网络的输出{\boldsymbol{y}}_i^{\left( {\rm{S}} \right)}更近似教师网络的输出{\boldsymbol{y}}_i^{\left( {\rm{T}} \right)},提升学生网络{N_{\rm{S}}}的性能. 知识蒸馏损失函数为
{\mathcal{L}_{{\rm{KD}}}} = \frac{1}{N}\sum\limits_{i = 1}^N {{H_{{\rm{cross}}}}({\boldsymbol{y}}_i^{\left( {\rm{S}} \right)},{\boldsymbol{y}}_i^{\left( {\rm{T}} \right)})} . (8) 结合伪样本训练,在此损失函数约束下,实现在相同任务下较为稀疏的大规模网络到紧凑小规模网络的压缩及知识蒸馏.
3. 实验结果与分析
本文在3个流行图像数据集上验证了所提出方法的有效性,并与近年Data-free环境下较为流行的知识蒸馏模型,包括DAFL, DFAD, RDSKD模型在精度、鲁棒性、泛化性上进行对比与分析. 同时,通过对模型消融实验结果的统计,讨论模型框架结构设计的合理性. 本文进一步设置实验数据,验证DG-DAFL模型的泛化性. 实验运行在Intel Core i7-8700及NVIDIA Geforce RTX 2070硬件环境,及Windows10操作系统、Python3语言环境、Pytorch深度学习框架上.
本文为了更全面地验证模型效果,采用4种评价指标:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、特异度(Specificity).
准确率(Accuracy)指分类模型中正确样本量占总样本量的比重,其计算公式为
Accuracy = \frac{{TP + TN}}{{TP + TN + FP + FN}}. (9) 精确率(Precision)指分类结果预测为阳性的正确比重,计算公式为
Precision = \frac{{TP}}{{TP + FP}}. (10) 召回率(Recall)指真实值为阳性的正确比重,其计算公式为
Recall = \frac{{TP}}{{TP + FN}}. (11) 特异度(Specificity)指真实值为阳性的正确比重,其计算公式为
S pecificity = \frac{{TN}}{{TN + FP}}. (12) 式(9)~(12)中,TP为模型正确预测为正例样本量,TN为模型正确预测为反例样本量,FP为模型错误预测为正例样本量,FN为模型错误预测为反例样本量.
本文引入双生成器端损失在充分利用教师网络先验样本分布信息条件下,保证生成样本多样性,如式(7)所示,其中\gamma 为平衡因子. 为保证实验的公平性,\gamma 值的选取采用确定范围\left\{ {0.01},{0.1},1,{10},{100} \right\}内值遍历选取方法,如图4中所示,\gamma 取值将对学生网络模型识别结果产生较大影响. 当\gamma {\text{ = }}10时,MNIST与USPS数据集均达到Accuracy统计的最高值. 因此,本文验证实验中的所有数据集,均设置\gamma {\text{ = }}10.
3.1 实验结果对比
1)MNIST手写体数据集
MNIST数据集为10分类手写体数据集,由像素大小为28×28的70000张图像组成,本文中随机选取60000张图像为训练数据集,10000张图像为测试数据集,部分样本可视化结构如图5所示.
本数据集实验中,利用LeNet-5作为教师网络实现该数据集分类模型训练. 构建学生网络LeNet-5-half,其网络结构与教师网络相同,每层通道数相比教师网络少一半,计算成本相比教师网络少50%,可实现网络压缩. 表1中统计并对比了所提算法在MNIST数据集上的Accuracy值.
表1中对10次实验统计的均值可见,利用真实数据训练得到教师网络的Accuracy=0.989 4. 由噪声数据随机生成伪样本作为训练集,在教师网络指导下,利用知识蒸馏可得到Accuracy=0.8678的学生网络,该状态下仅利用教师网络前期训练得到的判别信息,不借助样本分布信息,难以达到满意的蒸馏效果. DAFL方法中,通过教师网络模型判别结果回传损失,优化生成器网络,生成与真实样本分布更为接近的伪样本数据,训练学生网络,模型Accuracy值可达到0.968 7. 本文提出的DG-DAFL方法相比DAFL方法,避免了单一生成器网络对教师网络在无标签伪样本集上判别结果过度信任所产生的无效先验优化失败问题,同时,学生网络端生成器在教师端生成器的辅助下产生更适合学生端生成器的训练样本,保证生成样本的多样性,提升识别泛化性. 同时,RDSKD模型通过增加正则化项提升样本多样性,针对不同类样本特征较为近似的MNIST数据集取得了比DAFL与DFAD模型更好的分类性能. DG-DAFL模型中,学生网络Accuracy值提升至0.9809,其网络性能十分接近教师网络,同时,根据10次实验运行结果的均值与方差可知DG-DAFL模型获得了更好的鲁棒性.
2)AR人脸数据集
AR数据集为包含100类的人脸数据集,由图像尺寸为120×165的2600张图片组成,其中前50类为男性样本,后50类为女性样本,每类包含26张人脸图,包括不同的面部表情、照明条件、遮挡情况,是目前使用最为广泛的标准数据集. 在实验中,本文将每类的20张图片作为训练集,剩余的6张作为测试集,通过此方式对网络性能进行评价. AR数据集可视化结果如图6所示.
本数据集实验中,利用ResNet34作为教师网络,ResNet18作为学生网络. ResNet34与ResNet18采用相同的5层卷积结构,ResNet34在每层卷积结构中的层数更多,其所消耗的计算成本更高;ResNet34的Flops计算量为 3.6 \times {10^9} ,ResNet18的Flops计算量为1.8 \times {10^9}. 表2中统计并对比了所提方法在AR数据集上的Accuracy结果.
实验统计结果如表2所示. 教师网络经包含真实标签数据集训练后Accuracy=0.865. Data-Free环境下,DAFL模型中经知识蒸馏后学生网络的Accuracy=0.6767. AR数据集相比MNIST数据集,图像类别数量提升,图像复杂度及细节增加,不同类别间样本特征分布更为近似,难以判别. DAFL模型中生成器优化过程完全依赖教师网络判别结果,导致生成大量用于训练学生网络的噪音样本,使学生网络判别准确率与鲁棒性下降. DFAD模型忽略教师网络对样本生成所提供的先验信息,难以获得与原训练样本分布更为近似的生成样本,极大影响学生网络识别准确率. RDSKD模型面对的复杂特征样本集同样面临未充分利用预训练教师网络样本先验信息,导致知识蒸馏效果下降,学生网络的Accuracy仅为0.52. 本文通过构建双生成器模型DG-DAFL,在充分利用教师网络的潜在样本先验知识的同时,构造生成器端损失,避免对误差样本信息过学习,生成更有效且与真实样本分布一致的伪样本. 在AR较为复杂的数据集上,本文所提出的DG-DAFL模型的Accuracy=0.7183.
3)USPS 手写体数据集
USPS数据集为10类别分类数据集,由像素大小为16×16的9298张灰度图像组成,该数据集相比于MNIST数据集包含的样本量更多,样本尺寸更小,且样本表达更为模糊、抽象,为识别带来了困难,USPS数据集可视化结果如图7所示. 本文实验中,随机选取7291张与2007张图像分别构建教师网络的训练集与测试集.
教师网络选择与MNIST数据集下相同的网络结构LeNet-5,学生网络结构为LeNet-5-half. 表3中统计并对比了所提出方法在USPS数据集上的Accuracy结果.
由表3可知,教师网络分类Accuracy=0.96,在此基础上实现DAFL模型. 学生网络的Accuracy=0.926 7. DFAD模型在USPS数据集上的Accuracy=0.8899,由于教师网络过度信任生成样本集中包含的噪音等样本,影响知识蒸馏效果及模型鲁棒性. RDSKD模型同样存在忽略生成样本质量等问题,降低学生网络准确率. DG-DAFL通过引入学生端生成器的双生成器方法,解决单生成器网络结构中学生网络训练过度依赖教师生成器网络样本产生的泛化性较低等问题. 同时,学生网络生成器所生成的数据在保证分布近似条件下的样本多样性,进一步提升学生网络识别泛化性的基础上,学生网络在USPS数据集下获得了更高的准确率及鲁棒性.
3.2 实验分析
1)DG-DAFL消融分析
为进一步讨论所提DG-DAFL模型中学生端生成器{G_{\rm{S}}}优化过程的合理性及损失函数各部分的必要性,本节在MNIST数据集上实现消融实验并分析实验结果. 表4统计并对比了不同损失函数部分对Data-Free环境下模型准确率的影响.
表 4 MNIST数据集上消融实验结果Table 4. Ablation Experiment Results on MNIST Dataset伪标签损失 信息熵损失 特征损失 伪样本KL散度损失 Accuracy √ 0.8687 0.2336 √ 0.1140 √ 0.2167 √ 0.8711 √ √ √ 0.9758 √ √ √ √ 0.9800 注:√表示该项存在. 在消融实验中,利用真实数据训练的教师网络分类Accuracy=0.9839;学生端生成器{G_S}在没有任何损失函数优化的情况下,利用随机生成样本并结合教师网络知识蒸馏,Accuracy达到0.868 7. 若仅利用对随机伪样本判别结果所构造的任一损失函数,包括伪标签损失、信息熵损失、特征损失,优化学生网络生成器{G_S},均难以得到满意的判别结果,其主要原因在于学生网络判别器未经过真实样本训练不包含真实先验信息,难以指导生成器训练. 若仅利用双生成器端KL散度作为优化信息,教师端生成器{G_{\rm{T}}}经教师网络优化包含部分真实样本先验信息,可对{G_{\rm{S}}}生成样本产生一定的先验监督作用,辅助生成器{G_{\rm{S}}}生成相近的输出分布,在KL散度损失单独优化下,学生网络性能有小幅度提升. 当3种损失函数与生成器损失结合后,生成器{G_{\rm{S}}}获得更多样本先验信息,保证生成样本与真实样本的分布一致性,并保证生成伪样本的多样性,提升学生网络模型的准确率.
2)DG-DAFL泛化性分析
为验证所提出的DG-DAFL模型具有更好的泛化性,本文基于MNIST数据集,构建实验数据集MNIST-F(训练集Tra与测试集Te). 其中0~9为类别编号,由于样本类别编号1和7、0和8、6和9等具有判别特征上的相似性,将混淆分类模型,为识别带来难度. 本文缩小易混淆类别训练样本规模,具体将原始数据集中的训练样本类别编号为1,6,8的样本量减半,测试数据量保持不变,其详细描述如表5所示,表5中nTra与nTe分别为原始训练集与原始测试集.
表 5 泛化性测试数据集描述Table 5. Description of Generalizability Test Dataset类别编号 nTra nTe Tra Te 0 5923 5923 980 980 1 3371 6742 1135 1135 2 5958 5958 1032 1032 3 6131 6131 1010 1010 4 5842 5842 982 982 5 5421 5421 892 892 6 2959 5918 958 968 7 6265 6265 1028 1028 8 2925 5851 974 974 9 5949 5949 1009 1009 数据集MNIST-F实验中,教师网络结构为LeNet-5,学生网络结构为LeNet-5-half. 本文分别统计及对比了DAFL模型与所提出DG-DAFL模型的分类Accuracy,结果如表6所示.
表 6 MNIST-F数据集上的分类结果Table 6. Classification Results on MNIST-F Dataset算法 Accuracy 教师网络 0.9897 DAFL[5] 0.9425 DG-DAFL 0.9695 表6所示的是不同算法在MNIST-F数据集下的泛化性测试结果. DAFL算法的Accuracy=0.9425,DG-DAFL算法的Accuracy=0.9695,相比在MNIST数据集下的测试结果,DAFL算法的Accuracy值下降0.0262,DG-DAFL的算法Accuracy值下降0.0114,当在易混淆类别训练不足的情况下,本文所提出的DG-DAFL模型相比DAFL模型具有更好的泛化性和鲁棒性. DG-DAFL模型中的学生网络{N_{\rm{S}}}的训练数据不完全依赖于教师端生成器{G_{\rm{T}}},避免在DAFL模型下由于函数one_hot构建的伪样本标签带来的大量噪声,解决学生网络{N_{\rm{S}}}鲁棒性的问题. 为便于观察与分析,本文统计并对比了DAFL与DG-DAFL模型在MNIST-F数据集上的其他评价标准结果,如表6和表7所示.
表 7 DAFL模型针对不同类别统计结果Table 7. Statistical Results of DAFL Model for Different Categories类别编号 Accuracy Recall Specificity 0 0.993 0.957 0.999 1 0.988 0.989 0.998 2 0.928 0.987 0.991 3 0.910 0.988 0.989 4 0.986 0.987 0.998 5 0.908 0.952 0.991 6 0.995 0.956 0.999 7 0.972 0.979 0.997 8 0.989 0.860 0.999 9 0.973 0.966 0.997 注:加粗为最优结果. 由表7与表8可知,泛化性测试下DG-DAFL模型总体上比DAFL模型在精确率、召回率、特异度指标上均有所提升. 类别1,6,8中训练样本量减少为一半的情况下,本文所提出的模型DG-DAFL在这3类上均获得了更好的性能. 原因在于DG-DAFL模型下,训练数据由双生成器生成,其更具多样性,避免了单一生成器容易导致生成数据泛化性低的问题.
表 8 DG-DAFL模型针对不同类别统计结果Table 8. Statistical Results of DG-DAFL Model for Different Categories类别编号 Accuracy Recall Specificity 0 0.989 0.989 0.999 1 0.982 0.996 0.998 2 0.954 0.995 0.994 3 0.937 0.994 0.993 4 0.989 0.983 0.999 5 0.968 0.964 0.997 6 0.996 0.973 1.000 7 0.982 0.982 0.998 8 0.997 0.878 1.000 9 0.958 0.983 0.995 注:加粗为最优结果. 图8~10通过MNIST-F数据集下各类别的分类结果样本量及误分类样本量的混淆矩阵,可更为清晰地观察到DG-DAFL模型的效果更加接近教师网络,分类效果较优. 在真实标签为0,5,6,8,9上的分类中,DAFL模型比DG-DAFL模型出现更多错误分类,其原因为DAFL模型的训练数据仅依赖于教师网络,教师网络生成的伪标签带来大量噪声影响生成器性能,降低学生网络性能. DG-DAFL模型中学生网络的训练数据取决于教师端生成器和学生端生成器2方面的影响,避免过度依赖教师网络端生成器的情况,使得在DG-DAFL模型的训练过程中,生成训练数据更加接近真实数据,且保证生成图像的多样性. 同时,可观察到DAFL模型在易混淆的类别中将1类样本被误分类为7类样本,0,6,8类样本由于模型泛化性较低而被互相混淆,产生错误的分类.
4. 结 论
本文针对Data-Free环境中网络压缩及知识蒸馏问题,借助DAFL模型通过构建生成器获得伪训练样本的学习方式,提出DG-DAFL网络框架. 该框架设计双生成器网络结构,保证教师网络与学生网络完成一致学习任务,并实现样本生成器与教师网络分离,避免DAFL模型中生成器完全信任教师网络判别结果,产生失效优化问题. 同时,在学生网络生成器训练过程中,构造双生成器端伪样本分布损失,在充分利用教师网络潜在样本分布先验信息的同时避免过度依赖,生成更具多样性的伪样本集. 本文在3个流行的数据集上验证了算法的有效性,并构造数据集进一步分析了算法的泛化性及鲁棒性. 然而,Data-Free环境中生成的伪训练样本的质量将影响学生网络性能,接下来本文工作将围绕充分挖掘教师网络预训练样本结构特征等先验知识,构建更高质量的学生网络训练样本集. DG-DAFL方法代码及模型已开源:https://github.com/LNNU-computer-research-526/DG-DAFL.git.
作者贡献声明:张晶主要负责模型提出、算法设计及论文撰写;鞠佳良负责算法实现、实验验证及论文撰写;任永功负责模型思想设计及写作指导.
-
表 1 现有欺骗防御相关综述工作
Table 1 Existing Deception Defense-Related Review Work
文献来源 研究角度 贡献 文献[23] 网络欺骗形式化 对网络欺骗进行了形式化定义,概述了网络欺骗发展历程的3个阶段,将网络欺骗与网络杀伤链结合,提出了网络欺骗层次化模型,分析了网络欺骗在设备层、网络层、数据层、应用层的欺骗技术,并在网络杀伤链上进行了验证性的讨论. 文献[24] 蜜罐(Honeypot)、
蜜标(Honeytoken)、
移动目标防御(MTD)对近30年蜜罐、蜜标以及移动目标防御中代表性技术的整理,描述了3个领域之间关键技术的相互补充,并构建了基于欺骗的主动防御体系. 提出一个全新的杀伤链模型,从攻击阶段与欺骗层次两方面对3种主动防御技术进行了归类. 文献[25] 博弈论 从博弈论的角度对欺骗防御的相关研究成果进行了筛选,提出了欺骗博弈的概念,并给出了网络欺骗博弈的形式化定义. 文献[26] 博弈论、机器学习 从防御者的角度出发,在博弈论与机器学习两方面对防御性欺骗工作进行了较为全面地调查,阐述了防御性欺骗的设计原则与特性,明确了如何选取欺骗攻击者的类型、欺骗发起的时机以及欺骗技术的运用. 表 2 常见攻击威胁与防御对抗模型对比
Table 2 Comparison of Common Attack Threats and Defense Adversarial Models
攻防视角 模型 阶段数 步骤 攻击者视角 网络杀伤[42] 7 侦察→武器化→交付→利用→安装→命令与控制→行动 在线操作杀伤链[43] 10 获取资产→伪装资产→收集信息→协调与计划→测试防御→逃避检测→无差别接触→针对性接触→渗透资产→长期驻留 MITRE ATT&CK[44] 14 侦察→资源开发→初始访问→执行→持久化→权限提升→防御绕过→凭证访问→发现→横向移动→收集→命令与控制→数据窃取→危害 防御者视角 IDDIL/ ATC[46] 7 发现阶段:识别资产→定义攻击面→分解系统→识别攻击向量→列出威胁源和攻击代理;实施阶段:分析与评估→分类→控制 MITRE ENGAEG[47] 9 规划→收集→检测→防御→转移→破坏→保证→激励→分析 网络空间欺骗链[48] 8 制定目标→收集网络信息→设计封面故事→计划→准备→执行→监控→加固 NIST 网络安全框架[45] 5 识别→保护→检测→响应→恢复 表 3 基于攻击图与博弈论的欺骗防御工作总结
Table 3 Summary of Deception Defense Work Based on Attack Graph and Game Theory
文献 年份 攻击图类型 攻击类型 应用目标 欺骗技术 博弈模型 [83] 2020 多层攻击图 漏洞利用 网络安全加固、最优防御策略、最小化防御成本、预测攻击路径 MTD [84] 2020 贝叶斯攻击图 内部威胁 最优防御策略 MTD 动态三方博弈 [85] 2020 漏洞依赖图 侦察 最优欺骗策略 网络欺骗 POSG、超博弈 [86] 2020 有向无环图 最优欺骗策略 添加诱饵资源 Stackelberg博弈 [87] 2020 贝叶斯攻击图 漏洞利用 最优欺骗策略 蜜罐、诱饵节点 [88] 2021 多层攻击图 侦察,漏洞利用 最优欺骗策略 蜜罐 信号博弈 [89] 2022 概率攻击图 漏洞扫描、漏洞利用 最优安全加固成本 [90] 2022 概率攻击图 APT 网络安全风险评估、最优安全资源分配 MDP [91] 2022 Active Directory
攻击图Active Directory攻击 网络安全加固、有限预算下的最优防御策略 Stackelberg博弈 [92] 2023 概率攻击图 漏洞利用 最优诱饵资源分配 蜜罐、蜜饵 MDP、非零和博弈 [93] 2023 概率攻击图 侦察 网络安全加固 MTD Stackelberg博弈、MDP 表 4 基于ChatGPT开发的产品
Table 4 Products Developed Based on ChatGPT
表 5 本文方法与Snare蜜罐的生成质量对比
Table 5 Comparison of Our Method with the Generation Quality of Snare Honeypots
比较条目 Snare蜜罐 本文方法 页面生成 采用传统爬虫的方式实现Web服务模拟. 在传统爬虫技术的基础上结合大语言模型. 仿真程度 仿真程度低,爬取时常因样式文件依赖关系导致页面无法显示. 仿真程度较高,通过精心设计的提示词,利用大语言模型深度分析. 稳定性 样式文件爬取缺失时出现前端显示不全,甚至产生报错. 利用大模型的特征分析、语言理解和代码构建能力,生成具有独立特色的模拟页面. 灵活性 页面生成后不易更改. 可根据用户需求定制化更新模拟页面. -
[1] Heckman K E, Stech F J, Schmoker B S, et al. Denial and deception in cyber defense[J]. Computer, 2015, 48(4): 36−44 doi: 10.1109/MC.2015.104
[2] Wang C, Lu Zhuo. Cyber deception: Overview and the road ahead[J]. IEEE Security & Privacy, 2018, 16(2): 80−85
[3] Ren Yitong, Xiao Yanjun, Zhou Yinghai, et al. CSKG4APT: A cybersecurity knowledge graph for advanced persistent threat organization attribution[J]. IEEE Transactions on Knowledge and Data Engineering, 2023, 35(6): 5695−5709
[4] Zhou Yinghai, Ren Yitong, Yi Ming, et al. CDTier: A Chinese dataset of threat intelligence entity relationships[J]. IEEE Transactions on Sustainable Computing, 2023, 8(4): 627−638 doi: 10.1109/TSUSC.2023.3240411
[5] Butavicius M, Ronnie T, Simon J H. Why people keep falling for phishing scams: The effects of time pressure and deception cues on the detection of phishing emails[J]. Computers & Security, 2022, 123: 102937
[6] Stellios I, Kotzanikolaou P, Psarakis M. Advanced persistent threats and zero-day exploits in industrial Internet of things[G]//Security and Privacy Trends in the Industrial Internet of Things. Berlin: Spring, 2019: 47−68
[7] Horak K, Bosansky B, Tomasek P, et al. Optimizing honeypot strategies against dynamic lateral movement using partially observable stochastic games[J]. Computers & Security, 2019, 87: 101579
[8] 姜伟,方滨兴,田志宏,等. 基于攻防随机博弈模型的防御策略选取研究[J]. 计算机研究与发展,2010,47(10):1714−1723 Jiang Wei, Fang Binxing, Tian Zhihong, et al. Research on defense strategies selection based on attack-defense stochastic game model[J]. Journal of Computer Research and Development, 2010, 47(10): 1714−1723 (in Chinese)
[9] Aydeger A, Manshaei M H, Rahman M A, et al. Strategic defense against stealthy link flooding attacks: A signaling game approach[J]. IEEE Transactions on Network Science and Engineering, 2021, 8(1): 751−764 doi: 10.1109/TNSE.2021.3052090
[10] Han Xiao, Kheir N, Balzarotti D. Deception techniques in computer security: A research perspective[J]. ACM Computing Surveys 2018, 51(4): 1−36
[11] Baykara M, Resul D. A novel honeypot based security approach for real-time intrusion detection and prevention systems[J]. Journal of Information Security and Applications, 2018, 41: 103−116 doi: 10.1016/j.jisa.2018.06.004
[12] Sun Yanbin, Tian Zhihong, Li Mohan, et al. Honeypot identification in softwarized industrial cyber–physical systems[J]. IEEE Transactions on Industrial Informatics, 2020, 17(8): 5542−5551
[13] Franco J, Aris A, Canberk B, et al. A survey of honeypots and honeynets for Internet of things, Industrial Internet of things, and cyber-physical systems[J]. IEEE Communications Surveys & Tutorials, 2021, 23(4): 2351−2383
[14] Pawlick J, Zhu Quanyan. Game Theory for Cyber Deception[M]. Berlin: Springer, 2021
[15] Pawlick J, Edward C, Zhu Quanyan. A game-theoretic taxonomy and survey of defensive deception for cybersecurity and privacy[J]. ACM Computing Surveys, 2019, 52(4): 1−28
[16] Huang Yunhan, Zhu Quanyan. Deceptive reinforcement learning under adversarial manipulations on cost signals[C] //Proc of 10th Int Conf on Decision and Game Theory for Security. Berlin: Springer, 2019: 217−237
[17] Pourranjbar A, Kaddoum G, Ferdowsi A, et al. Reinforcement learning for deceiving reactive jammers in wireless networks[J]. IEEE Transactions on Communications, 2021, 69(6): 3682−3697 doi: 10.1109/TCOMM.2021.3062854
[18] Abolfathi M, Shomorony I, Vahid A, et al. A game-theoretically optimal defense paradigm against traffic analysis attacks using multipath routing and deception[C] //Proc of the 27th ACM on Symp on Access Control Models and Technologies. New York: ACM, 2022: 67−78
[19] Olowononi F O, Anwar A H, Rawat D B, et al. Deep learning for cyber deception in wireless networks[C] //Proc of Int Conf on Mobility, Sensing and Networking. Piscataway, NJ: IEEE, 2021: 551−558
[20] Gong Xueluan, Wang Qian, Chen Yanjiao, et al. Model extraction attacks and defenses on cloud-based machine learning models[J]. IEEE Communications Magazine, 2020, 58(12): 83−89 doi: 10.1109/MCOM.001.2000196
[21] Ferguson-Walter K J, Major M M, Johnson C K, et al. Examining the efficacy of decoy-based and psychological cyber deception[C] //Proc of USENIX Security Symp. Berkeley, CA: USENIX, 2021: 1127−1144
[22] Ferguson-Walter K J, Major M M, Johnson C K, et al. Cyber expert feedback: Experiences, expectations, and opinions about cyber deception[J]. Computers & Security, 2023, 130: 103268
[23] 贾召鹏,方滨兴,刘潮歌,等. 网络欺骗技术综述[J]. 通信学报,2017,38(12):128−143 doi: 10.11959/j.issn.1000-436x.2017281 Jia Zhaopeng, Fang Binxing, Liu Chaoge, et al. Survey on cyber deception[J]. Journal on Communications, 2017, 38(12): 128−143(in Chinese) doi: 10.11959/j.issn.1000-436x.2017281
[24] Zhang Li, Thing V L. Three decades of deception techniques in active cyber defense-retrospect and outlook[J]. Computers & Security, 2021, 106: 102288
[25] 胡永进,马骏,郭渊博. 基于博弈论的网络欺骗研究[J]. 通信学报,2018,39(S2):9−18 Hu Yongjin, Ma Jun, Guo Yuanbo. Research on network deception based on game theory[J]. Journal of Communications, 2018, 39(S2): 9−18(in Chinese)
[26] Zhu Mu, Anwar A H, Wan Zelin, et al. A survey of defensive deception: Approaches using game theory and machine learning[J]. IEEE Communications Surveys & Tutorials, 2021, 23(4): 2460−2493
[27] Kasneci E, Seßler K, Küchemann S, et al. ChatGPT for good? On opportunities and challenges of large language models for education[J]. Learning and Individual Differences, 2023, 103: 102274 doi: 10.1016/j.lindif.2023.102274
[28] Kocoń J, Cichecki I, Kaszyca O, et al. ChatGPT: Jack of all trades, master of none[J]. Information Fusion, 2023, 99: 101861
[29] Zhou Ming, Duan Nan, Liu Shujie, et al. Progress in neural NLP: Modeling, learning, and reasoning[J]. Engineering, 2020, 6(3): 275−290 doi: 10.1016/j.eng.2019.12.014
[30] Steingartner W, Galinec D, Kozina A. Threat defense: Cyber deception approach and education for resilience in hybrid threats model[J]. Symmetry, 2021, 13(4): 597
[31] Ziaie Tabari A, Ou Xinming. A multi-phased multi-faceted IoT honeypot ecosystem[C] //Proc of the 2020 ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2020: 2121−2123
[32] Zarca A M, Bernabe J B, Skarmeta A, et al. Virtual IoT HoneyNets to mitigate cyberattacks in SDN/NFV-enabled IoT networks[J]. IEEE Journal on Selected Areas in Communications, 2020, 38(6): 1262−1277 doi: 10.1109/JSAC.2020.2986621
[33] Zhang Weizhe, Zhang Bin, Zhou Ying, et al. An IoT honeynet based on multiport honeypots for capturing IoT attacks[J]. IEEE Internet of Things Journal, 2019, 7(5): 3991−3999
[34] Srinivasa S, Pedersen J M, Vasilomanolakis E. Towards systematic honeytoken fingerprinting[C] //Proc of 13th Int Conf on Security of Information and Networks. New York: ACM , 2020: 1−5
[35] Reti D, Angeli T, Schotten H D. Honey Infiltrator: Injecting Honeytoken using netfilter[C] //Proc of the 2023 IEEE European Symp on Security and Privacy Workshops. Piscataway, NJ: IEEE, 2023: 465−469
[36] Tan Jinglei, Jin Hui, Hu Hao, et al. WF-MTD: Evolutionary decision method for moving target defense based on wright-fisher process[J]. IEEE Transactions on Dependable and Secure Computing, 2022, 20(6): 4719−4732
[37] Qian Yaguan, Guo Yankai, Shao Qiqi, et al. EI-MTD: Moving target defense for edge intelligence against adversarial attacks[J]. ACM Transactions on Privacy and Security, 2022, 25(3): 1−24
[38] Javadpour A, Ja’fari F, Taleb T, et al. SCEMA: An SDN-oriented cost-effective edge-based MTD approach[J]. IEEE Transactions on Information Forensics and Security, 2022, 18: 667−682
[39] Simmons C B, Shiva S G, Bedi H, et al. ADAPT: A game inspired attack-defense and performance metric Taxonomy[C] //Proc of the 28th IFIP TC11 Int Conf. Berlin: Springer, 2013: 344−365
[40] Liu Shouzhou, Shao Chengwu, Li Yanfu, et al. Game attack–defense graph approach for modeling and analysis of cyberattacks and defenses in local metering system[J]. IEEE Transactions on Automation Science and Engineering, 2021, 19(3): 2607−19
[41] Zhou Yuyang, Cheng Guang, Yu Shui. An SDN-enabled proactive defense framework for DDoS mitigation in IoT networks[J]. IEEE Transactions on Information Forensics and Security, 2021, 16: 5366−5380 doi: 10.1109/TIFS.2021.3127009
[42] Khan M S, Siddiqui S, Ferens K. A cognitive and concurrent cyber kill chain model[G]//Computer and Network Security Essentials. Berlin: Springer, 2018: 585−602
[43] Warner C. Online Operations Kill Chain in CTI[EB/OL]. (2023-11-07)[2024-01-10]. https://warnerchad.medium.com/online-operations-kill-chain-in-cti-8b3c99848250
[44] Xiong Wenjun, Legrand E, Åberg O, et al. Cyber security threat modeling based on the MITRE Enterprise ATT&CK Matrix[J]. Software and Systems Modeling, 2022, 21(1): 157−177 doi: 10.1007/s10270-021-00898-7
[45] Webb J, Hume D. Campus IoT collaboration and governance using the NIST cybersecurity framework[C] //Proc of Living in the Internet of Things: Cybersecurity of the IoT-2018. London: IET, 2018: 1−7
[46] Muckin M, Fitch S C. A threat-driven approach to cyber security[R]. Washington: Lockheed Martin Corporation, 2014
[47] Akbar K A, Rahman F I, Singhal A, et al. The design and application of a unified ontology for cyber security[C] //Proc of Int Conf on Information Systems Security. Berlin: Springer, 2023: 23−41
[48] Underbrink A J. Effective cyber deception[G]//Cyber Deception: Building the Scientific Foundation. Berlin: Springer, 2016: 115−147
[49] Kaynar K. A taxonomy for attack graph generation and usage in network security[J]. Journal of Information Security and Applications, 2016, 29: 27−56 doi: 10.1016/j.jisa.2016.02.001
[50] 叶云,徐锡山,齐治昌,等. 大规模网络中攻击图自动构建算法研究[J]. 计算机研究与发展,2013,50(10):2133−2139 doi: 10.7544/issn1000-1239.2013.20111471 Ye Yun, Xu Xishan, Qi Zhichang, et al. Attack graph generation algorithm for large-scale network system[J]. Journal of Computer Research and Development, 2013, 50(10): 2133−2139 (in Chinese) doi: 10.7544/issn1000-1239.2013.20111471
[51] 叶子维,郭渊博,王宸东,等. 攻击图技术应用研究综述[J]. 通信学报,2017,38(11):121−132 doi: 10.11959/j.issn.1000-436x.2017213 Ye Ziwei, Guo Yuanbo, Wang Chendong, et al. Survey on application of attack graph technology[J]. Journal on Communications, 2017, 38(11): 121−132 (in Chinese) doi: 10.11959/j.issn.1000-436x.2017213
[52] Muñoz-González L, Sgandurra D, Barrère M, et al. Exact inference techniques for the analysis of Bayesian attack graphs[J]. IEEE Transactions on Dependable and Secure Computing, 2017, 16(2): 231−244
[53] Nadeem A, Verwer S, Moskal S, et al. Alert-driven attack graph generation using S-PDFA[J]. IEEE Transactions on Dependable and Secure Computing, 2021, 19(2): 731−746 doi: 10.1109/ACCESS.2023.3257721
[54] Durkota K, Lisý V, Bošanský B, et al. Hardening networks against strategic attackers using attack graph games[J]. Computers & Security, 2019, 87: 101578
[55] Wang Binghui, Gong N Z. Attacking graph-based classification via manipulating the graph structure[C] //Proc of the 2019 ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2019: 2023−2040
[56] Jorjani M, Seifi H, Varjani A Y. A graph theory-based approach to detect false data injection attacks in power system AC state estimation[J]. IEEE Transactions on Industrial Informatics, 2020, 17(4): 2465−2475
[57] Naik N, Grace P, Jenkins P, et al. An evaluation of potential attack surfaces based on attack tree modelling and risk matrix applied to self-sovereign identity[J]. Computers & Security, 2022, 120: 102808
[58] Shin G Y, Hong S S, Lee J S, et al. Network security node-edge scoring system using attack graph based on vulnerability correlation[J]. Applied Sciences, 2022, 12(14): 6852 doi: 10.3390/app12146852
[59] Almohri H M J, Watson L T, Yao D, et al. Security optimization of dynamic networks with probabilistic graph modeling and linear programming[J]. IEEE Transactions on Dependable and Secure Computing, 2015, 13(4): 474−487
[60] Wang L, Jajodia S, Singhal A, et al. Security Risk Analysis of Enterprise Networks Using Probabilistic Attack Graphs[M]. Berlin: Springer, 2017
[61] Ou Xinming, Govindavajhala S, Appel A W. MulVAL: A logic-based network security analyzer[C] //Proc of USENIX Security Symp. Berkeley, CA: USENIX, 2005, 8: 113−128
[62] 陈小军,方滨兴,谭庆丰,等. 基于概率攻击图的内部攻击意图推断算法研究[J]. 计算机学报,2014,37(1):62−72 Chen Xiaojun, Fang Binxing, Tan Qingfeng, et al. Research on internal attack intent inference algorithm based on probabilistic attack graph[J]. Chinese Journal of Computers, 2014, 37(1): 62−72 (in Chinese)
[63] Sun Xiaoyan, Dai Jun, Liu Peng, et al. Using Bayesian networks for probabilistic identification of zero-day attack paths[J]. IEEE Transactions on Information Forensics and Security, 2018, 13(10): 2506−2521 doi: 10.1109/TIFS.2018.2821095
[64] Sahu A, Davis K. Structural learning techniques for Bayesian attack graphs in cyber physical power systems[C] //Proc of 2021 IEEE Texas Power and Energy Conf (TPEC). Piscataway, NJ: IEEE, 2021: 1−6
[65] Matthews I, Soudjani S, van Moorsel A. Stochastic simulation techniques for inference and sensitivity analysis of Bayesian attack graphs[C] //Proc of Int Conf on Science of Cyber Security. Berlin: Springer, 2021: 171−186
[66] Asvija B, Eswari R, Bijoy M B. Bayesian attack graphs for platform virtualized infrastructures in clouds[J]. Journal of Information Security and Applications, 2020, 51: 102455 doi: 10.1016/j.jisa.2020.102455
[67] Anwar A H, Kamhoua C A. Cyber deception using honeypot allocation and diversity: A game theoretic approach[C] //Proc of the 19th Annual Consumer Communications & Networking Conf (CCNC). Piscataway, NJ: IEEE, 2022: 543−549
[68] Li Shuai, Wang Ting, Ma Ji, et al. A three-party attack-defense deception game model based on evolutionary[C] //Proc of the 3rd Int Conf on Consumer Electronics and Computer Engineering (ICCECE). Piscataway, NJ: IEEE, 2023: 51−56
[69] Zhou Yuyang, Cheng Guang, Jiang Shanqing, et al. Cost-effective moving target defense against DDoS attacks using trilateral game and multi-objective Markov decision processes[J]. Computers & Security, 2020, 97: 101976
[70] Thakoor O, Tambe M, Vayanos P, et al. General-sum cyber deception games under partial attacker valuation information[C] //Proc of Int Foundation for Autonomous Agents and Multiagent Systems (AAMAS). Richland, SC: AAMAS, 2019: 2215−2217
[71] Liu Jieling, Wang Zhiliang, Yang Jiahai, et al. Deception maze: A stackelberg game-theoretic defense mechanism for intranet threats[C] // Proc of IEEE Int Conf on Communications (ICC 2021). Piscataway, NJ: IEEE, 2021: 1−6
[72] Sayed M A, Anwar A H, Kiekintveld C, et al. Cyber deception against zero-day attacks: A game theoretic approach[C] //Proc of Int Conf on Decision and Game Theory for Security. Berlin: Springer, 2022: 44−63
[73] Wahab O A, Bentahar J, Otrok H, et al. Resource-aware detection and defense system against multi-type attacks in the cloud: Repeated Bayesian stackelberg game[J]. IEEE Transactions on Dependable and Secure Computing, 2019, 18(2): 605−622
[74] Sengupta S, Chowdhary A, Huang Dijiang, et al. General sum Markov games for strategic detection of advanced persistent threats using moving target defense in cloud networks[C] //Proc of Decision and Game Theory for Security: 10th Int Conf. Berlin: Springer, 2019: 492−512
[75] Sengupta S, Chowdhary A, Huang Dijiang, et al. Moving target defense for the placement of intrusion detection systems in the cloud[C] //Proc of Decision and Game Theory for Security: 9th Int Conf. Berlin: Springer, 2018: 326−345
[76] Huang Linan, Zhu Quanyan. Dynamic Bayesian games for adversarial and defensive cyber deception[G]//Autonomous Cyber Deception: Reasoning, Adaptive Planning, and Evaluation of HoneyThings. Berlin: Springer, 2019: 75−97
[77] 杨峻楠,张红旗,张传富. 基于随机博弈与改进 WoLF-PHC的网络防御决策方法[J]. 计算机研究与发展,2019,56(5):942−954 Yang Junnan, Zhang Hongqi, Zhang Chuanfu. Network defense decision-making method based on stochastic game and improved WoLF-PHC[J]. Journal of Computer Research and Development, 2019, 56(5): 942−954 (in Chinese)
[78] Tsemogne O, Hayel Y, Kamhoua C, et al. Game-theoretic modeling of cyber deception against epidemic botnets in Internet of things[J]. IEEE Internet of Things Journal, 2021, 9(4): 2678−2687
[79] Thakoor O, Tambe M, Vayanos P, et al. Cyber camouflage games for strategic deception[C] //Proc of Decision and Game Theory for Security: 10th Int Conf. Berlin: Springer, 2019: 525−541
[80] Shinde A, Doshi P, Setayeshfar O. Cyber attack intent recognition and active deception using factored interactive POMDPs[C] //Proc of the 20th Int Conf on Autonomous Agents and MultiAgent Systems. Richland, SC: AAMAS, 2021: 1200−1208
[81] Zhang Tao, Xu Changqiao, Shen Jiahao, et al. How to disturb network reconnaissance: A moving target defense approach based on deep reinforcement learning[J]. IEEE Transactions on Information Forensics and Security, 2023, 18: 5735-5748
[82] Tian Wen, Du Miao, Ji Xiaopeng, et al. Honeypot detection strategy against advanced persistent threats in industrial internet of things: A prospect theoretic game[J]. IEEE Internet of Things Journal, 2021, 8(24): 17372−17381 doi: 10.1109/JIOT.2021.3080527
[83] Yoon S, Cho J H, Kim D S, et al. Attack graph-based moving target defense in software-defined networks[J]. IEEE Transactions on Network and Service Management, 2020, 17(3): 1653−1668 doi: 10.1109/TNSM.2020.2987085
[84] Hu Chenao, Yan Xuefeng. Dynamic trilateral game model for attack graph security game[C] //Proc of IOP Conf Series: Materials Science and Engineering. Bristol: IOP Publishing, 2020, 790: 012112
[85] Anwar A H, Kamhoua C. Game theory on attack graph for cyber deception[C] //Proc of Int Conf on Decision and Game Theory for Security. Berlin: Springer, 2020: 445−456
[86] Milani S, Shen W, Chan K S, et al. Harnessing the power of deception in attack graph-based security games[C] //Proc of Decision and Game Theory for Security: 11th Int Conf. Berlin: Springer, 2020: 147−167
[87] Wu Hua, Gu Yu, Cheng Guang, et al. Effectiveness evaluation method for cyber deception based on dynamic bayesian attack graph[C] //Proc of the 3rd Int Conf on Computer Science and Software Engineering. New York: ACM, 2020: 1−9
[88] Huang Weigui, Sun Yifeng, Ou Wang, et al. A flow scheduling model for SDN Honeypot using multi-layer attack graphs and signaling game[C] //Proc of 2021 7th Int Conf on Computer and Communications (ICCC). Piscataway, NJ: IEEE, 2021: 2012−2020
[89] Buczkowski P, Malacaria P, Hankin C, et al. Optimal security hardening over a probabilistic attack graph: A case study of an industrial control system using CySecTool[C] //Proc of the 2022 ACM Workshop on Secure and Trustworthy Cyber-Physical Systems. New York: ACM, 2022: 21−30
[90] Outkin A V, Schulz P V, Schulz T, et al. Defender policy evaluation and resource allocation with MITRE ATT&CK evaluations data[J]. IEEE Transactions on Dependable and Secure Computing, 2022, 20(3): 1909−1926
[91] Guo Mingyu, Li Jialiang, Neumann A, et al. Practical fixed-parameter algorithms for defending active directory style attack graphs[C] //Proc of the AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2022, 36(9): 9360−9367
[92] Ma Haoxiang, Han Shuo, Leslie N, et al. Optimal decoy resource allocation for proactive defense in probabilistic attack graphs[C] //Proc of the 2023 Int Conf on Autonomous Agents and Multiagent Systems. Richland, SC: AAMAS, 2023: 2616−2618
[93] Li Lening, Ma Haoxiang, Han Shuo, et al. Synthesis of proactive sensor placement in probabilistic attack graphs[C] //Proc of the 2023 American Control Conf (ACC). Piscataway, NJ: IEEE, 2023: 3415−3421
[94] Cao Yihan, Li Siyu, Liu Yixin, et al. A comprehensive survey of AI-generated content (AIGC): A history of generative AI from GAN to chatgpt[J]. arXiv preprint, arXiv: 2303.04226, 2023
[95] Ziems N, Yu Wenhao, Zhang Zhihan, et al. Large language models are built-in autoregressive search engines[J]. arXiv preprint, arXiv: 2305. 09612, 2023
[96] Panda S. Enhancing PDF interaction for a more engaging user experience in library: Introducing ChatPDF[J]. IP Indian Journal of Library Science and Information Technology, 2023, 8(1): 20−25 doi: 10.18231/j.ijlsit.2023.004
[97] Firat M, Kuleli S. What if GPT4 became autonomous: The Auto-GPT project and use cases[J]. Journal of Emerging Computer Technologies, 2023, 3(1): 1−6 doi: 10.57040/jet.v3i1.394
[98] Deng Gelei, Liu Yi, Mayoral-Vilches V, et al. PentestGPT: An LLM-empowered automatic penetration testing tool[J]. arXiv preprint, arXiv: 2308.06782, 2023
[99] Renaud K, Warkentin M, Westerman G. From ChatGPT to HackGPT: Meeting the Cybersecurity Threat of Generative AI[M]. Cambridge, MA: MIT Sloan Management Review, 2023
[100] Aleena N. Large Language Models in Cybersecurity: Upcoming AI Trends in 2023-24 [EB/OL]. 2023[2024-01-10]. https://hubs.ly/Q01XQM5q0
[101] Das S S, Dutta A, Purohit S, et al. Towards automatic mapping of vulnerabilities to attack patterns using large language models[C] //Proc of the 2022 IEEE Int Symp on Technologies for Homeland Security (HST). Piscataway, NJ: IEEE, 2022: 1−7
[102] 田志宏,方滨兴,廖清,等. 从自卫到护卫:新时期网络安全保障体系构建与发展建议[J]. 中国工程科学,2023,25(6):96−105 doi: 10.15302/J-SSCAE-2023.06.007 Tian Zhihong, Fang Binxing, Liao Qing, et al. Cybersecurity assurance system in the new era and development suggestions thereof: From self-defense to guard[J]. Strategic Study of CAE, 2023, 25(6): 96−105 (in Chinese) doi: 10.15302/J-SSCAE-2023.06.007
-
期刊类型引用(2)
1. 邱紫韵. 基于节点重要性的端到端信息流控制方法. 河南科技学院学报(自然科学版). 2025(01): 58-65 . 百度学术
2. 牛月. 计算机技术在办公自动化中的应用. 科技创新与应用. 2024(08): 187-190 . 百度学术
其他类型引用(4)