Network Defense Decision-Making Method Based on Stochastic Game and Improved WoLF-PHC
-
摘要: 当前运用随机博弈的网络攻防分析方法采用完全理性假设，但在实际的网络攻防对抗中攻防双方很难达到完全理性的高要求，降低了现有方法的准确性和指导价值.从网络攻防对抗实际出发，分析有限理性对攻防随机博弈的影响，在有限理性约束下构建攻防随机博弈模型.针对网络状态爆炸的问题，提出一种基于攻防图的网络状态与攻防动作提取方法，有效压缩了博弈状态空间.在上述基础上引入强化学习中的WoLF-PHC算法进行有限理性随机博弈分析并设计了具有在线学习能力的防御决策算法.该算法通过学习可以获得针对当前攻击者的最优防御策略，所得策略在有限理性下优于现有攻防随机博弈模型的纳什均衡策略.通过引入资格迹改进WoLF-PHC算法，进一步提高了防御者的学习速度.通过实验验证了所提方法的有效性与先进性.Abstract: At present, the method of network attack and defense analysis based on stochastic game adopts the assumption of complete rationality, but in the actual network attack-defense confrontation, it is difficult for both sides of attack and defense to meet the high requirement of complete rationality, which reduces the accuracy and guiding value of the existing methods. Based on the reality of network attack-defense confrontation, the influence of bounded rationality on attack-defense stochastic game is analyzed. Under the constraints of bounded rationality, a stochastic game model is constructed. Aiming at the problem of network state explosion, a method of extracting network state and attack-defense action based on attack-defense graph is proposed, which the game state space is effectively reduced. On this basis, WoLF-PHC algorithm in reinforcement learning is introduced to carry out bounded rational stochastic game analysis and design a defensive decision-making algorithm with online learning ability. By learning, the algorithm can obtain the optimal defense strategy for the current attacker. The obtained strategy is superior to the Nash equilibrium strategy of the existing attack-defense stochastic game model under bounded rationality. By introducing eligibility trace to improve WoLF-PHC, the learning speed of defenders is further improved. The experimental results verify the effectiveness and advancement of the proposed method.
-
Keywords:
- stochastic game /
- WoLF-PHC /
- network attack-defense /
- defense strategies /
- bounded rationality
-
计算机存储系统承载数据，是信息平台的核心基础设施. 近年来，全球数据规模爆发式增长，计算机存储系统面临着高速数据访问、海量数据存储以及存储服务质量保障的挑战. 同时，由于新型硬件（如NVMe SSD、持久内存、异构加速设备等）的发展与成熟，存储系统技术研究面临着诸多新的机遇.
基于上述背景，为促进存储领域的技术交流，《计算机研究与发展》推出了本期存储专题. 本期专题收录了6篇论文，分别展示了新硬件环境下存储系统设计和大规模数据存储服务质量保障等存储领域关注热点的研究现状和最新研究成果，希望能为从事相关工作的读者提供借鉴和帮助.
周小晖等作者的论文“基于融合学习的无监督多维时间序列异常检测”针对多维时间序列异常检测效果差的问题，提出了一种基于融合学习的无监督多维时间序列异常检测方法. 该方法同时对多维时间序列的数据局部特征和数据全局特征进行建模，并基于重构误差检测异常，提升了异常检测效果.
刘扬等作者的论文“ZB+ -tree：一种 ZNS SSD 感知的新型索引结构”针对传统的 B+ -tree 索引结构不适配 ZNS SSD 的问题，提出了ZNS SSD感知的ZB+ -tree索引结构. 该索引结构通过将索引节点在常规Zone和顺序Zone分散存储，实现了运行时间和空间利用率指标的提升.
屠要峰等作者的论文“UStore：面向新型硬件的统一存储系统”为适配 NVMe SSD、持久内存、异构加速设备等新型硬件的特性，提出了一种兼容多种存储介质的统一存储系统 UStore. 该存储系统包括与物理存储介质形态解耦的元数据设计、高效的数据管理机制和更新策略，充分发挥了存储硬件的特性和性能.
杨勇鹏等作者的论文“一种 wandering B+ tree 问题解决方法”针对日志结构存储系统中B+ tree树结点异地更新会导致树结构递归更新的问题，提出 IBT B+ tree 的解决方法. 该方法将树结点逻辑索引和物理地址均存放在树结构中，同时引入 dirty 链表设计和非递归更新的 IBT B+ tree 下刷算法，实现在不引入额外开销的条件下解决wandering B+ tree的问题.
文宇鸿等作者的论文“多租户固态盘服务质量保障技术综述”深入分析了多租户固态盘服务质量保障面临的性能干扰、性能不公平及总体性能损失问题，分类介绍了以保障性能隔离、性能公平、优化总体性能为目标的研究工作及技术演进方向，总结了多租户固态盘服务质量保障技术的研究现状并对未来研究方向进行了展望.
胡浩等作者的论文“新型内存硬件环境中的事务管理系统综述”全面总结了新型硬件环境下的事务管理系统，阐述了当前基于新型硬件事务管理系统的技术路线，重点剖析了硬件事务内存和非易失性存储硬件下的事务管理系统的优势和不足，指明了新型硬件环境中事务管理系统潜在的发展方向以及面临的挑战.
本专题所录用的6篇论文中，1篇论文重点关注云系统中多维时间序列的故障检测，3篇论文重点关注新硬件环境下的存储系统设计及索引结构设计，2篇论文对基于新型硬件的事务管理系统和多租户固态盘服务质量保障技术进行了综述. 由于专题篇幅有限等原因，本专题无法全面覆盖存储领域各方面的最新研究进展，不当之处请同行学者批评指正! 感谢各位作者、审稿专家和编辑部的全力支持和辛勤付出!
舒继武 （清华大学）
王意洁 （国防科技大学）
2023年2月
计量
- 文章访问数: 1238
- HTML全文浏览量: 6
- PDF下载量: 411
下载:
