• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

基于矩阵映射的拜占庭鲁棒联邦学习算法

刘飚, 张方佼, 王文鑫, 谢康, 张健毅

刘飚, 张方佼, 王文鑫, 谢康, 张健毅. 基于矩阵映射的拜占庭鲁棒联邦学习算法[J]. 计算机研究与发展, 2021, 58(11): 2416-2429. DOI: 10.7544/issn1000-1239.2021.20210633
引用本文: 刘飚, 张方佼, 王文鑫, 谢康, 张健毅. 基于矩阵映射的拜占庭鲁棒联邦学习算法[J]. 计算机研究与发展, 2021, 58(11): 2416-2429. DOI: 10.7544/issn1000-1239.2021.20210633
shu
Liu Biao, Zhang Fangjiao, Wang Wenxin, Xie Kang, Zhang Jianyi. A Byzantine-Robust Federated Learning Algorithm Based on Matrix Mapping[J]. Journal of Computer Research and Development, 2021, 58(11): 2416-2429. DOI: 10.7544/issn1000-1239.2021.20210633
Citation: Liu Biao, Zhang Fangjiao, Wang Wenxin, Xie Kang, Zhang Jianyi. A Byzantine-Robust Federated Learning Algorithm Based on Matrix Mapping[J]. Journal of Computer Research and Development, 2021, 58(11): 2416-2429. DOI: 10.7544/issn1000-1239.2021.20210633
shu
刘飚, 张方佼, 王文鑫, 谢康, 张健毅. 基于矩阵映射的拜占庭鲁棒联邦学习算法[J]. 计算机研究与发展, 2021, 58(11): 2416-2429. CSTR: 32373.14.issn1000-1239.2021.20210633
引用本文: 刘飚, 张方佼, 王文鑫, 谢康, 张健毅. 基于矩阵映射的拜占庭鲁棒联邦学习算法[J]. 计算机研究与发展, 2021, 58(11): 2416-2429. CSTR: 32373.14.issn1000-1239.2021.20210633
shu
Liu Biao, Zhang Fangjiao, Wang Wenxin, Xie Kang, Zhang Jianyi. A Byzantine-Robust Federated Learning Algorithm Based on Matrix Mapping[J]. Journal of Computer Research and Development, 2021, 58(11): 2416-2429. CSTR: 32373.14.issn1000-1239.2021.20210633
Citation: Liu Biao, Zhang Fangjiao, Wang Wenxin, Xie Kang, Zhang Jianyi. A Byzantine-Robust Federated Learning Algorithm Based on Matrix Mapping[J]. Journal of Computer Research and Development, 2021, 58(11): 2416-2429. CSTR: 32373.14.issn1000-1239.2021.20210633
shu

基于矩阵映射的拜占庭鲁棒联邦学习算法

  • 1(北京电子科技学院 北京 100070)

  • 2(信息网络安全公安部重点实验室(公安部第三研究所) 上海 200031)

  • 3(中国科学院网络测评技术重点实验室(中国科学院信息工程研究所) 北京 100093) (liubiao@besti.edu.cn)

基金项目: 国家重点研发计划项目(2018YFB1004100)；信息网络安全公安部重点实验室(公安部第三研究所)开放基金资助课题(C18612)；中国科学院网络测评技术重点实验室(中国科学院信息工程研究所)项目(KFKT2019-004)
详细信息

  • 中图分类号: TP391; TP309.2

A Byzantine-Robust Federated Learning Algorithm Based on Matrix Mapping

  • 1(Beijing Electronic Science and Technology Institute, Beijing 100070)

  • 2(Key Lab of Information Network Security of Ministry of Public Security (The Third Research Institute of Ministry of Public Security), Shanghai 200031)

  • 3(CAS Key Laboratory of Network Assessment Technology (Institute of Information Engineering, Chinese Academy of Sciences), Beijing 100093)

Funds: This work was supported by the National Key Research and Development Program of China (2018YFB1004100), the Opening Project of Key Lab of Information Network Security of Ministry of Public Security (The Third Research Institute of Ministry of Public Security) (C18612), and the Project of CAS Key Laboratory of Network Assessment Technology (Institute of Information Engineering, Chinese Academy of Sciences) (KFKT2019-004).

HTML全文

    摘要
  • 摘要: 联邦学习(federated learning)由于参数服务器端只收集客户端模型而不接触客户端本地数据，从而更好地保护数据隐私.然而其基础聚合算法FedAvg容易受到拜占庭客户端攻击.针对此问题，很多研究提出了不同聚合算法，但这些聚合算法存在防守能力不足、模型假设不贴合实际等问题.因此，提出一种新型的拜占庭鲁棒聚合算法.与现有聚合算法不同，该算法侧重于检测Softmax层的概率分布.具体地，参数服务器在收集客户端模型之后，通过构造的矩阵去映射模型的更新部分来获取此模型的Softmax层概率分布，排除分布异常的客户端模型.实验结果表明：在不降低FedAvg精度的前提下，在阻碍收敛攻击中，将拜占庭容忍率从40%提高到45%，在后门攻击中实现对边缘后门攻击的防守.此外，根据目前最先进的自适应攻击框架，设计出专门针对该聚合算法的自适应攻击，并进行了实验评估，实验结果显示，该聚合算法可以防御至少30%的拜占庭客户端.
    Abstract: Federated learning can better protect data privacy because the parameter server only collects the client model and does not touch the local data of the client. However, its basic aggregation algorithm FedAvg is vulnerable to Byzantine client attacks. In response to this problem, many studies have proposed different aggregation algorithms, but these aggregation algorithms have insufficient defensive capabilities, and the model assumptions do not fit the reality. Therefore, we propose a new type of Byzantine robust aggregation algorithm. Different from the existing aggregation algorithms, our algorithm focuses on detecting the probability distribution of the Softmax layer. Specifically, after collecting the client model, the parameter server obtains the Softmax layer probability distribution of the model through the generated matrix to map the updated part of the model, and eliminates the client model with abnormal distribution. The experimental results show that without reducing the accuracy of FedAvg, the Byzantine tolerance rate is increased from 40% to 45% in convergence prevention attacks, and the defense against edge-case backdoor attacks is realized in backdoor attacks. In addition, according to the current state-of-the-art adaptive attack framework, an adaptive attack is designed specifically for our algorithm, and experimental evaluations have been carried out. The experimental results show that our aggregation algorithm can defend at least 30% of Byzantine clients.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(48)

  • 期刊类型引用(20)

    1. 马行坡，闫梦凡，闵洁，殷明. 一种基于“云-边”协同计算的新安全联邦学习方案. 信阳师范大学学报(自然科学版). 2025(01): 66-71 . 百度学术
    2. 白静，许建军，张龙昌. 随机供需云环境中应用提供商收益驱动的最优资源协同配置策略. 信息系统学报. 2025(01): 105-127 . 百度学术
    3. 何涵，刘鹏，赵亮，王青山. 无人机任务卸载与充电协同优化. 工程科学与技术. 2024(01): 99-109 . 百度学术
    4. 朱思峰，蔡江昊，柴争义，孙恩林. 车联网边缘场景下基于免疫算法的计算卸载优化. 吉林大学学报(工学版). 2024(01): 221-231 . 百度学术
    5. 陈晶腾，陈芳. 分布式新能源接入的配电网降损技术研究. 自动化与仪器仪表. 2024(06): 291-295 . 百度学术
    6. 白静，张龙昌. 云应用提供商收益驱动的最佳云资源配置策略. 计算机集成制造系统. 2024(07): 2495-2505 . 百度学术
    7. 冯起，薛喜红，任龙，冯英. 考虑云端距离的科技服务边缘计算资源均衡调度算法. 自动化技术与应用. 2024(08): 95-98+104 . 百度学术
    8. 纪雯，杨哲铭，王智，郭斌，沈博. 视觉端边云融合架构:面向超级智慧城市群演进的关键技术. 中国科学:信息科学. 2024(11): 2518-2532 . 百度学术
    9. 赵璞，肖人彬. 基于自组织劳动分工的边云协同任务调度与资源缓存算法. 控制与决策. 2023(05): 1352-1362 . 百度学术
    10. 唐续豪，刘发贵，王彬，李超，蒋俊，唐泉，陈维明，何凤文. 跨云环境下任务调度综述. 计算机研究与发展. 2023(06): 1262-1275 . 本站查看
    11. 原静，孙骏. 基于边缘计算的智能电网数据调度与快速分发方法. 信息与电脑(理论版). 2023(06): 226-229 . 百度学术
    12. 刘鲤君，丁红，祁鸿燕，杜丽华，孙艳丽，姜宁. PaaS架构后端管理平台的云边协同调度算法设计. 现代电子技术. 2023(16): 91-96 . 百度学术
    13. 徐胜超. 基于混合蛙跳算法的容器云资源低能耗部署方法. 重庆邮电大学学报(自然科学版). 2023(05): 952-959 . 百度学术
    14. 何卫刚，王晓敏. 多技术辅助的高可靠矿井通信网络框架. 陕西煤炭. 2023(06): 150-153 . 百度学术
    15. 蒋伟进，孙永霞，朱昊冉，陈萍萍，张婉清，陈君鹏. 边云协同计算下基于ST-GCN的监控视频行为识别机制. 南京大学学报(自然科学). 2022(01): 163-174 . 百度学术
    16. 周伟，谢志强. 考虑多工序设备权重的资源协同综合调度算法. 电子与信息学报. 2022(05): 1625-1635 . 百度学术
    17. 李凌，陈曦，沈维捷，熊汉武，蔡冉冉. 面向电工装备智能监造的边缘缓存策略. 计算机与现代化. 2022(05): 61-67 . 百度学术
    18. 关天柱. 基于随机优化的边缘网络任务资源协同传输调度机制. 长江信息通信. 2022(06): 59-61 . 百度学术
    19. 邓勇琛，胡忠波，王素贞. 边缘计算环境下的任务调度综述. 河北省科学院学报. 2022(04): 1-7 . 百度学术
    20. 王其朝，金光淑，李庆，王锴，杨祖业，王宏. 工业边缘计算研究现状与展望. 信息与控制. 2021(03): 257-274 . 百度学术

    其他类型引用(28)

    • 资源附件(0)
计量
  • 文章访问数:  620
  • HTML全文浏览量:  3
  • PDF下载量:  545
  • 被引次数: 48
出版历程
  • 发布日期:  2021-10-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(48)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计