• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

基于秘密分享和梯度选择的高效安全联邦学习

董业, 侯炜, 陈小军, 曾帅

董业, 侯炜, 陈小军, 曾帅. 基于秘密分享和梯度选择的高效安全联邦学习[J]. 计算机研究与发展, 2020, 57(10): 2241-2250. DOI: 10.7544/issn1000-1239.2020.20200463
引用本文: 董业, 侯炜, 陈小军, 曾帅. 基于秘密分享和梯度选择的高效安全联邦学习[J]. 计算机研究与发展, 2020, 57(10): 2241-2250. DOI: 10.7544/issn1000-1239.2020.20200463
shu
Dong Ye, Hou Wei, Chen Xiaojun, Zeng Shuai. Efficient and Secure Federated Learning Based on Secret Sharing and Gradients Selection[J]. Journal of Computer Research and Development, 2020, 57(10): 2241-2250. DOI: 10.7544/issn1000-1239.2020.20200463
Citation: Dong Ye, Hou Wei, Chen Xiaojun, Zeng Shuai. Efficient and Secure Federated Learning Based on Secret Sharing and Gradients Selection[J]. Journal of Computer Research and Development, 2020, 57(10): 2241-2250. DOI: 10.7544/issn1000-1239.2020.20200463
shu
董业, 侯炜, 陈小军, 曾帅. 基于秘密分享和梯度选择的高效安全联邦学习[J]. 计算机研究与发展, 2020, 57(10): 2241-2250. CSTR: 32373.14.issn1000-1239.2020.20200463
引用本文: 董业, 侯炜, 陈小军, 曾帅. 基于秘密分享和梯度选择的高效安全联邦学习[J]. 计算机研究与发展, 2020, 57(10): 2241-2250. CSTR: 32373.14.issn1000-1239.2020.20200463
shu
Dong Ye, Hou Wei, Chen Xiaojun, Zeng Shuai. Efficient and Secure Federated Learning Based on Secret Sharing and Gradients Selection[J]. Journal of Computer Research and Development, 2020, 57(10): 2241-2250. CSTR: 32373.14.issn1000-1239.2020.20200463
Citation: Dong Ye, Hou Wei, Chen Xiaojun, Zeng Shuai. Efficient and Secure Federated Learning Based on Secret Sharing and Gradients Selection[J]. Journal of Computer Research and Development, 2020, 57(10): 2241-2250. CSTR: 32373.14.issn1000-1239.2020.20200463
shu

基于秘密分享和梯度选择的高效安全联邦学习

  • 1(中国科学院信息工程研究所 北京 100195)

  • 2(中国科学院大学网络空间安全学院 北京 101408) (dongye@iie.ac.cn)

详细信息

  • 中图分类号: TP391; TP181

Efficient and Secure Federated Learning Based on Secret Sharing and Gradients Selection

  • 1(Institute of Information Engineering, Chinese Academy of Sciences, Beijing 100195)

  • 2(School of Cyber Security, University of Chinese Academy of Sciences, Beijing 101408)

摘要

    摘要
  • 摘要: 近年来，联邦学习已经成为一种新兴的协作式机器学习方法.在联邦学习中，分布式用户可以仅通过共享梯度来训练各种模型.但是一些研究表明梯度也会泄露用户的隐私信息，而安全多方计算被认为是一种保护隐私安全的有效工具.另一方面，一些研究人员提出了Top-K梯度选择算法，以减少用户之间同步梯度的通信开销.但是，目前很少有工作可以平衡这2个领域的优势.将秘密共享与Top-K梯度选择相结合，设计了高效且安全的联邦学习协议，以便在保证用户隐私和数据安全的同时，减少通信开销，并提高模型训练效率.此外，提出了一种高效的方法来构造消息验证码，以验证服务器返回的聚合结果的有效性，其中，验证码引入的通信开销与梯度的数量无关.实验结果表明：相比于同样条件下的明文训练，该文的安全技术在通信和计算方面都会引入少量额外的开销，但该方案取得了和明文训练同一水平的模型准确率.
    Abstract: In recent years, federated learning (FL) has been an emerging collaborative machine learning method where distributed users can train various models by only sharing gradients. To prevent privacy leakages from gradients, secure multi-party computation (MPC) has been considered as a promising guarantee recently. Meanwhile, some researchers proposed the Top-K gradients selection algorithm to reduce the traffic for synchronizing gradients among distributed users. However, there are few works that can balance the advantages of the two areas at present. We combine secret sharing with Top-K gradients selection to design efficient and secure federated learning protocols, so that we can cut down the communication overheads and improve the efficiency during the training phase while guaranteeing the users privacy and data security. Also, we propose an efficient method to construct message authentication code (MAC) to verify the validity of the aggregated results from the servers. And the communication overheads introduced by the MAC is small and independent of the number of shared gradients. Besides, we implement a prototype system. Compared with the plaintext training, on the one hand, our secure techniques introduce small additional overheads in communication and computation; On the other hand, we achieve the same level of accuracy as the plaintext training.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(63)

  • 期刊类型引用(19)

    1. 包晓丽. 可信数据空间：技术与制度二元共治. 浙江学刊. 2024(01): 89-100+239-240 . 百度学术
    2. 林宁，张亮. 基于联邦学习的个性化推荐系统研究. 科技创新与生产力. 2024(04): 27-30 . 百度学术
    3. 李璇，邓天鹏，熊金波，金彪，林劼. 基于模型后门的联邦学习水印. 软件学报. 2024(07): 3454-3468 . 百度学术
    4. 洪榛，冯王磊，温震宇，吴迪，李涛涛，伍一鸣，王聪，纪守领. 基于梯度回溯的联邦学习搭便车攻击检测. 计算机研究与发展. 2024(09): 2185-2198 . 本站查看
    5. 陈卡. 基于模型分割的联邦学习数据隐私保护方法. 电信科学. 2024(09): 136-145 . 百度学术
    6. 余晟兴，陈钟. 基于同态加密的高效安全联邦学习聚合框架. 通信学报. 2023(01): 14-28 . 百度学术
    7. 林莉，张笑盈，沈薇，王万祥. FastProtector：一种支持梯度隐私保护的高效联邦学习方法. 电子与信息学报. 2023(04): 1356-1365 . 百度学术
    8. 顾育豪，白跃彬. 联邦学习模型安全与隐私研究进展. 软件学报. 2023(06): 2833-2864 . 百度学术
    9. 郭松岳，王阳谦，柏思远，刘永恒，周骏，王梦鸽，廖清. 面向数据混合分布的联邦自适应交互模型. 计算机研究与发展. 2023(06): 1346-1357 . 本站查看
    10. 陈宛桢，张恩，秦磊勇，洪双喜. 边缘计算下基于区块链的隐私保护联邦学习算法. 计算机应用. 2023(07): 2209-2216 . 百度学术
    11. 高莹，陈晓峰，张一余，王玮，邓煌昊，段培，陈培炫. 联邦学习系统攻击与防御技术研究综述. 计算机学报. 2023(09): 1781-1805 . 百度学术
    12. 张连福，谭作文. 一种面向多模态医疗数据的联邦学习隐私保护方法. 计算机科学. 2023(S2): 933-940 . 百度学术
    13. 周赞，张笑燕，杨树杰，李鸿婧，况晓辉，叶何亮，许长桥. 面向联邦算力网络的隐私计算自适激励机制. 计算机学报. 2023(12): 2705-2725 . 百度学术
    14. 莫慧凌，郑海峰，高敏，冯心欣. 基于联邦学习的多源异构数据融合算法. 计算机研究与发展. 2022(02): 478-487 . 本站查看
    15. 陈前昕，毕仁万，林劼，金彪，熊金波. 支持多数不规则用户的隐私保护联邦学习框架. 网络与信息安全学报. 2022(01): 139-150 . 百度学术
    16. 侯坤池，王楠，张可佳，宋蕾，袁琪，苗凤娟. 基于自编码神经网络的半监督联邦学习模型. 计算机应用研究. 2022(04): 1071-1074+1104 . 百度学术
    17. 詹玉峰，王家盛，夏元清. 面向联邦学习的数据交易机制. 指挥与控制学报. 2022(02): 122-132 . 百度学术
    18. 肖林声，钱慎一. 基于并行同态加密和STC的高效安全联邦学习. 通信技术. 2021(04): 922-928 . 百度学术
    19. 刘飚，张方佼，王文鑫，谢康，张健毅. 基于矩阵映射的拜占庭鲁棒联邦学习算法. 计算机研究与发展. 2021(11): 2416-2429 . 本站查看

    其他类型引用(44)

    • 资源附件(0)
计量
  • 文章访问数:  2418
  • HTML全文浏览量:  11
  • PDF下载量:  1286
  • 被引次数: 63
出版历程
  • 发布日期:  2020-09-30

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计