Privacy and Security Issues in Machine Learning Systems: A Survey
-
摘要: 人工智能已经渗透到生活的各个角落,给人类带来了极大的便利.尤其是近年来,随着机器学习中深度学习这一分支的蓬勃发展,生活中的相关应用越来越多.不幸的是,机器学习系统也面临着许多安全隐患,而机器学习系统的普及更进一步放大了这些风险.为了揭示这些安全隐患并实现一个强大的机器学习系统,对主流的深度学习系统进行了调查.首先设计了一个剖析深度学习系统的分析模型,并界定了调查范围.调查的深度学习系统跨越了4个领域——图像分类、音频语音识别、恶意软件检测和自然语言处理,提取了对应4种类型的安全隐患,并从复杂性、攻击成功率和破坏等多个维度对其进行了表征和度量.随后,调研了针对深度学习系统的防御技术及其特点.最后通过对这些系统的观察,提出了构建健壮的深度学习系统的建议.Abstract: Artificial intelligence has penetrated into every corners of our life and brought humans great convenience. Especially in recent years, with the vigorous development of the deep learning branch in machine learning, there are more and more related applications in our life. Unfortunately, machine learning systems are suffering from many security hazards. Even worse, the popularity of machine learning systems further magnifies these hazards. In order to unveil these security hazards and assist in implementing a robust machine learning system, we conduct a comprehensive investigation of the mainstream deep learning systems. In the beginning of the study, we devise an analytical model for dissecting deep learning systems, and define our survey scope. Our surveyed deep learning systems span across four fields-image classification, audio speech recognition, malware detection, and natural language processing. We distill four types of security hazards and manifest them in multiple dimensions such as complexity, attack success rate, and damage. Furthermore, we survey defensive techniques for deep learning systems as well as their characteristics. Finally, through the observation of these systems, we propose the practical proposals of constructing robust deep learning system.
-
-
期刊类型引用(25)
1. 张世文,陈双,梁伟,李仁发. 联邦学习中的攻击手段与防御机制研究综述. 计算机工程与应用. 2024(05): 1-16 . 百度学术 2. 刘炜,刘宇昭,唐琮轲,王媛媛,佘维,田钊. 基于区块链的联邦蒸馏数据共享模型研究. 计算机科学. 2024(03): 39-47 . 百度学术 3. 汤凌韬,陈左宁,张鲁飞,吴东. 联邦学习中的隐私问题研究进展. 软件学报. 2023(01): 197-229 . 百度学术 4. 金源,李成智. 智能财务背景下的财务信息安全研究. 财会通讯. 2023(07): 136-144 . 百度学术 5. 先兴平,吴涛,乔少杰,吴渝,刘宴兵. 图学习隐私与安全问题研究综述. 计算机学报. 2023(06): 1184-1212 . 百度学术 6. 李功源,刘博涵,杨雨豪,邵栋. 可信人工智能系统的质量属性与实现:三级研究. 软件学报. 2023(09): 3941-3965 . 百度学术 7. 王守欣,彭长根,刘海,谭伟杰,张弘. 基于联邦学习的PATE教师模型聚合优化方法. 计算机与数字工程. 2023(11): 2608-2614 . 百度学术 8. 崔争艳,刘晨晨,孙滨. 基于机器学习的MOOC学习者弃学预测与预警系统实现. 信息与电脑(理论版). 2022(01): 65-67 . 百度学术 9. 王坤庆,刘婧,李晨,赵语杭,吕浩然,李鹏,刘炳莹. 联邦学习安全威胁综述. 信息安全研究. 2022(03): 223-234 . 百度学术 10. 陈玉明,董建威. 基于粒计算的非线性感知机. 数据采集与处理. 2022(03): 566-575 . 百度学术 11. 田枫,冯建臣,刘芳. 改进YOLOv4的油田作业现场烟火检测. 计算机系统应用. 2022(06): 300-306 . 百度学术 12. 宁晗阳,马苗,杨波,刘士昌. 密码学智能化研究进展与分析. 计算机科学. 2022(09): 288-296 . 百度学术 13. 刘梦君,蒋新宇,石斯瑾,江南,吴笛. 人工智能教育融合安全警示:来自机器学习算法功能的原生风险分析. 江南大学学报(人文社会科学版). 2022(05): 89-101 . 百度学术 14. 黄精武. 基于差分隐私的联邦学习数据隐私安全技术. 通信技术. 2022(12): 1618-1625 . 百度学术 15. 黄志强. 基于随机化防御的云应用安全体系技术研究. 电子设计工程. 2021(02): 150-154 . 百度学术 16. 赵俊杰,王金伟. 基于SmsGAN的对抗样本修复. 郑州大学学报(工学版). 2021(01): 50-55 . 百度学术 17. 张颖君,陈恺,周赓,吕培卓,刘勇,黄亮. 神经网络水印技术研究进展. 计算机研究与发展. 2021(05): 964-976 . 本站查看 18. 拓世英,孙浩,林子涵,陈进. 多模态图像智能目标识别对抗攻击. 国防科技. 2021(02): 8-13 . 百度学术 19. 张宇,李海良. 基于RSA的图像可识别对抗攻击方法. 网络与信息安全学报. 2021(05): 40-48 . 百度学术 20. 黄静琪,贾西平,陈道鑫,柏柯嘉,廖秀秀. 基于双对抗机制的图像攻击算法. 计算机工程. 2021(11): 150-157 . 百度学术 21. 孙爽,李晓会,刘妍,张兴. 不同场景的联邦学习安全与隐私保护研究综述. 计算机应用研究. 2021(12): 3527-3534 . 百度学术 22. 周俊,方国英,吴楠. 联邦学习安全与隐私保护研究综述. 西华大学学报(自然科学版). 2020(04): 9-17 . 百度学术 23. 李德权,许月,薛生. 基于动态约束自适应方法抵御高维鞍点攻击. 计算机研究与发展. 2020(09): 2001-2008 . 本站查看 24. 魏立斐,陈聪聪,张蕾,李梦思,陈玉娇,王勤. 机器学习的安全问题及隐私保护. 计算机研究与发展. 2020(10): 2066-2085 . 本站查看 25. 宋雪亚,王传安. 文本信息分词处理下的智能家电离线语音识别. 自动化与仪器仪表. 2020(12): 161-164 . 百度学术 其他类型引用(46)
计量
- 文章访问数: 3858
- HTML全文浏览量: 13
- PDF下载量: 3743
- 被引次数: 71