机器学习系统的隐私和安全问题综述

何英哲; 胡兴波; 何锦雯; 孟国柱; 陈恺

doi:10.7544/issn1000-1239.2019.20190437

机器学习系统的隐私和安全问题综述

(信息安全国家重点实验室(中国科学院信息工程研究所) 北京 100195) (中国科学院信息工程研究所北京 100195) (中国科学院大学网络空间安全学院北京 101408) (heyingzhe@iie.ac.cn)

基金项目: 国家重点研发计划项目(2016QY04W0805)；国家自然科学基金项目(U1836211, 61728209)；中国科学院青年创新促进会；北京市科技新星计划；北京市自然科学基金项目(JQ18011)；国家前沿科技创新项目(YJKYYQ20170070)

详细信息

中图分类号: TP391
计量
- 文章访问数: 3877
- HTML全文浏览量: 14
- PDF下载量: 3749
出版历程
- 发布日期: 2019-09-30

Privacy and Security Issues in Machine Learning Systems: A Survey

(State Key Laboratory of Information Security (Institute of Information Engineering, Chinese Academy of Sciences), Beijing 100195) (Institute of Information Engineering, Chinese Academy of Sciences, Beijing 100195) (School of Cyber Security, University of Chinese Academy of Sciences, Beijing 101408)

摘要

摘要: 人工智能已经渗透到生活的各个角落，给人类带来了极大的便利.尤其是近年来，随着机器学习中深度学习这一分支的蓬勃发展，生活中的相关应用越来越多.不幸的是，机器学习系统也面临着许多安全隐患，而机器学习系统的普及更进一步放大了这些风险.为了揭示这些安全隐患并实现一个强大的机器学习系统，对主流的深度学习系统进行了调查.首先设计了一个剖析深度学习系统的分析模型，并界定了调查范围.调查的深度学习系统跨越了4个领域——图像分类、音频语音识别、恶意软件检测和自然语言处理，提取了对应4种类型的安全隐患，并从复杂性、攻击成功率和破坏等多个维度对其进行了表征和度量.随后，调研了针对深度学习系统的防御技术及其特点.最后通过对这些系统的观察，提出了构建健壮的深度学习系统的建议.
- 机器学习安全 /
- 深度学习安全 /
- 攻防竞赛 /
- 对抗攻击 /
- 成员推理攻击 /
- 隐私保护
Abstract: Artificial intelligence has penetrated into every corners of our life and brought humans great convenience. Especially in recent years, with the vigorous development of the deep learning branch in machine learning, there are more and more related applications in our life. Unfortunately, machine learning systems are suffering from many security hazards. Even worse, the popularity of machine learning systems further magnifies these hazards. In order to unveil these security hazards and assist in implementing a robust machine learning system, we conduct a comprehensive investigation of the mainstream deep learning systems. In the beginning of the study, we devise an analytical model for dissecting deep learning systems, and define our survey scope. Our surveyed deep learning systems span across four fields-image classification, audio speech recognition, malware detection, and natural language processing. We distill four types of security hazards and manifest them in multiple dimensions such as complexity, attack success rate, and damage. Furthermore, we survey defensive techniques for deep learning systems as well as their characteristics. Finally, through the observation of these systems, we propose the practical proposals of constructing robust deep learning system.
- machine learning security /
- deep learning security /
- attack and defense race /
- adversarial attack /
- membership inference attack /
- privacy-preserving

HTML全文

参考文献(0)

施引文献(23)

期刊类型引用(13)

1.	周康，阳爱民，周栋，林楠铠. 基于稀疏连接和多通道LSTM的NL2SQL研究. 信息技术. 2024(08): 169-173+180 . 百度学术
2.	富庭轩，陈启明，杨怀宇. 一种新型的数据库自然语言查询实现方案. 现代信息科技. 2024(15): 51-54+59 . 百度学术
3.	李伟强，王震，张正毅. AIGC时代下物流客服产业优化与探索. 中国新技术新产品. 2024(18): 133-136 . 百度学术
4.	何佳壕，刘喜平，舒晴，万常选，刘德喜，廖国琼. 带复杂计算的金融领域自然语言查询的SQL生成. 浙江大学学报(工学版). 2023(02): 277-286 . 百度学术
5.	赵志超，游进国，何培蕾，李晓武. 数据库中文查询对偶学习式生成SQL语句研究. 中文信息学报. 2023(03): 164-172 . 百度学术
6.	王燕凤. 数据库查询系统中自然语言理解技术应用. 科技创新与应用. 2023(18): 23-26 . 百度学术
7.	殷来祥，李志强，付琼莹. 基于NL2SQL的兵棋数据智能统计分析方法研究. 系统仿真学报. 2023(09): 2000-2010 . 百度学术
8.	梁清源，朱琪豪，孙泽宇，张路，张文杰，熊英飞，梁广泰，郁莲. 基于深度学习的SQL生成研究综述. 中国科学:信息科学. 2022(08): 1363-1392 . 百度学术
9.	熊军，张冲，王代印，宋连双，陈峰. 三区三线管控下GIS划定永久基本农田研究. 城市建筑. 2022(22): 41-45 . 百度学术
10.	冯丽露，康耀龙，高晓晶，王涛. 基于SSM框架的数据结构在线评测系统设计与实现. 中国信息技术教育. 2021(13): 86-89 . 百度学术
11.	何文红. 基于深度学习背景下的高中数学教学研究. 高考. 2021(22): 51-52 . 百度学术
12.	千月欣，王永忠，李佳骏，徐天羿. 基于深度学习的机场能见度预测研究. 云南民族大学学报(自然科学版). 2021(06): 615-620 . 百度学术
13.	王胜杰，李焕云. 基于灰色GM模型的数据压缩处理方法. 电脑知识与技术. 2021(36): 151-152+159 . 百度学术