• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

人工智能系统安全与隐私风险

陈宇飞, 沈超, 王骞, 李琦, 王聪, 纪守领, 李康, 管晓宏

陈宇飞, 沈超, 王骞, 李琦, 王聪, 纪守领, 李康, 管晓宏. 人工智能系统安全与隐私风险[J]. 计算机研究与发展, 2019, 56(10): 2135-2150. DOI: 10.7544/issn1000-1239.2019.20190415
引用本文: 陈宇飞, 沈超, 王骞, 李琦, 王聪, 纪守领, 李康, 管晓宏. 人工智能系统安全与隐私风险[J]. 计算机研究与发展, 2019, 56(10): 2135-2150. DOI: 10.7544/issn1000-1239.2019.20190415
Chen Yufei, Shen Chao, Wang Qian, Li Qi, Wang Cong, Ji Shouling, Li Kang, Guan Xiaohong. Security and Privacy Risks in Artificial Intelligence Systems[J]. Journal of Computer Research and Development, 2019, 56(10): 2135-2150. DOI: 10.7544/issn1000-1239.2019.20190415
Citation: Chen Yufei, Shen Chao, Wang Qian, Li Qi, Wang Cong, Ji Shouling, Li Kang, Guan Xiaohong. Security and Privacy Risks in Artificial Intelligence Systems[J]. Journal of Computer Research and Development, 2019, 56(10): 2135-2150. DOI: 10.7544/issn1000-1239.2019.20190415

人工智能系统安全与隐私风险

基金项目: 国家自然科学基金项目(61822309,61773310,U1736205)
详细信息
  • 中图分类号: TP391

Security and Privacy Risks in Artificial Intelligence Systems

  • 摘要: 人类正在经历着由深度学习技术推动的人工智能浪潮,它为人类生产和生活带来了巨大的技术革新.在某些特定领域中,人工智能已经表现出达到甚至超越人类的工作能力.然而,以往的机器学习理论大多没有考虑开放甚至对抗的系统运行环境,人工智能系统的安全和隐私问题正逐渐暴露出来.通过回顾人工智能系统安全方面的相关研究工作,揭示人工智能系统中潜藏的安全与隐私风险.首先介绍了包含攻击面、攻击能力和攻击目标的安全威胁模型.从人工智能系统的4个关键环节——数据输入(传感器)、数据预处理、机器学习模型和输出,分析了相应的安全隐私风险及对策.讨论了未来在人工智能系统安全研究方面的发展趋势.
    Abstract: Human society is witnessing a wave of artificial intelligence (AI) driven by deep learning techniques, bringing a technological revolution for human production and life. In some specific fields, AI has achieved or even surpassed human-level performance. However, most previous machine learning theories have not considered the open and even adversarial environments, and the security and privacy issues are gradually rising. Besides of insecure code implementations, biased models, adversarial examples, sensor spoofing can also lead to security risks which are hard to be discovered by traditional security analysis tools. This paper reviews previous works on AI system security and privacy, revealing potential security and privacy risks. Firstly, we introduce a threat model of AI systems, including attack surfaces, attack capabilities and attack goals. Secondly, we analyze security risks and counter measures in terms of four critical components in AI systems: data input (sensor), data preprocessing, machine learning model and output. Finally, we discuss future research trends on the security of AI systems. The aim of this paper is to arise the attention of the computer security society and the AI society on security and privacy of AI systems, and so that they can work together to unlock AI’s potential to build a bright future.
  • 期刊类型引用(49)

    1. 舒文韬,李睿潇,孙天祥,黄萱菁,邱锡鹏. 大型语言模型:原理、实现与发展. 计算机研究与发展. 2024(02): 351-361 . 本站查看
    2. 刘永东,张瑶,王淼. 人工智能算力基础设施安全体系架构研究. 信息安全研究. 2024(02): 109-113 . 百度学术
    3. 张佳乐,朱诚诚,成翔,孙小兵,陈兵. 基于对比训练的联邦学习后门防御方法. 通信学报. 2024(03): 182-196 . 百度学术
    4. 贾国栋,庞浩,王相涛,刘青,宋倩. 基于大数据和人工智能技术的油田智能分析辅助决策子系统. 天然气与石油. 2024(03): 137-144 . 百度学术
    5. 朱倩倩,张振乾,高云龙. 我国人工智能安全检测能力现状及治理建议. 信息安全与通信保密. 2024(05): 62-68 . 百度学术
    6. 郭晓军,靳玮琨. 基于同态加密的分布式加密流量分类隐私保护方法. 西藏科技. 2024(08): 72-80 . 百度学术
    7. 张越,李雪妮,龚诗然. 基于大模型场景的数据安全风险分析. 信息通信技术. 2024(03): 8-13 . 百度学术
    8. 尹为民. 一种基于预训练模型的类增量学习近似重放方法分析. 电子技术. 2024(10): 144-145 . 百度学术
    9. 李智超,李鹿嘉. 人工智能公众风险感知的类型与演化——基于全球视角的分析. 电子科技大学学报(社科版). 2024(06): 21-33 . 百度学术
    10. 梁捷,郝晓燕,陈永乐. 面向视觉分类模型的投毒攻击. 计算机应用. 2023(02): 467-473 . 百度学术
    11. 蔺琛皓,沈超,邓静怡,胡鹏斌,王骞,马仕清,李琦,管晓宏. 虚假数字人脸内容生成与检测技术. 计算机学报. 2023(03): 469-498 . 百度学术
    12. 汤家军,王忠. 基于FGSM的对抗样本生成算法. 计算机技术与发展. 2023(03): 105-109 . 百度学术
    13. 黄学臻,吴星禄,翟翟,吕由. 网络安全等级保护人工智能系统基本要求初探. 信息系统工程. 2023(01): 113-115 . 百度学术
    14. 杨辰. 论国家安全视阈下的人工智能军事应用风险与治理——以俄乌冲突为例. 国际论坛. 2023(02): 61-82+157 . 百度学术
    15. 邵永军,杨超,龙志友,董是. 一种可解释人工智能桥结构健康监测方法. 科技通报. 2023(06): 57-62 . 百度学术
    16. 李怀胜. 数据全生命周期安全风险及其刑法回应路径. 苏州大学学报(哲学社会科学版). 2023(03): 74-85 . 百度学术
    17. 李新宇. 影像档案人工智能修复中的几个问题. 档案学研究. 2023(03): 144-148 . 百度学术
    18. 李安民,姚晓辉,谷海颖,张云庚,常远. 筑牢元宇宙安全底座, 保障元宇宙新型基础设施安全(英文). Security and Safety. 2023(02): 57-71 . 百度学术
    19. 王飞宇,张帆,杜加玉,类红乐,祁晓峰. 基于图像降噪与压缩的对抗样本检测方法. 计算机工程. 2023(10): 230-238 . 百度学术
    20. 杨立圣,罗文华. 基于样本分布特征的数据投毒防御. 计算机应用研究. 2023(09): 2845-2850 . 百度学术
    21. 赵金海. 人工智能在预防学校体育事故中的运用研究——基于SWOT分析. 体育科技文献通报. 2023(10): 113-117 . 百度学术
    22. 冯九龙,陶咏志,杨海涛,夏伟杰. 面向人工智能模型验证的安全风险治理研究. 中国高新科技. 2023(24): 63-65 . 百度学术
    23. 王嘉凯,刘艾杉,李思民,刘祥龙,吴文峻. 智能系统全生命周期安全测试理论与方法. 智能安全. 2023(01): 27-36 . 百度学术
    24. 李传军. 智能信息系统的隐私保护问题研究. 陕西行政学院学报. 2022(01): 38-42 . 百度学术
    25. 叶晓亮,王丽颖,李晓婷. 人工智能算法“黑盒”安全风险及治理探讨. 互联网天地. 2022(01): 32-35 . 百度学术
    26. 孟天广,李珍珍. 治理算法:算法风险的伦理原则及其治理逻辑. 学术论坛. 2022(01): 9-20 . 百度学术
    27. 张田,杨奎武,魏江宏,刘扬,宁原隆. 面向图像数据的对抗样本检测与防御技术综述. 计算机研究与发展. 2022(06): 1315-1328 . 本站查看
    28. 叶晓亮,陈羽凡. 人工智能安全风险及治理研究. 工业信息安全. 2022(02): 83-89 . 百度学术
    29. 刘广睿,张伟哲,李欣洁. 基于边缘样本的智能网络入侵检测系统数据污染防御方法. 计算机研究与发展. 2022(10): 2348-2361 . 本站查看
    30. 刘梦君,蒋新宇,石斯瑾,江南,吴笛. 人工智能教育融合安全警示:来自机器学习算法功能的原生风险分析. 江南大学学报(人文社会科学版). 2022(05): 89-101 . 百度学术
    31. 林伟. 人工智能数据安全风险及应对. 情报杂志. 2022(10): 105-111+88 . 百度学术
    32. 李珍珍,严宇,孟天广. 人工智能的伦理关切与治理路径. 中央社会主义学院学报. 2022(05): 139-150 . 百度学术
    33. 赵宏,常有康,王伟杰. 深度神经网络的对抗攻击及防御方法综述. 计算机科学. 2022(S2): 662-672 . 百度学术
    34. 吕江鸿. 利用人工智能实施犯罪的刑法应对研究. 南宁师范大学学报(哲学社会科学版). 2022(05): 24-35 . 百度学术
    35. 贺奕静,杨智勇,刘晓倩. 人工智能环境下数字档案资源共享的SWOT分析. 山西档案. 2022(04): 95-103 . 百度学术
    36. 姜妍,张立国. 面向深度学习模型的对抗攻击与防御方法综述. 计算机工程. 2021(01): 1-11 . 百度学术
    37. 胡启实,余卫星. 基于人工智能的多媒体数据库在线整合系统设计. 现代电子技术. 2021(02): 127-130 . 百度学术
    38. 赵男男. 我国人工智能领域发展动态与趋势研究. 成都工业学院学报. 2021(01): 41-46 . 百度学术
    39. 周纯毅,陈大卫,王尚,付安民,高艳松. 分布式深度学习隐私与安全攻击研究进展与挑战. 计算机研究与发展. 2021(05): 927-943 . 本站查看
    40. 李明慧,江沛佩,王骞,沈超,李琦. 针对深度学习模型的对抗性攻击与防御. 计算机研究与发展. 2021(05): 909-926 . 本站查看
    41. 潘旭东,张谧,颜一帆,陆逸凡,杨珉. 通用深度学习语言模型的隐私风险评估. 计算机研究与发展. 2021(05): 1092-1105 . 本站查看
    42. 杨蓉. 从信息安全、数据安全到算法安全——总体国家安全观视角下的网络法律治理. 法学评论. 2021(01): 131-136 . 百度学术
    43. 拓世英,孙浩,林子涵,陈进. 多模态图像智能目标识别对抗攻击. 国防科技. 2021(02): 8-13 . 百度学术
    44. 孙磊,张洪蒙,毛秀青,郭松,胡永进. 基于超分辨率重建的强压缩深度伪造视频检测. 电子与信息学报. 2021(10): 2967-2975 . 百度学术
    45. 陈大卫,付安民,周纯毅,陈珍珠. 基于生成式对抗网络的联邦学习后门攻击方案. 计算机研究与发展. 2021(11): 2364-2373 . 本站查看
    46. 吴吉,王月娟,景栋盛. 基于自优化深度网络的模型攻击方法. 软件工程. 2021(11): 39-41 . 百度学术
    47. 徐大海. 人工智能系统安全与隐私风险. 电子技术与软件工程. 2020(06): 230-231 . 百度学术
    48. 李辉,王迎春. 人工智能与国家安全:主要内涵及美国的战略认知. 全球科技经济瞭望. 2020(02): 21-25 . 百度学术
    49. 罗长银,陈学斌,宋尚文,刘洋. 数据预处理技术在异构数据中的应用. 软件. 2020(05): 6-13 . 百度学术

    其他类型引用(39)

计量
  • 文章访问数:  8648
  • HTML全文浏览量:  103
  • PDF下载量:  3677
  • 被引次数: 88
出版历程
  • 发布日期:  2019-09-30

目录

    /

    返回文章
    返回