机器学习模型可解释性方法、应用与安全研究综述

纪守领; 李进锋; 杜天宇; 李博

doi:10.7544/issn1000-1239.2019.20190540

机器学习模型可解释性方法、应用与安全研究综述

¹(浙江大学计算机科学与技术学院网络空间安全研究中心杭州 310027)
²(伊利诺伊大学香槟分校计算机科学学院美国伊利诸伊州厄巴纳香槟 61822) (lijinfeng0713@zju.edu.cn)

基金项目: 国家自然科学基金项目(61772466,U1836202)；浙江省自然科学基金杰出青年项目(LR19F020003)；浙江省科技计划项目(2017C01055)

详细信息

中图分类号: TP391
计量
- 文章访问数: 4423
- HTML全文浏览量: 36
- PDF下载量: 3187
出版历程
- 发布日期: 2019-09-30

Survey on Techniques, Applications and Security of Machine Learning Interpretability

¹(Institute of Cyberspace Research and College of Computer Science and Technology, Zhejiang University, Hangzhou 310027)
²(Department of Computer Science, University of Illinois at Urbana-Champaign, Urbana-Champaign, IL, USA 61822)

摘要

摘要: 尽管机器学习在许多领域取得了巨大的成功，但缺乏可解释性严重限制了其在现实任务尤其是安全敏感任务中的广泛应用.为了克服这一弱点，许多学者对如何提高机器学习模型可解释性进行了深入的研究，并提出了大量的解释方法以帮助用户理解模型内部的工作机制.然而，可解释性研究还处于初级阶段，依然还有大量的科学问题尚待解决.并且，不同的学者解决问题的角度不同，对可解释性赋予的含义也不同，所提出的解释方法也各有侧重.迄今为止，学术界对模型可解释性仍缺乏统一的认识，可解释性研究的体系结构尚不明确.在综述中，回顾了机器学习中的可解释性问题，并对现有的研究工作进行了系统的总结和科学的归类.同时，讨论了可解释性相关技术的潜在应用，分析了可解释性与可解释机器学习的安全性之间的关系，并且探讨了可解释性研究当前面临的挑战和未来潜在的研究方向，以期进一步推动可解释性研究的发展和应用.
- 机器学习 /
- 可解释性 /
- 解释方法 /
- 可解释机器学习 /
- 安全性
Abstract: While machine learning has achieved great success in various domains, the lack of interpretability has limited its widespread applications in real-world tasks, especially security-critical tasks. To overcome this crucial weakness, intensive research on improving the interpretability of machine learning models has emerged, and a plethora of interpretation methods have been proposed to help end users understand its inner working mechanism. However, the research on model interpretation is still in its infancy, and there are a large amount of scientific issues to be resolved. Furthermore, different researchers have different perspectives on solving the interpretation problem and give different definitions for interpretability, and the proposed interpretation methods also have different emphasis. Till now, the research community still lacks a comprehensive understanding of interpretability as well as a scientific guide for the research on model interpretation. In this survey, we review the explanatory problems in machine learning, and make a systematic summary and scientific classification of the existing research works. At the same time, we discuss the potential applications of interpretation related technologies, analyze the relationship between interpretability and the security of interpretable machine learning, and discuss the current research challenges and potential future research directions, aiming at providing necessary help for future researchers to facilitate the research and application of model interpretability.
- machine learning /
- interpretability /
- interpretation method /
- interpretable machine learning /
- security

HTML全文

参考文献(0)

施引文献(23)

期刊类型引用(13)

1.	周康，阳爱民，周栋，林楠铠. 基于稀疏连接和多通道LSTM的NL2SQL研究. 信息技术. 2024(08): 169-173+180 . 百度学术
2.	富庭轩，陈启明，杨怀宇. 一种新型的数据库自然语言查询实现方案. 现代信息科技. 2024(15): 51-54+59 . 百度学术
3.	李伟强，王震，张正毅. AIGC时代下物流客服产业优化与探索. 中国新技术新产品. 2024(18): 133-136 . 百度学术
4.	何佳壕，刘喜平，舒晴，万常选，刘德喜，廖国琼. 带复杂计算的金融领域自然语言查询的SQL生成. 浙江大学学报(工学版). 2023(02): 277-286 . 百度学术
5.	赵志超，游进国，何培蕾，李晓武. 数据库中文查询对偶学习式生成SQL语句研究. 中文信息学报. 2023(03): 164-172 . 百度学术
6.	王燕凤. 数据库查询系统中自然语言理解技术应用. 科技创新与应用. 2023(18): 23-26 . 百度学术
7.	殷来祥，李志强，付琼莹. 基于NL2SQL的兵棋数据智能统计分析方法研究. 系统仿真学报. 2023(09): 2000-2010 . 百度学术
8.	梁清源，朱琪豪，孙泽宇，张路，张文杰，熊英飞，梁广泰，郁莲. 基于深度学习的SQL生成研究综述. 中国科学:信息科学. 2022(08): 1363-1392 . 百度学术
9.	熊军，张冲，王代印，宋连双，陈峰. 三区三线管控下GIS划定永久基本农田研究. 城市建筑. 2022(22): 41-45 . 百度学术
10.	冯丽露，康耀龙，高晓晶，王涛. 基于SSM框架的数据结构在线评测系统设计与实现. 中国信息技术教育. 2021(13): 86-89 . 百度学术
11.	何文红. 基于深度学习背景下的高中数学教学研究. 高考. 2021(22): 51-52 . 百度学术
12.	千月欣，王永忠，李佳骏，徐天羿. 基于深度学习的机场能见度预测研究. 云南民族大学学报(自然科学版). 2021(06): 615-620 . 百度学术
13.	王胜杰，李焕云. 基于灰色GM模型的数据压缩处理方法. 电脑知识与技术. 2021(36): 151-152+159 . 百度学术