• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

深度神经网络压缩与加速综述

纪荣嵘, 林绍辉, 晁飞, 吴永坚, 黄飞跃

纪荣嵘, 林绍辉, 晁飞, 吴永坚, 黄飞跃. 深度神经网络压缩与加速综述[J]. 计算机研究与发展, 2018, 55(9): 1871-1888. DOI: 10.7544/issn1000-1239.2018.20180129
引用本文: 纪荣嵘, 林绍辉, 晁飞, 吴永坚, 黄飞跃. 深度神经网络压缩与加速综述[J]. 计算机研究与发展, 2018, 55(9): 1871-1888. DOI: 10.7544/issn1000-1239.2018.20180129
shu
Ji Rongrong, Lin Shaohui, Chao Fei, Wu Yongjian, Huang Feiyue. Deep Neural Network Compression and Acceleration: A Review[J]. Journal of Computer Research and Development, 2018, 55(9): 1871-1888. DOI: 10.7544/issn1000-1239.2018.20180129
Citation: Ji Rongrong, Lin Shaohui, Chao Fei, Wu Yongjian, Huang Feiyue. Deep Neural Network Compression and Acceleration: A Review[J]. Journal of Computer Research and Development, 2018, 55(9): 1871-1888. DOI: 10.7544/issn1000-1239.2018.20180129
shu
纪荣嵘, 林绍辉, 晁飞, 吴永坚, 黄飞跃. 深度神经网络压缩与加速综述[J]. 计算机研究与发展, 2018, 55(9): 1871-1888. CSTR: 32373.14.issn1000-1239.2018.20180129
引用本文: 纪荣嵘, 林绍辉, 晁飞, 吴永坚, 黄飞跃. 深度神经网络压缩与加速综述[J]. 计算机研究与发展, 2018, 55(9): 1871-1888. CSTR: 32373.14.issn1000-1239.2018.20180129
shu
Ji Rongrong, Lin Shaohui, Chao Fei, Wu Yongjian, Huang Feiyue. Deep Neural Network Compression and Acceleration: A Review[J]. Journal of Computer Research and Development, 2018, 55(9): 1871-1888. CSTR: 32373.14.issn1000-1239.2018.20180129
Citation: Ji Rongrong, Lin Shaohui, Chao Fei, Wu Yongjian, Huang Feiyue. Deep Neural Network Compression and Acceleration: A Review[J]. Journal of Computer Research and Development, 2018, 55(9): 1871-1888. CSTR: 32373.14.issn1000-1239.2018.20180129
shu

深度神经网络压缩与加速综述

  • 1(厦门大学信息科学与技术学院 福建厦门 361005)

  • 2(福建省智慧城市感知与计算重点实验室(厦门大学) 福建厦门 361005)

  • 3(上海腾讯科技有限公司优图实验室 上海 200233) (rrji@xmu.edu.cn)

基金项目: 国家重点研发计划项目(2017YFC0113000，2016YFB10015032)；国家自然科学基金项目(U1705262，61772443，61402388，61572410)；国家自然科学基金优秀青年科学基金项目(61422210)；福建省自然科学基金项目(2017J01125) This work was supported by the National Key Research and Development Program (2017YFC0113000, 2016YFB1001503), the National Natural Science Foundation of China (U1705262, 61772443, 61402388, 61572410), the National Natural Science Foundation of China for Excellent Young Scientists (61422210),and the Natural Science Foundation of Fujian Province of China (2017J01125).
详细信息

  • 中图分类号: TP391

Deep Neural Network Compression and Acceleration: A Review

  • 1(School of Information Science and Engineering, Xiamen University, Xiamen, Fujian, 361005)

  • 2(Fujian Key Laboratory of Sensing and Computing for Smart City (Xiamen University), Xiamen, Fujian, 361005)

  • 3(BestImage Laboratory, Tencent Technology (Shanghai) Co.,Ltd, Shanghai, 200233)

摘要

    摘要
  • 摘要: 深度神经网络在人工智能的应用中，包括计算机视觉、语音识别、自然语言处理方面，取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储，阻碍了在资源有限环境下的使用，如移动或嵌入式设备端.为解决此问题，在近年来产生大量关于深度神经网络压缩与加速的研究工作.对现有代表性的深度神经网络压缩与加速方法进行回顾与总结，这些方法包括了参数剪枝、参数共享、低秩分解、紧性滤波设计及知识蒸馏．具体地，将概述一些经典深度神经网络模型，详细描述深度神经网络压缩与加速方法，并强调这些方法的特性及优缺点.此外，总结了深度神经网络压缩与加速的评测方法及广泛使用的数据集，同时讨论分析一些代表性方法的性能表现.最后，根据不同任务的需要，讨论了如何选择不同的压缩与加速方法,并对压缩与加速方法未来发展趋势进行展望.
    Abstract: In recent years, deep neural networks (DNNs) have achieved remarkable success in many artificial intelligence (AI) applications, including computer vision, speech recognition and natural language processing. However, such DNNs have been accompanied by significant increase in computational costs and storage services, which prohibits the usages of DNNs on resource-limited environments such as mobile or embedded devices. To this end, the studies of DNN compression and acceleration have recently become more emerging. In this paper, we provide a review on the existing representative DNN compression and acceleration methods, including parameter pruning, parameter sharing, low-rank decomposition, compact filter designed, and knowledge distillation. Specifically, this paper provides an overview of DNNs, describes the details of different DNN compression and acceleration methods, and highlights the properties, advantages and drawbacks. Furthermore, we summarize the evaluation criteria and datasets widely used in DNN compression and acceleration, and also discuss the performance of the representative methods. In the end, we discuss how to choose different compression and acceleration methods to meet the needs of different tasks, and envision future directions on this topic.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(113)

  • 期刊类型引用(35)

    1. 韩晓，陈昕，肇毓. 高速公路施工控制区动态交通流预测的LSTM-BiGRU-Attention模型. 交通科技与经济. 2024(01): 17-23 . 百度学术
    2. 朱仕威，叶宝林，吴维敏. 基于深度学习的短时交通流预测方法综述与仿真研究. 软件导刊. 2024(02): 182-193 . 百度学术
    3. 余径舟，何其昌，时轮，杨冬梅. 基于深度学习的白车身焊接路径智能规划方法. 机械设计与研究. 2024(03): 116-121 . 百度学术
    4. 赖培源，李程，王增辉，王昌栋，廖德章. 基于图提示微调的交通流量预测. 计算机研究与发展. 2024(08): 2020-2029 . 本站查看
    5. 焦鹏飞，陈舒欣，郭翾，何东晓，刘栋. 图神经常微分方程综述. 计算机研究与发展. 2024(08): 2045-2066 . 本站查看
    6. 魏荣. 基于注意力机制的短时交通流预测模型研究. 交通科技与管理. 2024(20): 42-44 . 百度学术
    7. 邹正标，刘毅志，廖祝华，赵肄江. 动态交通流量预测的时空注意力图卷积网络. 山东大学学报(工学版). 2024(05): 50-61 . 百度学术
    8. 侯越，周瑞娟，张鑫. 基于自适应动态关联矩阵的时空一致性交通流预测研究. 兰州交通大学学报. 2024(06): 42-53 . 百度学术
    9. 张合川，邓琮，张献军，杨尚川. 基于CEEMDAN-DBSCAN-ICA-LSTM模型的道路交通流量预测研究. 公路. 2024(12): 355-365 . 百度学术
    10. 姜建国，陈鹏，郭晓丽，佟麟阁，万成德. 基于双注意力机制的Seq2Seq短期负荷预测. 吉林大学学报(信息科学版). 2023(02): 251-258 . 百度学术
    11. 汤兴恒，郭强，徐天慧，张彩明. 基于多尺度核自适应滤波的股票收益预测. 计算机应用. 2023(05): 1385-1393 . 百度学术
    12. 游兰，张涵钰，韩凡宇，金红，崔海波，何渡，汪坤钰，郑巧仙. 面向城市人群时空热点预测的混合神经网络. 计算机技术与发展. 2023(06): 194-201 . 百度学术
    13. 郭超，陈佳，汪悦. 基于图卷积神经网络的无线基站流量预测研究. 邮电设计技术. 2023(06): 36-40 . 百度学术
    14. 温雯，刘莹，蔡瑞初，郝志峰. 面向多粒度交通流预测的时空深度回归模型. 广东工业大学学报. 2023(04): 1-8 . 百度学术
    15. 林涵，郝正航，郭家鹏，吴育栋. 基于TCA-CNN-LSTM的短期负荷预测研究. 电测与仪表. 2023(08): 73-80 . 百度学术
    16. 李凯，任炳昱，王佳俊，关涛，余佳. 基于CEEMDAN-Transformer的灌浆流量混合预测模型. 水利学报. 2023(07): 806-817 . 百度学术
    17. 董红斌，韩爽，付强. 基于AR与DNN联合模型的地理传感器时间序列预测. 计算机科学. 2023(11): 41-48 . 百度学术
    18. 周正阳，刘浩，王琨，王鹏焜，王旭，汪炀. 基于教师-学生时空半监督网络的城市事件预测方法. 电子学报. 2023(12): 3557-3571 . 百度学术
    19. 倪庆剑，彭文强，张志政，翟玉庆. 基于信息增强传输的时空图神经网络交通流预测. 计算机研究与发展. 2022(02): 282-293 . 本站查看
    20. 李晓，卢先领. 基于双重注意力机制和GRU网络的短期负荷预测模型. 计算机工程. 2022(02): 291-296+305 . 百度学术
    21. 田帅帅，殷礼胜，何怡刚. 基于时空多维的VMD-GAT-Attention短时交通流量组合预测模型. 合肥工业大学学报(自然科学版). 2022(02): 176-185 . 百度学术
    22. 何芸. 基于LGBM模型的城市道路交通流量预测研究. 电子技术与软件工程. 2022(03): 259-262 . 百度学术
    23. 李朝阳，李琳，陶晓辉. 面向动态交通流预测的双流图卷积网络. 计算机科学与探索. 2022(02): 384-394 . 百度学术
    24. 张玺君，陶冶，张冠男，余光杰. 基于ACapsGRU的短时交通流预测研究. 华中科技大学学报(自然科学版). 2022(04): 51-56 . 百度学术
    25. 冯思芸，施振佺，曹阳. 基于全局时空特性的城市路网交通速度预测模型. 计算机工程. 2022(05): 112-117 . 百度学术
    26. 吕成双，王彤. 基于CATTSTS模型的国际原油价格预测研究. 价格月刊. 2022(05): 8-13 . 百度学术
    27. 侯越，崔菡珂，邓志远. 横向相关性及参数影响下的车道级交通预测. 公路交通科技. 2022(05): 122-130 . 百度学术
    28. 郭嘉宸，杨宇燊，王研，毛仕龙，孙丽珺. 精细化短时交通流预测模型及迁移部署方案. 计算机应用. 2022(06): 1748-1755 . 百度学术
    29. 石兵，黄茜子，宋兆翔，徐建桥. 基于用户激励的共享单车调度策略. 计算机应用. 2022(11): 3395-3403 . 百度学术
    30. 杜柳青，李仁杰，余永维. 基于注意力机制的时空卷积数控机床热误差模型研究. 农业机械学报. 2021(05): 404-411 . 百度学术
    31. 龙望晨，王索，罗定福，刘红. 深度神经网络在城市交通预测中的应用. 电脑知识与技术. 2021(16): 183-185+192 . 百度学术
    32. 张晴峰. 基于大数据的图书馆流量预测方法研究. 信息与电脑(理论版). 2021(11): 189-191 . 百度学术
    33. 殷礼胜，孙双晨，魏帅康，田帅帅，何怡刚. 基于自适应VMD-Attention-BiLSTM的交通流组合预测模型. 电子测量与仪器学报. 2021(07): 130-139 . 百度学术
    34. 张阳，胡月，辛东嵘. 一种考虑时空关联的深度学习短时交通流预测方法. 智能科学与技术学报. 2021(02): 172-178 . 百度学术
    35. 宋瑞蓉，王斌君，仝鑫，刘文懋. 融合多维时空特征的交通流量预测模型. 科学技术与工程. 2021(31): 13439-13446 . 百度学术

    其他类型引用(78)

    • 资源附件(0)
计量
  • 文章访问数:  3610
  • HTML全文浏览量:  6
  • PDF下载量:  2058
  • 被引次数: 113
出版历程
  • 发布日期:  2018-08-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(113)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计