• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

基于粗粒度数据流架构的稀疏卷积神经网络加速

吴欣欣, 欧焱, 李文明, 王达, 张浩, 范东睿

吴欣欣, 欧焱, 李文明, 王达, 张浩, 范东睿. 基于粗粒度数据流架构的稀疏卷积神经网络加速[J]. 计算机研究与发展, 2021, 58(7): 1504-1517. DOI: 10.7544/issn1000-1239.2021.20200112
引用本文: 吴欣欣, 欧焱, 李文明, 王达, 张浩, 范东睿. 基于粗粒度数据流架构的稀疏卷积神经网络加速[J]. 计算机研究与发展, 2021, 58(7): 1504-1517. DOI: 10.7544/issn1000-1239.2021.20200112
shu
Wu Xinxin, Ou Yan, Li Wenming, Wang Da, Zhang Hao, Fan Dongrui. Acceleration of Sparse Convolutional Neural Network Based on Coarse-Grained Dataflow Architecture[J]. Journal of Computer Research and Development, 2021, 58(7): 1504-1517. DOI: 10.7544/issn1000-1239.2021.20200112
Citation: Wu Xinxin, Ou Yan, Li Wenming, Wang Da, Zhang Hao, Fan Dongrui. Acceleration of Sparse Convolutional Neural Network Based on Coarse-Grained Dataflow Architecture[J]. Journal of Computer Research and Development, 2021, 58(7): 1504-1517. DOI: 10.7544/issn1000-1239.2021.20200112
shu
吴欣欣, 欧焱, 李文明, 王达, 张浩, 范东睿. 基于粗粒度数据流架构的稀疏卷积神经网络加速[J]. 计算机研究与发展, 2021, 58(7): 1504-1517. CSTR: 32373.14.issn1000-1239.2021.20200112
引用本文: 吴欣欣, 欧焱, 李文明, 王达, 张浩, 范东睿. 基于粗粒度数据流架构的稀疏卷积神经网络加速[J]. 计算机研究与发展, 2021, 58(7): 1504-1517. CSTR: 32373.14.issn1000-1239.2021.20200112
shu
Wu Xinxin, Ou Yan, Li Wenming, Wang Da, Zhang Hao, Fan Dongrui. Acceleration of Sparse Convolutional Neural Network Based on Coarse-Grained Dataflow Architecture[J]. Journal of Computer Research and Development, 2021, 58(7): 1504-1517. CSTR: 32373.14.issn1000-1239.2021.20200112
Citation: Wu Xinxin, Ou Yan, Li Wenming, Wang Da, Zhang Hao, Fan Dongrui. Acceleration of Sparse Convolutional Neural Network Based on Coarse-Grained Dataflow Architecture[J]. Journal of Computer Research and Development, 2021, 58(7): 1504-1517. CSTR: 32373.14.issn1000-1239.2021.20200112
shu

基于粗粒度数据流架构的稀疏卷积神经网络加速

  • 1(计算机体系结构国家重点实验室(中国科学院计算技术研究所) 北京 100190)

  • 2(中国科学院计算技术研究所 北京 100190)

  • 3(中国科学院大学计算机科学与技术学院 北京 100049) (wuxinxin@ict.ac.cn)

基金项目: 国家自然科学基金项目(61732018,61872335,61802367,61672499);中国科学院战略性先导科技专项(C类)(XDC05000000);中国科学院国际伙伴计划(171111KYSB20170032);计算机体系结构国家重点实验室创新项目(CARCH4408，CARCH4412)
详细信息

  • 中图分类号: TP387

Acceleration of Sparse Convolutional Neural Network Based on Coarse-Grained Dataflow Architecture

  • 1(State Key Laboratory of Computer Architecture (Institute of Computing Technology, Chinese Academy of Sciences), Beijing 100190)

  • 2(Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190)

  • 3(School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 100049)

Funds: This work was supported by the National Natural Science Foundation of China (61732018, 61872335, 61802367, 61672499), the Strategic Priority Research Program of Chinese Academy of Sciences (XDC05000000), the International Partnership Program of Chinese Academy of Sciences (171111KYSB20170032), and the Innovation Project of the State Key Laboratory of Computer Architecture (CARCH4408, CARCH4412).

HTML全文

    摘要
  • 摘要: 卷积神经网络(convolutional neural network, CNN)在图像处理、语音识别、自然语言处理等领域实现了很好的性能.大规模的神经网络模型通常遭遇计算、存储等资源限制，稀疏神经网络的出现有效地缓解了对计算和存储的需求.尽管现有的领域专用加速器能够有效处理稀疏网络，它们通过算法和结构的紧耦合实现高能效，却丧失了结构的灵活性.粗粒度数据流架构通过灵活的指令调度可以实现不同的神经网络应用.基于该架构，密集卷积规则的计算特性使不同通道共享相同的一套指令执行，然而稀疏网络中存在权值稀疏，使得这些指令中存在0值相关的无效指令，而现有的指令执行方式无法自动跳过它们从而产生无效计算.同时在执行不规则的稀疏网络时，现有的指令映射方法造成了计算阵列的负载不均衡.这些问题阻碍了稀疏网络性能的提升.基于不同通道共享一套指令的前提下,根据稀疏网络的数据和指令特征增加指令控制单元实现权值数据中0值相关指令的检测和跳过，同时使用负载均衡的指令映射算法解决稀疏网络中指令执行不均衡问题.实验表明：与密集网络相比稀疏网络实现了平均1.55倍的性能提升和63.77%的能耗减少.同时比GPU(cuSparse)和Cambricon-X实现的稀疏网络分别快2.39倍(Alexnet)、2.28倍(VGG16)和1.14倍(Alexnet)、1.23倍(VGG16).
    Abstract: Convolutional neural network (CNN) achieves good performance in image processing, speech recognition, natural language processing and other fields. Large-scale neural network models often encounter resource constraints such as computing and storage. The emergence of sparse neural networks effectively relieves the need for computing and storage. Although existing domain-specific accelerators can effectively handle sparse networks, they achieve high energy efficiency through tight coupling of algorithms and structures, and lose the flexibility of the structure. The coarse-grained dataflow architecture can implement different neural network applications through flexible instruction scheduling. Based on this architecture, the regular computing characteristics of dense convolution allow different channels to share the same set of instruction to execute. However, there are sparse weights in sparse networks, making these instructions have 0-value-related invalid instructions, which makes the existing instruction execution method cannot automatically skip them, resulting in invalid calculations. At the same time, when executing an irregular sparse network, existing instruction mapping methods cause an unbalanced load on the computing array. These problems hinder the improvement of sparse network performance. In this paper, based on the premise that different channels share a set of instructions, we add an instruction control unit based on the data and instruction characteristics of the sparse network to achieve detection and skipping of 0-value related instructions in the weight data, while using the load balanced instruction mapping algorithm to solve the problem of uneven instruction execution in sparse networks. Experiments show that compared with dense networks, sparse networks achieve an average performance increase of 1.55X and an energy reduction of 63.77%. In addition, it achieves 2.39X(Alexnet), 2.28X(VGG16) and 1.14X(Alexnet), 1.23X(VGG16) speedup over GPU (cuSparse) and Cambricon-X, respectively.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(51)

  • 期刊类型引用(17)

    1. 袁子淇，孙庆赟，周号益，朱祖坤，李建欣. MNDetector：基于多层网络的异常访问检测方法. 计算机研究与发展. 2025(03): 765-778 . 本站查看
    2. 陈佳乐，陈旭，景永俊，王叔洋. 图神经网络在异常检测中的应用综述. 计算机工程与应用. 2024(13): 51-65 . 百度学术
    3. 林馥，李明康，罗学雄，张书豪，张越，王梓桐. 基于异常感知的变分图自编码器的图级异常检测算法. 计算机研究与发展. 2024(08): 1968-1981 . 本站查看
    4. 孔翎超，刘国柱. 离群点检测算法综述. 计算机科学. 2024(08): 20-33 . 百度学术
    5. 王泽鹏 ，马超 ，张壮壮 ，吴黎兵 ，石小川 . 动态决策驱动的工控网络数据要素威胁检测方法. 计算机研究与发展. 2024(10): 2404-2416 . 本站查看
    6. 叶苗，程锦，黄源，蒋秋香，王勇. 面向WSN异常节点检测的融合重构机制与对比学习方法. 通信学报. 2024(09): 153-169 . 百度学术
    7. 王芳. 基于深度学习的网络传输数据异常识别方法. 现代电子技术. 2023(06): 62-66 . 百度学术
    8. 江铃燚，郑艺峰，陈澈，李国和，张文杰. 有监督深度学习的优化方法研究综述. 中国图象图形学报. 2023(04): 963-983 . 百度学术
    9. 富坤，刘赢华，郝玉涵，孙明磊. 基于图模块度聚类的异常检测算法. 计算机应用研究. 2023(06): 1721-1727 . 百度学术
    10. 曹成顺. 基于深度神经网络的输电线路异常自动辨识方法. 信息与电脑(理论版). 2023(15): 165-167 . 百度学术
    11. 冯健，赵宇鹏，刘天. 融合双重自监督信号的图异常检测. 科学技术与工程. 2023(35): 15142-15147 . 百度学术
    12. 王炳泉. 基于SVM的网络流量异常检测算法. 信息与电脑(理论版). 2023(22): 245-247 . 百度学术
    13. 唐立，郝鹏，任沛阁，张祖耀，何翔，张学军. 基于改进孤立森林算法的无人机异常行为检测. 航空学报. 2022(08): 584-593 . 百度学术
    14. 陈益芳，宣羿，樊立波，孙智卿，屠永伟，张亦涵，蔡乾晨. 基于机器学习的电网威胁检测算法模型和大数据平台设计. 电力大数据. 2022(04): 34-41 . 百度学术
    15. 刘华玲，刘雅欣，许珺怡，陈尚辉，乔梁. 图异常检测在金融反欺诈中的应用研究进展. 计算机工程与应用. 2022(22): 41-53 . 百度学术
    16. 李净. 国际视野下治理虚假新闻的技术手段及相关模型. 中国传媒科技. 2021(08): 17-21 . 百度学术
    17. 雷瑜，郑丹，曾繁如，樊志伟，宁黎，邓立. 四川耕地“非粮化”监测中的智能监测方法. 资源与人居环境. 2021(12): 47-51 . 百度学术

    其他类型引用(34)

    • 资源附件(0)
计量
  • 文章访问数:  603
  • HTML全文浏览量:  8
  • PDF下载量:  326
  • 被引次数: 51
出版历程
  • 发布日期:  2021-06-30

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(51)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计