• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

基于忆阻器的PIM结构实现深度卷积神经网络近似计算

李楚曦, 樊晓桠, 赵昌和, 张盛兵, 王党辉, 安建峰, 张萌

李楚曦, 樊晓桠, 赵昌和, 张盛兵, 王党辉, 安建峰, 张萌. 基于忆阻器的PIM结构实现深度卷积神经网络近似计算[J]. 计算机研究与发展, 2017, 54(6): 1367-1380. DOI: 10.7544/issn1000-1239.2017.20170099
引用本文: 李楚曦, 樊晓桠, 赵昌和, 张盛兵, 王党辉, 安建峰, 张萌. 基于忆阻器的PIM结构实现深度卷积神经网络近似计算[J]. 计算机研究与发展, 2017, 54(6): 1367-1380. DOI: 10.7544/issn1000-1239.2017.20170099
shu
Li Chuxi, Fan Xiaoya, Zhao Changhe, Zhang Shengbing, Wang Danghui, An Jianfeng, Zhang Meng. A Memristor-Based Processing-in-Memory Architecture for Deep Convolutional Neural Networks Approximate Computation[J]. Journal of Computer Research and Development, 2017, 54(6): 1367-1380. DOI: 10.7544/issn1000-1239.2017.20170099
Citation: Li Chuxi, Fan Xiaoya, Zhao Changhe, Zhang Shengbing, Wang Danghui, An Jianfeng, Zhang Meng. A Memristor-Based Processing-in-Memory Architecture for Deep Convolutional Neural Networks Approximate Computation[J]. Journal of Computer Research and Development, 2017, 54(6): 1367-1380. DOI: 10.7544/issn1000-1239.2017.20170099
shu
李楚曦, 樊晓桠, 赵昌和, 张盛兵, 王党辉, 安建峰, 张萌. 基于忆阻器的PIM结构实现深度卷积神经网络近似计算[J]. 计算机研究与发展, 2017, 54(6): 1367-1380. CSTR: 32373.14.issn1000-1239.2017.20170099
引用本文: 李楚曦, 樊晓桠, 赵昌和, 张盛兵, 王党辉, 安建峰, 张萌. 基于忆阻器的PIM结构实现深度卷积神经网络近似计算[J]. 计算机研究与发展, 2017, 54(6): 1367-1380. CSTR: 32373.14.issn1000-1239.2017.20170099
shu
Li Chuxi, Fan Xiaoya, Zhao Changhe, Zhang Shengbing, Wang Danghui, An Jianfeng, Zhang Meng. A Memristor-Based Processing-in-Memory Architecture for Deep Convolutional Neural Networks Approximate Computation[J]. Journal of Computer Research and Development, 2017, 54(6): 1367-1380. CSTR: 32373.14.issn1000-1239.2017.20170099
Citation: Li Chuxi, Fan Xiaoya, Zhao Changhe, Zhang Shengbing, Wang Danghui, An Jianfeng, Zhang Meng. A Memristor-Based Processing-in-Memory Architecture for Deep Convolutional Neural Networks Approximate Computation[J]. Journal of Computer Research and Development, 2017, 54(6): 1367-1380. CSTR: 32373.14.issn1000-1239.2017.20170099
shu

基于忆阻器的PIM结构实现深度卷积神经网络近似计算

  • 1(西北工业大学计算机学院 西安 710129)

  • 2(嵌入式系统集成教育部工程研究中心(西北工业大学) 西安 710129) (lichuxi@mail.nwpu.edu.cn)

基金项目: 国家自然科学基金项目(61472322)；中央高校基本科研业务费专项资金项目(3102015BJ(Ⅱ)ZS018)
详细信息

  • 中图分类号: TP303

A Memristor-Based Processing-in-Memory Architecture for Deep Convolutional Neural Networks Approximate Computation

  • 1(School of Computer Science, Northwestern Polytechnical University, Xi’an 710129)

  • 2(Engineering and Research Center of Embedded Systems Integration (Northwestern Polytechnical University), Ministry of Education, Xi’an 710129)

HTML全文

    摘要
  • 摘要: 忆阻器(memristor)能够将存储和计算的特性融合，可用于构建存储计算一体化的PIM(processing-in-memory)结构.但是，由于计算阵列以及结构映射方法的限制，基于忆阻器阵列的深度神经网络计算需要频繁的AD/DA转换以及大量的中间存储，导致了显著的能量和面积开销.提出了一种新型的基于忆阻器的深度卷积神经网络近似计算PIM结构，利用模拟忆阻器大大增加数据密度，并将卷积过程分解到不同形式的忆阻器阵列中分别计算，增加了数据并行性，减少了数据转换次数并消除了中间存储，从而实现了加速和节能.针对该结构中可能存在的精度损失，给出了相应的优化策略.对不同规模和深度的神经网络计算进行仿真实验评估，结果表明，在相同计算精度下，该结构可以最多降低90%以上的能耗，同时计算性能提升约90%.
    Abstract: Memristor is one of the most promising candidates to build processing-in-memory (PIM) structures. The memristor-based PIM with digital or multi-level memristors has been proposed for neuromorphic computing. The essential frequent AD/DA converting and intermediate memory in these structures leads to significant energy and area overhead. To address this issue, a memristor-based PIM architecture for deep convolutional neural network (CNN) is proposed in this work. It exploits the analog architecture to eliminate data converting in neuron layer banks, each of which consists of two special modules named weight sub-arrays (WSAs) and accumulate sub-arrays (ASAs). The partial sums of neuron inputs are generated in WSAs concurrently and are written into ASAs continuously, in which the results are computed finally. The noise in proposed analog style architecture is analyzed quantitatively in both model and circuit levels, and a synthetic solution is presented to suppress the noise, which calibrates the non-linear distortion of weight with a corrective function, pre-charges the write module to reduce the parasitic effects, and eliminates noise with a modified noise-aware training. The proposed design has been evaluated by varying neural network benchmarks, in which the results show that the energy efficiency and performance can both be improved about 90% in specific neural network without accuracy losses compared with digital solutions.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(63)

  • 期刊类型引用(12)

    1. 武家辉，李科研，陈丽新，张家诺，刘帅兵，逯鹏. 神经架构搜索技术研究综述. 计算机应用研究. 2025(01): 11-18 . 百度学术
    2. 刘倩男，闫佳，刘诚. 基于改进MobileNetV3的岩石薄片分类研究. 电脑知识与技术. 2025(07): 26-28 . 百度学术
    3. 吴艳灵，汤宝平，邓蕾，付豪. 低通筛选优化神经架构搜索的风电齿轮箱边缘侧故障诊断方法. 机械工程学报. 2025(07): 361-372 . 百度学术
    4. 宋玉红，沙行勉，诸葛晴凤，许瑞，王寒. RR-SC:边缘设备中基于随机计算神经网络的运行时可重配置框架. 计算机研究与发展. 2024(04): 840-855 . 本站查看
    5. 蒋鹏程，薛羽. 基于排序得分预测的演化神经架构搜索方法. 计算机学报. 2024(11): 2522-2535 . 百度学术
    6. 刘威，郭直清，王东，刘光伟，姜丰，牛英杰，马灵潇. 改进鲸鱼算法及其在浅层神经网络搜索中的权值阈值优化. 控制与决策. 2023(04): 1144-1152 . 百度学术
    7. 鞠翰文，邓扬，李爱群. 桥梁结构挠度-温度-车辆荷载监测数据相关性模型. 振动与冲击. 2023(06): 79-89 . 百度学术
    8. 丁熠，郑伟，耿技，邱泸谊，秦志光. 基于多层级并行神经网络的多模态脑肿瘤图像分割框架. 中国图象图形学报. 2023(07): 2182-2194 . 百度学术
    9. 王上，唐欢容. 一种基于混合粒子群优化算法的深度卷积神经网络架构搜索方法. 计算机应用研究. 2023(07): 2019-2024 . 百度学术
    10. 朱光辉，祁加豪，朱振南，袁春风，黄宜华. 渐进式深度集成架构搜索算法研究. 计算机学报. 2023(10): 2041-2065 . 百度学术
    11. 钟运琴，朱月琴，焦守涛. 边缘大数据分析预测建模方法研究. 高技术通讯. 2022(10): 1067-1075 . 百度学术
    12. 包振山，秘博闻，张文博. 基于人工经验网络架构为初始化的NAS算法. 北京工业大学学报. 2021(08): 854-862 . 百度学术

    其他类型引用(51)

    • 资源附件(0)
计量
  • 文章访问数:  1880
  • HTML全文浏览量:  2
  • PDF下载量:  1116
  • 被引次数: 63
出版历程
  • 发布日期:  2017-05-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(63)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计