Training and Software Simulation for ReRAM-Based LSTM Neural Network Acceleration
-
摘要: 长短期记忆(long short-term memory, LSTM)网络是一种循环神经网络，其擅长处理和预测时间序列中间隔和延迟较长的事件，多用于语音识别、机器翻译等领域.然而受限于内存带宽的限制，现今的多数神经网络加速器件的计算模式并不能高效处理长短期记忆网络计算；而阻变存储器交叉开关结构能够以存内计算形式完成高效、高密度的向量矩阵乘运算，从而成为一种高效处理长短期记忆网络的极具潜力的加速器设计模式.研究了面向阻变存储器的长短期记忆神经网络加速器模拟工具以及相应的神经网络训练算法.该模拟工具能够以时钟驱动的形式模拟设计者提出的以阻变存储器交叉开关结构为核心加速部件的长短期记忆加速器微体系结构，从而进行设计空间探索；同时改进了神经网络训练算法以适应阻变存储器特性.这一模拟工具基于System-C实现，且对于核心计算部分实现了图形处理器加速，可以提高阻变存储器器件的仿真速度，为探索设计空间提供便利.Abstract: Long short-term memory (LSTM) is mostly used in fields of speech recognition, machine translation, etc., owing to its expertise in processing and predicting events with long intervals and long delays in time series. However, most of existing neural network acceleration chips cannot perform LSTM computation efficiently, as limited by the low memory bandwidth. ReRAM-based crossbars, on the other hand, can process matrix-vector multiplication efficiently due to its characteristic of processing in memory (PIM). However, a software tool of broad architectural exploration and end-to-end evaluation for ReRAM-based LSTM acceleration is still missing. This paper proposes a simulator for ReRAM-based LSTM neural network acceleration and a corresponding training algorithm. Main features (including imperfections) of ReRAM devices and circuits are reflected by the highly configurable tools, and the core computation of simulation can be accelerated by general-purpose graphics processing unit (GPGPU). Moreover, the core component of simulator has been verified by the corresponding circuit simulation of a real chip design. Within this framework, architectural exploration and comprehensive end-to-end evaluation can be achieved.
-
Keywords:
- ReRAM /
- long short-term memory (LSTM) /
- training algorithm /
- simulation framework /
- neural network
-
-
期刊类型引用(12)
1. 杨兴耀，肖瑞，卢进堂. 新疆维吾尔语口音普通话短文的语音识别研究. 东北师大学报(自然科学版). 2024(04): 72-80 . 
百度学术
2. 闫凯，宋烨，刘瑜，杨莉，张浩源. 老龄化背景下居家养老系统方言识别算法应用研究——以粤语为例. 信息与电脑(理论版). 2023(02): 120-122 . 百度学术
3. 蒋若怡，韦永壮，王慧娇. 基于深度学习的差分神经区分器求解方法. 计算机工程与设计. 2023(06): 1629-1634 . 百度学术
4. 赵建川，杨浩铨，徐勇，吴恋，崔忠伟. 基于对比预测编码模型的多任务学习语种识别方法. 数据采集与处理. 2022(02): 288-297 . 百度学术
5. 万苗，任杰，马苗，曹瑞. 多任务学习在中国方言分类中的应用研究. 计算机技术与发展. 2022(04): 109-115 . 百度学术
6. 郝焕香. 基于深度学习的方言语音识别模型构建. 自动化与仪器仪表. 2022(04): 48-51 . 百度学术
7. 王瑶，龙华，邵玉斌，杜庆治. 可变时长的短时广播语音多语种识别. 云南大学学报(自然科学版). 2022(03): 490-496 . 百度学术
8. 付英，刘增力，汤辉. 基于CNN-BiGRU的方言语种识别. 通信技术. 2022(06): 712-719 . 百度学术
9. 王瑶，龙华，邵玉斌，杜庆治，王延凯. 基于CRNN混合神经网络的多语种识别. 光电子·激光. 2022(06): 620-628 . 百度学术
10. 张允耀，黄鹤鸣，张会云. 复杂噪声环境下语音识别研究. 计算机与现代化. 2021(09): 68-74 . 百度学术
11. 辛强伟，唐云凯. 多维度数据组合的人工智能系统性能优化分析. 数字技术与应用. 2020(10): 36-38 . 百度学术
14. 顾佳，黄明，关岳. 高速列车牵引变流器故障诊断研究. 振动.测试与诊断. 2020(05): 997-1002+1029 . 百度学术
其他类型引用(15)
计量
- 文章访问数: 1291
- HTML全文浏览量: 2
- PDF下载量: 877
- 被引次数: 27
下载:
