• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

时频联合长时循环神经网络

庄连生, 吕扬, 杨健, 李厚强

庄连生, 吕扬, 杨健, 李厚强. 时频联合长时循环神经网络[J]. 计算机研究与发展, 2019, 56(12): 2641-2648. DOI: 10.7544/issn1000-1239.2019.20180474
引用本文: 庄连生, 吕扬, 杨健, 李厚强. 时频联合长时循环神经网络[J]. 计算机研究与发展, 2019, 56(12): 2641-2648. DOI: 10.7544/issn1000-1239.2019.20180474
shu
Zhuang Liansheng, Lü Yang, Yang Jian, Li Houqiang. Long Term Recurrent Neural Network with State-Frequency Memory[J]. Journal of Computer Research and Development, 2019, 56(12): 2641-2648. DOI: 10.7544/issn1000-1239.2019.20180474
Citation: Zhuang Liansheng, Lü Yang, Yang Jian, Li Houqiang. Long Term Recurrent Neural Network with State-Frequency Memory[J]. Journal of Computer Research and Development, 2019, 56(12): 2641-2648. DOI: 10.7544/issn1000-1239.2019.20180474
shu
庄连生, 吕扬, 杨健, 李厚强. 时频联合长时循环神经网络[J]. 计算机研究与发展, 2019, 56(12): 2641-2648. CSTR: 32373.14.issn1000-1239.2019.20180474
引用本文: 庄连生, 吕扬, 杨健, 李厚强. 时频联合长时循环神经网络[J]. 计算机研究与发展, 2019, 56(12): 2641-2648. CSTR: 32373.14.issn1000-1239.2019.20180474
shu
Zhuang Liansheng, Lü Yang, Yang Jian, Li Houqiang. Long Term Recurrent Neural Network with State-Frequency Memory[J]. Journal of Computer Research and Development, 2019, 56(12): 2641-2648. CSTR: 32373.14.issn1000-1239.2019.20180474
Citation: Zhuang Liansheng, Lü Yang, Yang Jian, Li Houqiang. Long Term Recurrent Neural Network with State-Frequency Memory[J]. Journal of Computer Research and Development, 2019, 56(12): 2641-2648. CSTR: 32373.14.issn1000-1239.2019.20180474
shu

时频联合长时循环神经网络

  • 1(中国科学技术大学信息科学技术学院 合肥 230027)

  • 2(军事科学院系统工程研究院 北京 100191)

  • 3(鹏城实验室 广东深圳 518000) (lszhuang@ustc.edu.cn)

基金项目: 国家自然科学基金项目(61472379)
详细信息

  • 中图分类号: TP391; TP18

Long Term Recurrent Neural Network with State-Frequency Memory

  • 1(School of Information Science and Technology, University of Science and Technology of China,Hefei 230027)

  • 2(Institute of System Engineering, Academy of Military Science, Beijing 100191)

  • 3(Peng Cheng Laboratory, Shenzhen, Guangdong 518000)

摘要

    摘要
  • 摘要: 时间序列建模问题因有着重要的应用价值已经成为机器学习领域的研究热点之一.循环神经网络(recurrent neural network, RNN)是近年来时间序列建模的一个重要工具.但是，现有循环神经网络无法处理长时依赖关系的时序数据，也没有在频域对时间序列数据的特征模式进行建模.对于那些包含长时依赖且频率成分丰富的时序数据，这2个问题大大限制了现有循环神经网络的性能.针对这些问题，提出了时频联合长时循环神经网络(long term recurrent neural network with state-frequency memory, LTRNN-SFM)，通过将传统循环神经网络隐藏层的状态向量替换为状态-频率矩阵，实现对时间序列的时域特征和频域特征的联合建模.同时，通过解耦隐藏层神经元、引入ReLU(rectified linear unit)激活函数和权重裁剪，该模型可以有效避免梯度消失和梯度爆炸问题的干扰，使得深层网络训练更加容易、网络记忆周期更长.实验表明：时频联合长时循环神经网络在处理长时依赖且频率成分丰富的时序数据上，取得了最好的性能.
    Abstract: Modeling time series has become one of the research hotspots in the field of machine learning because of its important application value. Recurrent neural network (RNN) is a crucial tool for modeling time series in recent years. However, existing RNNs are commonly hard to learn long-term dependency in the temporal domain and unable to model the frequency patterns in time series. The two problems seriously limit the performance of existing RNNs for the time series that contain long-term dependencies and rich frequency components. To solve these problems, we propose the long term recurrent neural network with state-frequency memory (LTRNN-SFM), which allows the network to model the uncovered features in both frequency and temporal domains by replacing state vector of the hidden layer in conventional RNNs to state-frequency matrix. Meanwhile, the proposed network can effectively avoid the interference of the gradient vanishing and exploding problems by separating neurons in the same layer, using activation functions such as rectified linear unit (ReLU) and clipping weight. In this way, a LTRNN-SFM with long-term memory and multiple layers can be trained easily. Experimental results have demonstrated that the proposed network achieves the best performance in processing time series with long-term dependencies and rich frequency components.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(47)

  • 期刊类型引用(18)

    1. 苏小红，郑伟宁，蒋远，魏宏巍，万佳元，魏子越. 基于学习的源代码漏洞检测研究与进展. 计算机学报. 2024(02): 337-374 . 百度学术
    2. 刘忠鑫，唐郅杰，夏鑫，李善平. 代码变更表示学习及其应用研究进展. 软件学报. 2023(12): 5501-5526 . 百度学术
    3. 奚建飞，王志英，邹文景，甘莹. 基于深度学习的非结构化表格文档数据抽取方法. 微型电脑应用. 2022(02): 102-105 . 百度学术
    4. 钱忠胜，宋佳，俞情媛，成轶伟，孙志旺. 利用函数影响力的相似程序间测试用例重用与生成. 电子学报. 2022(07): 1696-1707 . 百度学术
    5. 张祥平，刘建勋. 基于深度学习的代码表征及其应用综述. 计算机科学与探索. 2022(09): 2011-2029 . 百度学术
    6. 魏敏，张丽萍，闫盛. 基于程序向量树和聚类的学生程序算法识别方法. 计算机工程与设计. 2022(10): 2790-2798 . 百度学术
    7. 汶东震，张帆，刘海峰，杨亮，徐博，林原，林鸿飞. 深度程序理解视角下代码搜索研究综述. 计算机工程与应用. 2022(20): 63-72 . 百度学术
    8. 王一凡，赵逢禹，艾均. 面向基本路径学习的代码自动命名. 小型微型计算机系统. 2022(11): 2302-2307 . 百度学术
    9. 杨静宜，崔建弘，庞雅静. 基于特征深度学习的机器人协调操作感知控制. 计算机仿真. 2021(01): 307-311 . 百度学术
    10. 赵乐乐，张丽萍. 代码注释自动生成研究进展. 计算机应用研究. 2021(04): 982-989 . 百度学术
    11. 陈翔，杨光，崔展齐，孟国柱，王赞. 代码注释自动生成方法综述. 软件学报. 2021(07): 2118-2141 . 百度学术
    12. 谢春丽，梁瑶，王霞. 深度学习在代码表征中的应用综述. 计算机工程与应用. 2021(20): 53-63 . 百度学术
    13. 魏敏，张丽萍. 代码搜索方法研究进展. 计算机应用研究. 2021(11): 3215-3221+3230 . 百度学术
    14. 李眩，吴晓兵，童百利. 基于动态模糊聚类的数据挖掘研究——以安徽城市综合实力分析为例. 贵阳学院学报(自然科学版). 2020(01): 52-57 . 百度学术
    15. 池昊宇，陈长波. 基于神经网络的循环分块大小预测. 计算机科学. 2020(08): 62-70 . 百度学术
    16. 景艳娥. 基于深度学习技术的语法纠错算法模型构建分析. 信息技术. 2020(09): 143-147+152 . 百度学术
    17. 霍丽春，张丽萍. 代码注释演化及分类研究综述. 内蒙古师范大学学报(自然科学汉文版). 2020(05): 423-432 . 百度学术
    18. 何后裕，王炳鑫. 基于深度学习的综合性共享数据匹配算法研究. 电子设计工程. 2020(20): 111-115 . 百度学术

    其他类型引用(29)

    • 资源附件(0)
计量
  • 文章访问数:  1035
  • HTML全文浏览量:  5
  • PDF下载量:  456
  • 被引次数: 47
出版历程
  • 发布日期:  2019-11-30

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计