• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

Heavy-Ball型动量方法的最优个体收敛速率

程禹嘉, 陶蔚, 刘宇翔, 陶卿

程禹嘉, 陶蔚, 刘宇翔, 陶卿. Heavy-Ball型动量方法的最优个体收敛速率[J]. 计算机研究与发展, 2019, 56(8): 1686-1694. DOI: 10.7544/issn1000-1239.2019.20190167
引用本文: 程禹嘉, 陶蔚, 刘宇翔, 陶卿. Heavy-Ball型动量方法的最优个体收敛速率[J]. 计算机研究与发展, 2019, 56(8): 1686-1694. DOI: 10.7544/issn1000-1239.2019.20190167
shu
Cheng Yujia, Tao Wei, Liu Yuxiang, Tao Qing. Optimal Individual Convergence Rate of the Heavy-Ball-Based Momentum Methods[J]. Journal of Computer Research and Development, 2019, 56(8): 1686-1694. DOI: 10.7544/issn1000-1239.2019.20190167
Citation: Cheng Yujia, Tao Wei, Liu Yuxiang, Tao Qing. Optimal Individual Convergence Rate of the Heavy-Ball-Based Momentum Methods[J]. Journal of Computer Research and Development, 2019, 56(8): 1686-1694. DOI: 10.7544/issn1000-1239.2019.20190167
shu
程禹嘉, 陶蔚, 刘宇翔, 陶卿. Heavy-Ball型动量方法的最优个体收敛速率[J]. 计算机研究与发展, 2019, 56(8): 1686-1694. CSTR: 32373.14.issn1000-1239.2019.20190167
引用本文: 程禹嘉, 陶蔚, 刘宇翔, 陶卿. Heavy-Ball型动量方法的最优个体收敛速率[J]. 计算机研究与发展, 2019, 56(8): 1686-1694. CSTR: 32373.14.issn1000-1239.2019.20190167
shu
Cheng Yujia, Tao Wei, Liu Yuxiang, Tao Qing. Optimal Individual Convergence Rate of the Heavy-Ball-Based Momentum Methods[J]. Journal of Computer Research and Development, 2019, 56(8): 1686-1694. CSTR: 32373.14.issn1000-1239.2019.20190167
Citation: Cheng Yujia, Tao Wei, Liu Yuxiang, Tao Qing. Optimal Individual Convergence Rate of the Heavy-Ball-Based Momentum Methods[J]. Journal of Computer Research and Development, 2019, 56(8): 1686-1694. CSTR: 32373.14.issn1000-1239.2019.20190167
shu

Heavy-Ball型动量方法的最优个体收敛速率

  • 1(中国人民解放军陆军炮兵防空兵学院信息工程系 合肥 230031)

  • 2(中国人民解放军陆军工程大学指挥控制工程学院 南京 210007) (m13776555321@163.com)

基金项目: 国家自然科学基金项目(61673394)
详细信息

  • 中图分类号: TP181

Optimal Individual Convergence Rate of the Heavy-Ball-Based Momentum Methods

  • 1(Department of Information Engineering, Army Academy of Artillery and Air Defense of PLA, Hefei 230031)

  • 2(College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007)

摘要

    摘要
  • 摘要: 动量方法作为一种加速技巧被广泛用于提高一阶梯度优化算法的收敛速率.目前，大多数文献所讨论的动量方法仅限于Nesterov提出的加速方法，而对Polyak提出的Heavy-ball型动量方法的研究却较少.特别，在目标函数非光滑的情形下，Nesterov加速方法具有最优的个体收敛性，并在稀疏优化问题的求解中具有很好的效果.但对于Heavy-ball型动量方法，目前仅仅获得了平均输出形式的最优收敛速率，个体收敛是否具有最优性仍然未知.对于非光滑优化问题，通过巧妙地设置步长，证明了Heavy-ball型动量方法具有最优的个体收敛速率，从而说明了Heavy-ball型动量方法可以将投影次梯度方法的个体收敛速率加速至最优.作为应用，考虑了l\-1范数约束的hinge损失函数优化问题.通过与同类的优化算法相比，实验验证了该理论分析的正确性以及所提算法在保持稀疏性方面的良好性能.
    Abstract: The momentum method is widely used as an acceleration technique to improve the convergence of the first-order gradient algorithms. So far, the momentum methods discussed in most literatures are only limited to the accelerated method proposed by Nesterov, but the Heavy-ball momentum method proposed by Polyak is seldom studied. In particular, in the case of non-smooth objective functions, the individual optimal convergence of Nesterov accelerated methods has been derived, and it has high performance in solving sparse optimization problems. In contrast, while it has been proved that the Heavy-ball momentum method has an optimal convergence rate,it is only in terms of the averaged outputs. To our best knowledge, whether it has optimal individual convergence or not still remains unknown. In this paper, we focus on the non-smooth optimizations. We prove that the Heavy-ball momentum method achieves the optimal individual convergence by skillfully selecting the time-varying step-size, which indicates that Heavy-ball momentum is an efficient acceleration strategy for the individual convergence of the projected subgradient methods. As an application, the constrained hinge loss function optimization problems within an l\-1-norm ball are considered. In comparison with other optimization algorithms, the experiments demonstrate the correctness of our theoretical analysis and performance of the proposed algorithms in keeping the sparsity.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(52)

  • 期刊类型引用(20)

    1. 徐宁，李静秋，王岚君，刘安安. 时序特性引导下的谣言事件检测方法评测. 南京大学学报(自然科学). 2025(01): 71-82 . 百度学术
    2. 张元园，袁嘉霁. 基于社交媒体的谣言检测研究综述. 数据通信. 2024(01): 28-33 . 百度学术
    3. 廖劲智，赵和伟，连小童，纪文亮，石海明，赵翔. 基于对比图学习的跨文档虚假信息检测. 计算机科学. 2024(03): 14-19 . 百度学术
    4. 凤丽洲，刘馥榕，王友卫. 基于图卷积网络和注意力机制的谣言检测方法. 数据分析与知识发现. 2024(04): 125-136 . 百度学术
    5. 王晰巍，孙哲，姜奕冰，李玥琪. 社交媒体网络辟谣回音室效应分析模型及实验研究. 现代情报. 2024(10): 3-17 . 百度学术
    6. 朱奕，王根生，金文文，黄学坚，李胜. 基于文本语义增强和评论立场加权的网络谣言检测. 计算机科学与探索. 2024(12): 3311-3323 . 百度学术
    7. 甘臣权，付祥，冯庆东，祝清意. 基于公共情感特征压缩与融合的轻量级图文情感分析模型. 计算机研究与发展. 2023(05): 1099-1110 . 本站查看
    8. 聂大成，汪明达，刘世钰，杨慧，张翔，邱鸿杰. 在线社会网络虚假信息检测关键技术研究综述. 通信技术. 2023(04): 391-399 . 百度学术
    9. 李卓远，李军. 基于对比学习的多模态注意力网络虚假信息检测方法. 中国科技论文. 2023(11): 1192-1197 . 百度学术
    10. 强子珊，顾益军. 基于多模态异质图的社交媒体谣言检测模型. 数据分析与知识发现. 2023(11): 68-78 . 百度学术
    11. 陈志毅，隋杰. 基于DeepFM和卷积神经网络的集成式多模态谣言检测方法. 计算机科学. 2022(01): 101-107 . 百度学术
    12. 陆恒杨，范晨悠，吴小俊. 面向网络社交媒体的少样本新冠谣言检测. 中文信息学报. 2022(01): 135-144+172 . 百度学术
    13. 唐樾，马静. 基于增强对抗网络和多模态融合的谣言检测方法. 情报科学. 2022(06): 108-114+131 . 百度学术
    14. 王壮，隋杰. 基于多级融合的多模态谣言检测模型. 计算机工程与设计. 2022(06): 1756-1761 . 百度学术
    15. 吴诗苑，董庆兴，宋志君，张斌. 社交媒体中错误信息的检测方法研究述评. 情报学报. 2022(06): 651-661 . 百度学术
    16. 范伟，刘勇. 基于时空Transformer的社交网络信息传播预测. 计算机研究与发展. 2022(08): 1757-1769 . 本站查看
    17. 姜梦函，李邵梅，吴子仪，张建朋. 多模态特征融合的中文谣言检测. 信息工程大学学报. 2022(04): 485-490 . 百度学术
    18. 孟佳娜，王晓培，李婷，刘爽，赵迪. 基于对抗神经网络的跨模态谣言检测. 数据分析与知识发现. 2022(12): 32-42 . 百度学术
    19. 徐铭达，张子柯，许小可. 基于模体度的社交网络虚假信息传播机制研究. 计算机研究与发展. 2021(07): 1425-1435 . 本站查看
    20. 胡斗，卫玲蔚，周薇，淮晓永，韩冀中，虎嵩林. 一种基于多关系传播树的谣言检测方法. 计算机研究与发展. 2021(07): 1395-1411 . 本站查看

    其他类型引用(32)

    • 资源附件(0)
计量
  • 文章访问数:  1426
  • HTML全文浏览量:  2
  • PDF下载量:  482
  • 被引次数: 52
出版历程
  • 发布日期:  2019-07-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(52)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计