• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

基于图片问答的静态重启随机梯度下降算法

李胜东, 吕学强

李胜东, 吕学强. 基于图片问答的静态重启随机梯度下降算法[J]. 计算机研究与发展, 2019, 56(5): 1092-1100. DOI: 10.7544/issn1000-1239.2019.20180472
引用本文: 李胜东, 吕学强. 基于图片问答的静态重启随机梯度下降算法[J]. 计算机研究与发展, 2019, 56(5): 1092-1100. DOI: 10.7544/issn1000-1239.2019.20180472
shu
Li Shengdong, Lü Xueqiang. Static Restart Stochastic Gradient Descent Algorithm Based on Image Question Answering[J]. Journal of Computer Research and Development, 2019, 56(5): 1092-1100. DOI: 10.7544/issn1000-1239.2019.20180472
Citation: Li Shengdong, Lü Xueqiang. Static Restart Stochastic Gradient Descent Algorithm Based on Image Question Answering[J]. Journal of Computer Research and Development, 2019, 56(5): 1092-1100. DOI: 10.7544/issn1000-1239.2019.20180472
shu
李胜东, 吕学强. 基于图片问答的静态重启随机梯度下降算法[J]. 计算机研究与发展, 2019, 56(5): 1092-1100. CSTR: 32373.14.issn1000-1239.2019.20180472
引用本文: 李胜东, 吕学强. 基于图片问答的静态重启随机梯度下降算法[J]. 计算机研究与发展, 2019, 56(5): 1092-1100. CSTR: 32373.14.issn1000-1239.2019.20180472
shu
Li Shengdong, Lü Xueqiang. Static Restart Stochastic Gradient Descent Algorithm Based on Image Question Answering[J]. Journal of Computer Research and Development, 2019, 56(5): 1092-1100. CSTR: 32373.14.issn1000-1239.2019.20180472
Citation: Li Shengdong, Lü Xueqiang. Static Restart Stochastic Gradient Descent Algorithm Based on Image Question Answering[J]. Journal of Computer Research and Development, 2019, 56(5): 1092-1100. CSTR: 32373.14.issn1000-1239.2019.20180472
shu

基于图片问答的静态重启随机梯度下降算法

  • 1(中国人民大学信息学院 北京 100872)

  • 2(廊坊燕京职业技术学院计算机工程系 河北廊坊 065200)

  • 3(网络文化与数字传播北京市重点实验室(北京信息科技大学) 北京 100101) (lsd@ruc.edu.cn)

基金项目: 国家自然科学基金项目(61671070);国家语委十三五科研规划2017年度重点项目(ZDI135-53);网络文化与数字传播北京市重点实验室开放课题(ICDD201505)
详细信息

  • 中图分类号: TP391

Static Restart Stochastic Gradient Descent Algorithm Based on Image Question Answering

  • 1(School of Information, Renmin University of China, Beijing 100872)

  • 2(Department of Computer Engineering, Langfang Yanjing Vocational Technical College, Langfang, Hebei 065200)

  • 3(Beijing Key Laboratory of Internet Culture and Digital Dissemination Research(Beijing Information Science and Technology University), Beijing 100101)

摘要

    摘要
  • 摘要: 图片问答是计算机视觉与自然语言处理交叉的多模态学习任务.为了解决该任务，研究人员提出堆叠注意力网络(stacked attention networks, SANs).研究发现该模型易陷入不好的局部最优解，引发较高的问答错误率.为了解决该问题，提出基于图片问答的静态重启随机梯度下降算法.实验结果和分析表明：它的准确率比基准算法提高0.29%，但其收敛速度慢于基准算法.为了验证改善性能的显著性，对实验结果进行统计假设检验.T检验结果证明它的改善性能是极其显著的.为了验证它在同类算法中的有效性，将该算法和当前最好的一阶优化算法进行有效性实验,实验结果和分析证明它更有效.为了验证它的泛化性能和推广价值，在经典的Cifar-10数据集上进行图像识别实验.实验结果和T检验结果证明:它具有良好的泛化性能和较好的推广价值.
    Abstract: Image question answering is a multimodal learning task intersecting computer vision and natural language processing. With the breakthroughs in the deep neural networks, it has been the hotspot and focus of many researchers’ attention. To solve the task, researchers put forward numerous excellent models. Stacked attention networks (SANs) is one of the most typical models, and gets the state-of-the-art results in the test of four public visual question answering datasets. Although it has the excellent performance, because of the diversity of question and the sparsity of answer, it cannot fully learn the universal law of the corpus, and easily fall into the poor local optimal solution, which leads to the higher question answering error rate. By analyzing the causes of the error and observing the details of the model processing image question answering, we find that stochastic gradient descent based on momentum (baseline) has some defects in the optimization of SANs. To solve it, we propose static restart stochastic gradient descent based on image question answering. The experimental results show that its accuracy is 0.29% higher than baseline, but its convergence rate is slower than baseline. To verify the significance of the improved performance, we conduct statistical hypothesis test on the experimental results. The results of T test prove that its improved performance is extremely significant in the process of converging to the global optimal solution. To verify its effectiveness in the same kind of algorithm, we conduct effectiveness experiments with it and the state-of-the-art first-order optimization algorithms. The experimental results and analysis prove that it is more effective in solving image question answering. To verify its generalization performance and promotion value, we conduct the image recognition experiment on the classic Cifar-10 for the image recognition task. The experimental results and the results of T test prove that it has good generalization performance and promotion value in the process of converging to the global optimal solution.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(73)

  • 期刊类型引用(35)

    1. 郭文俊，杨泽民. 基于区块链的物联网可信访问控制研究. 软件工程. 2024(06): 30-33 . 百度学术
    2. 舒港丽，刘一凡，郭嘉宝. 基于节点行为的物联网动态综合信任评估方法. 计算机应用与软件. 2024(06): 320-328+335 . 百度学术
    3. 谭砚文，李丛希，宋清. 区块链技术在农产品供应链中的应用——理论机理、发展实践与政策启示. 农业经济问题. 2023(01): 76-87 . 百度学术
    4. 林峰. 一种基于区块链和流计算的物联网平台方案. 龙岩学院学报. 2023(02): 24-30 . 百度学术
    5. 魏兴慎，高鹏，吕卓，曹永健，周剑，屈志昊. 基于自适应交互反馈的电力终端信任度评估机制. 计算机应用. 2023(06): 1878-1883 . 百度学术
    6. 武园伊，刘子源，高婧珂. 基于区块链技术的竹山绿松石溯源监管协同演化博弈. 宝石和宝石学杂志(中英文). 2023(03): 74-89 . 百度学术
    7. 邓艳，叶新荣，余斌，罗慧宁. 基于区块链的物联网设备自主管控方案. 计算机系统应用. 2023(08): 75-85 . 百度学术
    8. 丁瑶. 基于物联网安全机制的探讨与分析. 数字技术与应用. 2023(07): 219-221 . 百度学术
    9. 刘孝保，孙海彬，阴艳超，姚廷强，杨林. 面向制造业产业链图状区块链模型. 计算机集成制造系统. 2023(12): 4267-4281 . 百度学术
    10. 李致远，何握瑜，闫宇辰，张启辰. 基于区块链技术的非交互式密钥协商系统. 信息工程大学学报. 2022(01): 81-86 . 百度学术
    11. 翟峰，冯云，程凯，蔡绍堂，于丽莹，杨挺. 基于信息熵的多源电力物联终端设备信任度评价方法. 中国电力. 2022(05): 158-165 . 百度学术
    12. 茹兴旺. 基于区块链技术的物联网节点信息安全研究. 九江学院学报(自然科学版). 2022(03): 28-31 . 百度学术
    13. 张双双，吴贺扬. 基于区块链技术的物联网风险预警研究. 国外电子测量技术. 2021(01): 96-100 . 百度学术
    14. 李晓明，黄慧，应毅，曾岳. 基于区块链的医疗临床数据防篡改机制及篡改攻击分析. 高技术通讯. 2021(02): 141-147 . 百度学术
    15. 田志宏，赵金东. 面向物联网的区块链共识机制综述. 计算机应用. 2021(04): 917-929 . 百度学术
    16. 杨少杰，郑琨，张辉，张光华. 基于博弈论与区块链融合的k-匿名位置隐私保护方案. 计算机应用研究. 2021(05): 1320-1326 . 百度学术
    17. 闾海荣，姜楠，许瑞坤，周容辰. 区块链在物联网中的应用态势分析. 数据与计算发展前沿. 2021(01): 34-47 . 百度学术
    18. 何万敏. 物联网系统中的区块链技术应用. 电子技术. 2021(05): 18-19 . 百度学术
    19. 袁刚，温圣军，唐琦，马宇飞，丰苏. 基于共有区块链的物联网分布式身份验证方法. 计算机工程与设计. 2021(07): 1859-1866 . 百度学术
    20. 帅文明. 区块链技术创新发展的内在逻辑与推动策略. 探求. 2021(05): 75-82 . 百度学术
    21. 邓明辉，唐郑熠，黄达，胡文瑜. 基于区块链的微电网电力交易匹配机制. 电力自动化设备. 2021(12): 95-101 . 百度学术
    22. Na Shi，Liang Tan，Wenjuan Li，Xin Qi，Keping Yu. A blockchain-empowered AAA scheme in the large-scale HetNet. Digital Communications and Networks. 2021(03): 308-316 . 必应学术
    23. 刘慧娟，田文勇. 区块链金融业务模式构建与分类研究——基于初创企业的数据. 技术经济与管理研究. 2020(06): 57-62 . 百度学术
    24. 付永贵，朱建明. 基于区块链的数据库访问控制机制设计. 通信学报. 2020(05): 130-140 . 百度学术
    25. 拜亚萌，邓小鸿. 基于区块链的分布式节点访问风险预警系统设计. 现代电子技术. 2020(13): 69-72+80 . 百度学术
    26. 徐晓冰，戚枭宏，王建平，李奇越，孙伟. 基于区块链的物联网可伸缩管理机制. 计算机应用研究. 2020(07): 2156-2159 . 百度学术
    27. 杨菊英，江兵，罗佳. 一种高效隐私的区块链认知物联网框架. 计算机应用研究. 2020(08): 2442-2445 . 百度学术
    28. 丁贤根，丁远彤. 区块链可异构IoT层研究与船用实例. 船舶工程. 2020(07): 157-163 . 百度学术
    29. 史慧洋，刘玲，张玉清. 物链网综述:区块链在物联网中的应用. 信息安全学报. 2019(05): 76-91 . 百度学术
    30. 杜瑞忠，刘妍，田俊峰. 物联网中基于智能合约的访问控制方法. 计算机研究与发展. 2019(10): 2287-2298 . 本站查看
    31. 周亮，应欢，戴波，邱意民. 一种基于区块链的可信电子商务身份认证系统. 计算机应用与软件. 2019(11): 322-328+333 . 百度学术
    32. 于金刚，张弘，李姝，毛立爽，姬鹏翔. ．基于区块链的物联网数据共享模型. 小型微型计算机系统. 2019(11): 2324-2329 . 百度学术
    33. 陈杰姝. 基于区块链的物联网数据信息共享安全机制研究. 数字通信世界. 2019(11): 136 . 百度学术
    34. 徐晓冰，孙百顺，戚枭宏，王建平，孙伟. 基于以太坊的物联网可伸缩信息共享机制. 计算机应用与软件. 2019(12): 111-116+142 . 百度学术
    35. 黄新平. 基于区块链的政府网站信息资源安全保存技术策略研究. 图书馆. 2019(12): 1-6 . 百度学术

    其他类型引用(38)

    • 资源附件(0)
计量
  • 文章访问数:  920
  • HTML全文浏览量:  1
  • PDF下载量:  305
  • 被引次数: 73
出版历程
  • 发布日期:  2019-04-30

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(73)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计