• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

基于深度强化学习的移动边缘计算任务卸载研究

卢海峰, 顾春华, 罗飞, 丁炜超, 杨婷, 郑帅

卢海峰, 顾春华, 罗飞, 丁炜超, 杨婷, 郑帅. 基于深度强化学习的移动边缘计算任务卸载研究[J]. 计算机研究与发展, 2020, 57(7): 1539-1554. DOI: 10.7544/issn1000-1239.2020.20190291
引用本文: 卢海峰, 顾春华, 罗飞, 丁炜超, 杨婷, 郑帅. 基于深度强化学习的移动边缘计算任务卸载研究[J]. 计算机研究与发展, 2020, 57(7): 1539-1554. DOI: 10.7544/issn1000-1239.2020.20190291
shu
Lu Haifeng, Gu Chunhua, Luo Fei, Ding Weichao, Yang Ting, Zheng Shuai. Research on Task Offloading Based on Deep Reinforcement Learning in Mobile Edge Computing[J]. Journal of Computer Research and Development, 2020, 57(7): 1539-1554. DOI: 10.7544/issn1000-1239.2020.20190291
Citation: Lu Haifeng, Gu Chunhua, Luo Fei, Ding Weichao, Yang Ting, Zheng Shuai. Research on Task Offloading Based on Deep Reinforcement Learning in Mobile Edge Computing[J]. Journal of Computer Research and Development, 2020, 57(7): 1539-1554. DOI: 10.7544/issn1000-1239.2020.20190291
shu
卢海峰, 顾春华, 罗飞, 丁炜超, 杨婷, 郑帅. 基于深度强化学习的移动边缘计算任务卸载研究[J]. 计算机研究与发展, 2020, 57(7): 1539-1554. CSTR: 32373.14.issn1000-1239.2020.20190291
引用本文: 卢海峰, 顾春华, 罗飞, 丁炜超, 杨婷, 郑帅. 基于深度强化学习的移动边缘计算任务卸载研究[J]. 计算机研究与发展, 2020, 57(7): 1539-1554. CSTR: 32373.14.issn1000-1239.2020.20190291
shu
Lu Haifeng, Gu Chunhua, Luo Fei, Ding Weichao, Yang Ting, Zheng Shuai. Research on Task Offloading Based on Deep Reinforcement Learning in Mobile Edge Computing[J]. Journal of Computer Research and Development, 2020, 57(7): 1539-1554. CSTR: 32373.14.issn1000-1239.2020.20190291
Citation: Lu Haifeng, Gu Chunhua, Luo Fei, Ding Weichao, Yang Ting, Zheng Shuai. Research on Task Offloading Based on Deep Reinforcement Learning in Mobile Edge Computing[J]. Journal of Computer Research and Development, 2020, 57(7): 1539-1554. CSTR: 32373.14.issn1000-1239.2020.20190291
shu

基于深度强化学习的移动边缘计算任务卸载研究

  • (华东理工大学信息科学与工程学院 上海 200237) (1771097725@qq.com)

基金项目: 国家自然科学基金项目(61472139)；华东理工大学教育教学规律与方法研究项目(ZH1726107)
详细信息

  • 中图分类号: TP391

Research on Task Offloading Based on Deep Reinforcement Learning in Mobile Edge Computing

  • (School of Information Science and Engineering, East China University of Science and Technology, Shanghai 200237)

Funds: This work was supported by the National Natural Science Foundation of China (61472139) and the Educational Teaching Law and Method Research Project of East China University of Science and Technology (ZH1726107).

HTML全文

    摘要
  • 摘要: 在移动边缘计算中，本地设备可以将任务卸载到靠近网络边缘的服务器上进行数据存储和计算处理，以此降低业务服务的延迟和功耗，因此任务卸载决策具有很大的研究价值.首先构建了大规模异构移动边缘计算中具有多服务节点和移动任务内部具有多依赖关系的卸载模型；随后结合移动边缘计算的实际应用场景，提出利用改进的深度强化学习算法优化任务卸载策略；最后通过综合比较任务卸载策略的能耗、成本、负载均衡、延迟、网络使用量和平均执行时间等指标，分析了各卸载策略的优缺点.仿真实验结果表明，基于长短期记忆(long short-term memory, LSTM)网络和事后经验回放(hindsight experience replay, HER)改进的HERDRQN算法在能耗、费用、负载均衡和延迟上都有很好的效果.另外利用各算法策略对一定数量的应用进行卸载，通过比较异构设备在不同CPU利用率下的数量分布来验证卸载策略与各评价指标之间的关系，以此证明HERDRQN算法生成的策略在解决任务卸载问题中的科学性和有效性.
    Abstract: In the mobile edge computing, the local device can offload tasks to the server near the edge of the network for data storage and computation processing, thereby reducing the delay and power consumption of the service. Therefore, the task offloading decision has great research value. This paper first constructs an offloading model with multi-service nodes and multi-dependencies within mobile tasks in large-scale heterogeneous mobile edge computing. Then, an improved deep reinforcement learning algorithm is proposed to optimize the task offloading strategy by combining the actual application scenarios of mobile edge computing. Finally, the advantages and disadvantages of each offloading strategy are analyzed by comprehensively comparing the energy consumption, cost, load balancing, delay, network usage and average execution time. The simulation results show that the improved HERDRQN algorithm based on long short-term memory (LSTM) network and HER (hindsight experience replay) has good effects on energy consumption, cost, load balancing and delay. In addition, this paper uses various algorithm strategies to offload a certain number of applications, and compares the number distribution of heterogeneous devices under different CPU utilizations to verify the relationship between the offloading strategy and each evaluation index, so as to prove that the strategy generated by HERDRQN algorithm is scientific and effective in solving the task offloading problem.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(51)

  • 期刊类型引用(17)

    1. 袁子淇，孙庆赟，周号益，朱祖坤，李建欣. MNDetector：基于多层网络的异常访问检测方法. 计算机研究与发展. 2025(03): 765-778 . 本站查看
    2. 陈佳乐，陈旭，景永俊，王叔洋. 图神经网络在异常检测中的应用综述. 计算机工程与应用. 2024(13): 51-65 . 百度学术
    3. 林馥，李明康，罗学雄，张书豪，张越，王梓桐. 基于异常感知的变分图自编码器的图级异常检测算法. 计算机研究与发展. 2024(08): 1968-1981 . 本站查看
    4. 孔翎超，刘国柱. 离群点检测算法综述. 计算机科学. 2024(08): 20-33 . 百度学术
    5. 王泽鹏 ，马超 ，张壮壮 ，吴黎兵 ，石小川 . 动态决策驱动的工控网络数据要素威胁检测方法. 计算机研究与发展. 2024(10): 2404-2416 . 本站查看
    6. 叶苗，程锦，黄源，蒋秋香，王勇. 面向WSN异常节点检测的融合重构机制与对比学习方法. 通信学报. 2024(09): 153-169 . 百度学术
    7. 王芳. 基于深度学习的网络传输数据异常识别方法. 现代电子技术. 2023(06): 62-66 . 百度学术
    8. 江铃燚，郑艺峰，陈澈，李国和，张文杰. 有监督深度学习的优化方法研究综述. 中国图象图形学报. 2023(04): 963-983 . 百度学术
    9. 富坤，刘赢华，郝玉涵，孙明磊. 基于图模块度聚类的异常检测算法. 计算机应用研究. 2023(06): 1721-1727 . 百度学术
    10. 曹成顺. 基于深度神经网络的输电线路异常自动辨识方法. 信息与电脑(理论版). 2023(15): 165-167 . 百度学术
    11. 冯健，赵宇鹏，刘天. 融合双重自监督信号的图异常检测. 科学技术与工程. 2023(35): 15142-15147 . 百度学术
    12. 王炳泉. 基于SVM的网络流量异常检测算法. 信息与电脑(理论版). 2023(22): 245-247 . 百度学术
    13. 唐立，郝鹏，任沛阁，张祖耀，何翔，张学军. 基于改进孤立森林算法的无人机异常行为检测. 航空学报. 2022(08): 584-593 . 百度学术
    14. 陈益芳，宣羿，樊立波，孙智卿，屠永伟，张亦涵，蔡乾晨. 基于机器学习的电网威胁检测算法模型和大数据平台设计. 电力大数据. 2022(04): 34-41 . 百度学术
    15. 刘华玲，刘雅欣，许珺怡，陈尚辉，乔梁. 图异常检测在金融反欺诈中的应用研究进展. 计算机工程与应用. 2022(22): 41-53 . 百度学术
    16. 李净. 国际视野下治理虚假新闻的技术手段及相关模型. 中国传媒科技. 2021(08): 17-21 . 百度学术
    17. 雷瑜，郑丹，曾繁如，樊志伟，宁黎，邓立. 四川耕地“非粮化”监测中的智能监测方法. 资源与人居环境. 2021(12): 47-51 . 百度学术

    其他类型引用(34)

    • 资源附件(0)
计量
  • 文章访问数:  3048
  • HTML全文浏览量:  36
  • PDF下载量:  1398
  • 被引次数: 51
出版历程
  • 发布日期:  2020-06-30

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(51)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计