• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

大数据背景下集群调度结构与研究进展

郝春亮, 沈捷, 张珩, 武延军, 王青, 李明树

郝春亮, 沈捷, 张珩, 武延军, 王青, 李明树. 大数据背景下集群调度结构与研究进展[J]. 计算机研究与发展, 2018, 55(1): 53-70. DOI: 10.7544/issn1000-1239.2018.20170051
引用本文: 郝春亮, 沈捷, 张珩, 武延军, 王青, 李明树. 大数据背景下集群调度结构与研究进展[J]. 计算机研究与发展, 2018, 55(1): 53-70. DOI: 10.7544/issn1000-1239.2018.20170051
shu
Hao Chunliang, Shen Jie, Zhang Heng, Wu Yanjun, Wang Qing, Li Mingshu. Structures and State-of-Art Research of Cluster Scheduling in Big Data Background[J]. Journal of Computer Research and Development, 2018, 55(1): 53-70. DOI: 10.7544/issn1000-1239.2018.20170051
Citation: Hao Chunliang, Shen Jie, Zhang Heng, Wu Yanjun, Wang Qing, Li Mingshu. Structures and State-of-Art Research of Cluster Scheduling in Big Data Background[J]. Journal of Computer Research and Development, 2018, 55(1): 53-70. DOI: 10.7544/issn1000-1239.2018.20170051
shu
郝春亮, 沈捷, 张珩, 武延军, 王青, 李明树. 大数据背景下集群调度结构与研究进展[J]. 计算机研究与发展, 2018, 55(1): 53-70. CSTR: 32373.14.issn1000-1239.2018.20170051
引用本文: 郝春亮, 沈捷, 张珩, 武延军, 王青, 李明树. 大数据背景下集群调度结构与研究进展[J]. 计算机研究与发展, 2018, 55(1): 53-70. CSTR: 32373.14.issn1000-1239.2018.20170051
shu
Hao Chunliang, Shen Jie, Zhang Heng, Wu Yanjun, Wang Qing, Li Mingshu. Structures and State-of-Art Research of Cluster Scheduling in Big Data Background[J]. Journal of Computer Research and Development, 2018, 55(1): 53-70. CSTR: 32373.14.issn1000-1239.2018.20170051
Citation: Hao Chunliang, Shen Jie, Zhang Heng, Wu Yanjun, Wang Qing, Li Mingshu. Structures and State-of-Art Research of Cluster Scheduling in Big Data Background[J]. Journal of Computer Research and Development, 2018, 55(1): 53-70. CSTR: 32373.14.issn1000-1239.2018.20170051
shu

大数据背景下集群调度结构与研究进展

  • 1(中国科学院软件研究所基础软件中心 北京 100190)

  • 2(中国科学院大学 北京 100049)

  • 3(帝国理工大学计算学院 伦敦 SW72AZ) (chunliang@nfs.iscas.ac.cn)

基金项目: 中国科学院战略性先导科技专项(XDA06010600)
详细信息

  • 中图分类号: TP316.4

Structures and State-of-Art Research of Cluster Scheduling in Big Data Background

  • 1(National Engineering Research Center for Fundamental Software, Institute of Software, Chinese Academy of Sciences, Beijing 100190)

  • 2(University of Chinese Academy of Sciences, Beijing 100049)

  • 3(Department of Computing, Imperial College, London SW72AZ)

摘要

    摘要
  • 摘要: 集群调度一直以来是集群计算方向的热点研究问题.集群调度研究主要关注在固定的集群资源条件下，数据处理作业如何快速、精确地获得所需运行资源，从而达到预先设定的执行目标.随着大数据计算的发展，集群环境在过去10年内持续且快速地发展变化，集群调度场景和目标也日趋复杂.尤其是在大数据背景下，传统集中调度结构的性能瓶颈被放大，研究者开始向全新的调度结构进行探索，应运而生了众多新思路、新结构.从大数据背景下集群调度研究的主要研究问题出发，分别介绍了大数据背景下的4种集群调度结构:集中结构、双层结构、分布式结构以及混合结构，并对各结构的产生原因、适用场景、优劣、典型研究工作、研究进展进行分析，并尝试对各结构的未来发展进行展望.
    Abstract: Cluster scheduling is one of the most investigated topics in big data environment. The main problem it aims to solve is to efficiently fulfill the requirements of data analytic workload using finite amount of cluster resources. Along with the rapid development in big data applications within the past decade, the context and goals of cluster scheduling also rose significantly in complexity. As the drawbacks of traditional centralized scheduling methods have becoming increasingly apparent in modern clusters, many alternative scheduling structures, including two-level scheduling, distributed scheduling, and hybrid scheduling, have been proposed in recent years. Unfortunately, as each of these methods embodies a distinct set of advantages and limitations, there is yet to appear a simple one-fits-all answer that can overcome all scheduling challenges simultaneously in big data environment. Therefore, this work aims at providing a comprehensive survey on various families of mainstream scheduling methods, focusing on their motivation, strengths and weaknesses, and suitability to different application scenarios. Seminal works of each scheduling structure are analyzed in-depth in this paper to bring insights on the current state of development. Last but not least, we try to extrapolate the current trend in cluster scheduling and highlight the challenges to be tackled in future works.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(39)

  • 期刊类型引用(25)

    1. 吴仁彪，张振驰，贾云飞，乔晗. 云平台下基于截止时间的自适应调度策略. 计算机应用. 2023(01): 176-184 . 百度学术
    2. 邹文仲，邓力源，张高峰，王凌梓，章金峰. 基于调度云平台通用分布式架构实践. 南方电网技术. 2023(09): 20-28 . 百度学术
    3. 许源佳，吴恒，杨晨，吴悦文，张文博，王焘. 面向状态可变数据流的集群调度综述. 计算机学报. 2022(05): 973-992 . 百度学术
    4. 陈旭辉，刘洋，张鸿，高鹏，许竹霞. Linux大规模集群应用管理模型的研究及实现. 电子设计工程. 2022(10): 17-21+26 . 百度学术
    5. 谢志强，周伟，杨静. 考虑层级调度次序的资源协同综合调度算法. 计算机集成制造系统. 2022(11): 3391-3402 . 百度学术
    6. 刘刚. 城市智慧社区安防管理系统研究. 哈尔滨职业技术学院学报. 2022(06): 120-122 . 百度学术
    7. 毛安琪，汤小春，丁朝，李战怀. 集中式集群资源调度框架的可扩展性优化. 计算机研究与发展. 2021(03): 497-512 . 本站查看
    8. 陈吉宁. 基于动态增容的政务大数据资源调度优化系统设计. 自动化技术与应用. 2021(04): 58-61+72 . 百度学术
    9. 赵杉. 云平台安全监控大数据集群调度容错控制仿真. 计算机仿真. 2021(07): 486-490 . 百度学术
    10. 赵全，汤小春，朱紫钰，毛安琪，李战怀. 大规模短时间任务的低延迟集群调度框架. 计算机应用. 2021(08): 2396-2405 . 百度学术
    11. 鲁小艳. 基于集群计算的高校艺术专业理论教学与实践模式. 科技风. 2021(33): 129-132 . 百度学术
    12. 王晓霞，孙德才. 大数据处理中MapReduce框架的Q-sample算法设计. 现代计算机. 2021(36): 44-48 . 百度学术
    13. 崔校郡. 新时期大数据分析与应用关键技术研究. 信息技术与信息化. 2020(01): 204-206 . 百度学术
    14. 顾东虎. Hadoop云平台下基于P-WAP的大数据聚类挖掘算法. 长春师范大学学报. 2020(10): 29-35 . 百度学术
    15. 姜一，刘菁，姚嵘. 基于智能感知的电力多元数据集群热点处理研究. 电子设计工程. 2020(21): 20-23+28 . 百度学术
    16. 罗兰溪，柯行思，宋凯. 基于云平台的电力大数据变化趋势预测. 信息技术. 2020(11): 60-65 . 百度学术
    17. 孙卫红，吕文新. 区域集群下板材订单配置模型及算法研究. 运筹与管理. 2020(12): 38-42+50 . 百度学术
    18. 庞慧，刘丽娟，周丽莉. 有效网络大数据流多任务传输调度方法. 计算机仿真. 2020(12): 391-395 . 百度学术
    19. 朱晔，姜志博，田浩，陶汉涛，吴大伟，张磊，何君. 电网雷电大数据采集系统研发. 高压电器. 2019(04): 160-168 . 百度学术
    20. 刘甜. 大数据时代下计算机软件技术的应用探索. 计算机产品与流通. 2019(06): 20 . 百度学术
    21. 邵必林，王莎莎. 基于负载预测的HDFS动态负载均衡改进算法. 探测与控制学报. 2019(02): 75-80 . 百度学术
    22. 李维虎，张顶山，崔慧明，周龙，朱志挺，谢挺. 数据中心网络coflow调度机制结构构建及仿真. 电子测量技术. 2019(10): 78-81 . 百度学术
    23. 黄高攀，何金陵，庄岭，张利. 面向应用检测任务的负载均衡算法研究. 计算技术与自动化. 2019(01): 71-76 . 百度学术
    24. 郜广兰，徐晶晶，任刚，朱命冬，张超. 面向高校科研人员的高性能集群计算科研平台建设研究. 河南机电高等专科学校学报. 2019(03): 4-7 . 百度学术
    25. 陈湉，林勇. 大数据分析背景下地震后紧急物流资源调度模型设计. 地震工程学报. 2018(06): 1343-1349 . 百度学术

    其他类型引用(14)

    • 资源附件(0)
计量
  • 文章访问数:  2419
  • HTML全文浏览量:  2
  • PDF下载量:  1606
  • 被引次数: 39
出版历程
  • 发布日期:  2017-12-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(39)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计