数据中心网络流调度技术前沿进展

胡智尧; 李东升; 李紫阳

doi:10.7544/issn1000-1239.2018.20180156

数据中心网络流调度技术前沿进展

(并行与分布处理国家重点实验室(国防科技大学) 长沙 410073) (国防科技大学计算机学院长沙 410073) (huzhiyao14@nudt.edu.cn)

基金项目: 国家自然科学基金优秀青年科学基金项目(61222205) This work was supported by the National Natural Science Foundation of China for Excellent Young Scientists (61222205).

详细信息

中图分类号: TP393
计量
- 文章访问数: 1855
- HTML全文浏览量: 2
- PDF下载量: 823
出版历程
- 发布日期: 2018-08-31

Recent Advances in Datacenter Flow Scheduling

(Science and Technology on Parallel and Distributed Processing Laboratory (National University of Defense Technology), Changsha 410073) (College of Computer, National University of Defense Technology, Changsha 410073)

摘要

摘要: 数据中心网络流调度技术对数据中心网络的性能具有重要影响.它是指对数据中心应用产生的网络数据流，通过控制和调度这些网络流在数据中心网络中的传输链路、传输优先级、传输速率等，以优化网络流量的传输(包括减少数据流平均完成时间、降低加权的平均完成时间、降低数据流尾部完成时间、最大化满足有传输时限的数据流、提高网络资源利用率等)，最终实现优化用户体验的目的.首先，对数据中心网络流调度问题及其面临的挑战进行简单介绍.流调度的关键挑战在于设计低开销、高效率的调度算法，以及在终端电脑或者网络交换机上实现调度算法.然后，从独立数据流调度方法和网络流组的调度方法进行综述.这2类流调度技术的区别在于应用的环境(如Web搜索和大数据分析)不同.最后，对未来流调度技术的发展方向进行展望，并且提出多个尚未解决、但仍值得研究的问题.
- 数据中心 /
- 独立数据流调度 /
- 数据流调度 /
- 分布式计算 /
- 网络流组调度
Abstract: Flow scheduling techniques impose an important impact on the performance of the data center. Flow scheduling techniques aim at optimizing the user experience by controlling and scheduling the transmission link, priority and transmission rate of data flows. Flow scheduling techniques can achieve various optimization objects such as reducing the average or weighted flow completion time, decreasing the delay of long-tail flows, optimizing the transmission of flows with deadline constraints, improving the utilization of the network link. In this paper, we mainly review the recent research involving flow scheduling techniques. First, we briefly introduce data center and flow scheduling problem and challenges. These challenges mainly lie in the means to implement flow scheduling on network devices or terminal hosts, and how to design low-overhead highly-efficient scheduling algorithms. Especially, the coflow scheduling problem is proved NP-Hard to solve. Then, we review the latest progress of flow scheduling techniques from two aspects, i.e., single-flow scheduling and coflow scheduling. The divergence between single-flow scheduling techniques and coflow scheduling techniques is the flow relationship under different applications like Web search and big data analytics. In the end of the paper, we outlook the future development direction and point out some unsolved problems involving flow scheduling.
- data center /
- single-flow scheduling /
- flow scheduling /
- distributed computing /
- coflow scheduling

HTML全文

参考文献(0)

施引文献(28)

期刊类型引用(15)

1.	叶进，谢紫琪，肖庆宇，宋玲，李晓欢. 数据中心网络中基于ELM的流簇大小推理机制. 计算机科学与探索. 2021(02): 261-269 . 百度学术
2.	林霄，姬硕，岳胜男，孙卫强，胡卫生. 面向跨数据中心网络的节点约束存储转发调度方法. 计算机研究与发展. 2021(02): 319-337 . 本站查看
3.	王金焱. 异构无线网络多路径流量调度算法研究. 常熟理工学院学报. 2021(02): 70-75 . 百度学术
4.	董金良，刘小伟，李海江. 基于蚁群优化的通信网络负荷信息分散协调调度. 水电与抽水蓄能. 2021(03): 68-71 . 百度学术
5.	韩茂玲. 复杂网络大规模数据流均衡调度方法. 成都工业学院学报. 2021(03): 38-42 . 百度学术
6.	武自强，周建涛，赵大明，柳林. 数据中心基于服务满足度的网络流避让方法. 计算机工程与应用. 2021(19): 116-122 . 百度学术
7.	时洋，文梅，费佳伟，张春元 . 一种基于DAG的网络流量调度器. 计算机研究与发展. 2021(12): 2798-2810 . 本站查看
8.	李文信，齐恒，徐仁海，周晓波，李克秋. 数据中心网络流量调度的研究进展与趋势. 计算机学报. 2020(04): 600-617 . 百度学术
9.	陈珂，刘亚志，王思晗. 基于流量特征的流调度策略研究综述. 计算机应用研究. 2020(10): 2889-2894 . 百度学术
10.	郑莹，段庆洋，林利祥，游新宇，徐跃东，王新. 深度强化学习在典型网络系统中的应用综述. 无线电通信技术. 2020(06): 603-623 . 百度学术
11.	柯文龙，王勇，叶苗，陈俊奇. Ceph云存储网络中一种业务优先级区分的多播流调度方法. 通信学报. 2020(11): 40-51 . 百度学术
12.	李维虎，张顶山，崔慧明，周龙，朱志挺，谢挺. 数据中心网络coflow调度机制结构构建及仿真. 电子测量技术. 2019(10): 78-81 . 百度学术
13.	康瑾，李革. 面向医院手术排程的智能规划算法研究. 信息技术. 2019(11): 37-41+45 . 百度学术
14.	孙超. 基于模糊反馈的共享网络远程数据控制仿真. 计算机仿真. 2019(10): 409-412+438 . 百度学术
15.	王远. 数据中心网络拥塞控制研究综述. 信息工程大学学报. 2019(06): 714-719 . 百度学术