Recent Advances in Datacenter Flow Scheduling
-
摘要: 数据中心网络流调度技术对数据中心网络的性能具有重要影响.它是指对数据中心应用产生的网络数据流,通过控制和调度这些网络流在数据中心网络中的传输链路、传输优先级、传输速率等,以优化网络流量的传输(包括减少数据流平均完成时间、降低加权的平均完成时间、降低数据流尾部完成时间、最大化满足有传输时限的数据流、提高网络资源利用率等),最终实现优化用户体验的目的.首先,对数据中心网络流调度问题及其面临的挑战进行简单介绍.流调度的关键挑战在于设计低开销、高效率的调度算法,以及在终端电脑或者网络交换机上实现调度算法.然后,从独立数据流调度方法和网络流组的调度方法进行综述.这2类流调度技术的区别在于应用的环境(如Web搜索和大数据分析)不同.最后,对未来流调度技术的发展方向进行展望,并且提出多个尚未解决、但仍值得研究的问题.Abstract: Flow scheduling techniques impose an important impact on the performance of the data center. Flow scheduling techniques aim at optimizing the user experience by controlling and scheduling the transmission link, priority and transmission rate of data flows. Flow scheduling techniques can achieve various optimization objects such as reducing the average or weighted flow completion time, decreasing the delay of long-tail flows, optimizing the transmission of flows with deadline constraints, improving the utilization of the network link. In this paper, we mainly review the recent research involving flow scheduling techniques. First, we briefly introduce data center and flow scheduling problem and challenges. These challenges mainly lie in the means to implement flow scheduling on network devices or terminal hosts, and how to design low-overhead highly-efficient scheduling algorithms. Especially, the coflow scheduling problem is proved NP-Hard to solve. Then, we review the latest progress of flow scheduling techniques from two aspects, i.e., single-flow scheduling and coflow scheduling. The divergence between single-flow scheduling techniques and coflow scheduling techniques is the flow relationship under different applications like Web search and big data analytics. In the end of the paper, we outlook the future development direction and point out some unsolved problems involving flow scheduling.
-
Keywords:
- data center /
- single-flow scheduling /
- flow scheduling /
- distributed computing /
- coflow scheduling
-
-
期刊类型引用(20)
1. 韩溥. 一种安全可靠的虚拟化智能弹性架构IRF教育网络设计. 网络安全技术与应用. 2025(03): 15-18 . 百度学术
2. 蒋燕,周彬彬,姚文才,王有香,陈凯,马玮骏,李胜,殷峻暹. 接收方发起的电站数据上报控制方法研究. 中国农村水利水电. 2024(03): 238-243+249 . 百度学术
3. 梅道光,王丽. 数据中心综合监控系统延迟问题分析及应对策略研究. 信息技术与信息化. 2024(04): 71-76 . 百度学术
4. 李仁刚,王彦伟,郝锐,肖麟阁,杨乐,杨广文,阚宏伟. Direct xPU:一种新型节点间通信优化的分布式异构计算架构. 计算机研究与发展. 2024(06): 1388-1400 . 本站查看
5. 蒋万春,李昊阳,陈晗瑜,王洁,王建新,阮昌. 网络拥塞控制方法综述. 软件学报. 2024(08): 3952-3979 . 百度学术
6. 农佳明,陈孟臻. 基于流量延时调度的无线传感网数据传输拥塞控制方法. 传感技术学报. 2024(08): 1441-1447 . 百度学术
7. 关世杰,王国靖. 基于状态确认的卫星链路拥塞控制算法研究. 沈阳理工大学学报. 2023(04): 15-18+25 . 百度学术
8. 高凯辉,李丹. 数据中心网络性能保障研究综述. 电信科学. 2023(06): 1-21 . 百度学术
9. 胡晋彬,罗望卿,王进. 基于NS-3的计算机网络传输实验教学方案设计. 软件导刊. 2023(06): 187-190 . 百度学术
10. 张磊,袁鉴辞,李静. 基于物联网技术的医学装备质控管理平台设计. 电子设计工程. 2023(17): 164-168 . 百度学术
11. 胡晋彬,黄家玮,王建新,王进. 基于直接拥塞通告的数据中心无损网络传输控制机制. 电子学报. 2023(09): 2355-2365 . 百度学术
12. 李佳琦,周书杰,曹成茂. 面粉存储智能仓库控制系统设计与试验. 中国农机装备. 2023(09): 29-35 . 百度学术
13. 马力文,周颖. 改善STARTUP阶段空窗现象的BBR单边适应算法. 计算机科学. 2022(02): 321-328 . 百度学术
14. 孙华宝. 基于SDN的云计算网络模型设计. 信息与电脑(理论版). 2022(07): 50-52 . 百度学术
15. 涂聪,陈庆奎. 面向AI数据流处理的边缘GPU集群通信系统. 小型微型计算机系统. 2022(06): 1147-1153 . 百度学术
16. 包红林,李敏,邵志东,张代兰. 面向大规模地震数据并行处理高速可扩展通信技术应用研究. 石油物探. 2022(05): 793-800 . 百度学术
17. 黄端琼. 福建省海洋与渔业大数据中心建设初探. 海洋信息技术与应用. 2022(04): 32-37 . 百度学术
18. 林霄,姬硕,岳胜男,孙卫强,胡卫生. 面向跨数据中心网络的节点约束存储转发调度方法. 计算机研究与发展. 2021(02): 319-337 . 本站查看
19. 张媛媛,姚晋. 一种高可靠网络的设计与实现. 数字通信世界. 2021(04): 15-18 . 百度学术
20. 管春泓. 云计算背景下数据中心网络架构设计研究. 信息系统工程. 2021(12): 97-100 . 百度学术
其他类型引用(31)
计量
- 文章访问数:
- HTML全文浏览量: 0
- PDF下载量:
- 被引次数: 51