• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

NV-Shuffle：基于非易失内存的Shuffle机制

潘锋烽, 熊劲

潘锋烽, 熊劲. NV-Shuffle：基于非易失内存的Shuffle机制[J]. 计算机研究与发展, 2018, 55(2): 229-245. DOI: 10.7544/issn1000-1239.2018.20170742
引用本文: 潘锋烽, 熊劲. NV-Shuffle：基于非易失内存的Shuffle机制[J]. 计算机研究与发展, 2018, 55(2): 229-245. DOI: 10.7544/issn1000-1239.2018.20170742
shu
Pan Fengfeng, Xiong Jin. NV-Shuffle: Shuffle Based on Non-Volatile Memory[J]. Journal of Computer Research and Development, 2018, 55(2): 229-245. DOI: 10.7544/issn1000-1239.2018.20170742
Citation: Pan Fengfeng, Xiong Jin. NV-Shuffle: Shuffle Based on Non-Volatile Memory[J]. Journal of Computer Research and Development, 2018, 55(2): 229-245. DOI: 10.7544/issn1000-1239.2018.20170742
shu
潘锋烽, 熊劲. NV-Shuffle：基于非易失内存的Shuffle机制[J]. 计算机研究与发展, 2018, 55(2): 229-245. CSTR: 32373.14.issn1000-1239.2018.20170742
引用本文: 潘锋烽, 熊劲. NV-Shuffle：基于非易失内存的Shuffle机制[J]. 计算机研究与发展, 2018, 55(2): 229-245. CSTR: 32373.14.issn1000-1239.2018.20170742
shu
Pan Fengfeng, Xiong Jin. NV-Shuffle: Shuffle Based on Non-Volatile Memory[J]. Journal of Computer Research and Development, 2018, 55(2): 229-245. CSTR: 32373.14.issn1000-1239.2018.20170742
Citation: Pan Fengfeng, Xiong Jin. NV-Shuffle: Shuffle Based on Non-Volatile Memory[J]. Journal of Computer Research and Development, 2018, 55(2): 229-245. CSTR: 32373.14.issn1000-1239.2018.20170742
shu

NV-Shuffle：基于非易失内存的Shuffle机制

  • (计算机体系结构国家重点实验室(中国科学院计算技术研究所) 北京 100190) (中国科学院大学 北京 100049) (panfengfeng@ict.ac.cn)

基金项目: 国家重点研发计划项目(2016YFB1000202)；国家自然科学基金项目(61379042)
详细信息

  • 中图分类号: TP316.81.2

NV-Shuffle: Shuffle Based on Non-Volatile Memory

  • (State Key Laboratory of Computer Architecture (Institute of Computing Technology, Chinese Academy of Sciences), Beijing 100190) (University of Chinese Academy of Sciences, Beijing 100049)

摘要

    摘要
  • 摘要: Shuffle是大数据处理过程中一个极为重要的阶段.不同类型的Task(或者Stage)之间通过Shuffle进行数据交换.在Shuffle过程中数据需要进行持久化，以达到避免重计算和容错的目的.因此Shuffle的性能是决定大数据处理性能的关键因素之一.由于传统Shuffle阶段的数据通过磁盘文件系统进行持久化，所以影响Shuffle性能的一个重要因素是I/O开销，尤其是对基于内存计算的大数据处理平台，例如Spark，Shuffle阶段的磁盘I/O可能拖延数据处理的时间.而非易失内存(NVM)具有读写速度快、非易失性以及高密度性等诸多优点，它们为改变大数据处理过程中对磁盘I/O的依赖、克服目前基于内存计算的大数据处理中的I/O性能瓶颈提供了新机会.提出一种基于NVM的Shuffle优化策略——NV-Shuffle.NV-Shuffle摒弃了传统Shuffle阶段采用文件系统的存储方式，而使用类似于Memory访问的方式进行Shuffle数据的存储与管理，避免了文件系统的开销，并充分发挥NVM的优势，从而减少Shuffle阶段的耗时.在Spark平台上实现了NV-Shuffle，实验结果显示，对于Shuffle-heavy类型的负载，NV-Shuffle可节省大约10%~40%的执行时间.
    Abstract: In the popular big data processing platforms like Spark, it is common to collect data in a many-to-many fashion during a stage traditionally known as the Shuffle phase. Data exchange happens across different types of tasks or stages via Shuffle phase. And during this phase, the data need to be transferred via network and persisted into traditional disk-based file system. Hence, the efficiency of Shuffle phase is one of the key factors in the performance of the big data processing. In order to reducing I/O overheads, we propose an optimized Shuffle strategy based on Non-Volatile Memory (NVM)—NV-Shuffle. Next-generation non-volatile memory (NVM) technologies, such as Phase Change Memory (PCM), Spin-Transfer Torque Magnetic Memories (STTMs) introduce new opportunities for reducing I/O overhead, due to their non-volatility, high read/write performance, low energy, etc. In the big data processing platform based on memory computing such as Spark, Shuffle data access based on disks is an important factor of application performance, NV-Shuffle uses NVM as persist memory to store Shuffle data and employs direct data accesses like memory by introducing NV-Buffer to organize data instead of traditional file system.We implemented NV-Shuffle in Spark. Our performance results show, NV-shuffle reduces job execution time by 10%~40% for Shuffle-heavy workloads.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(39)

  • 期刊类型引用(25)

    1. 吴仁彪，张振驰，贾云飞，乔晗. 云平台下基于截止时间的自适应调度策略. 计算机应用. 2023(01): 176-184 . 百度学术
    2. 邹文仲，邓力源，张高峰，王凌梓，章金峰. 基于调度云平台通用分布式架构实践. 南方电网技术. 2023(09): 20-28 . 百度学术
    3. 许源佳，吴恒，杨晨，吴悦文，张文博，王焘. 面向状态可变数据流的集群调度综述. 计算机学报. 2022(05): 973-992 . 百度学术
    4. 陈旭辉，刘洋，张鸿，高鹏，许竹霞. Linux大规模集群应用管理模型的研究及实现. 电子设计工程. 2022(10): 17-21+26 . 百度学术
    5. 谢志强，周伟，杨静. 考虑层级调度次序的资源协同综合调度算法. 计算机集成制造系统. 2022(11): 3391-3402 . 百度学术
    6. 刘刚. 城市智慧社区安防管理系统研究. 哈尔滨职业技术学院学报. 2022(06): 120-122 . 百度学术
    7. 毛安琪，汤小春，丁朝，李战怀. 集中式集群资源调度框架的可扩展性优化. 计算机研究与发展. 2021(03): 497-512 . 本站查看
    8. 陈吉宁. 基于动态增容的政务大数据资源调度优化系统设计. 自动化技术与应用. 2021(04): 58-61+72 . 百度学术
    9. 赵杉. 云平台安全监控大数据集群调度容错控制仿真. 计算机仿真. 2021(07): 486-490 . 百度学术
    10. 赵全，汤小春，朱紫钰，毛安琪，李战怀. 大规模短时间任务的低延迟集群调度框架. 计算机应用. 2021(08): 2396-2405 . 百度学术
    11. 鲁小艳. 基于集群计算的高校艺术专业理论教学与实践模式. 科技风. 2021(33): 129-132 . 百度学术
    12. 王晓霞，孙德才. 大数据处理中MapReduce框架的Q-sample算法设计. 现代计算机. 2021(36): 44-48 . 百度学术
    13. 崔校郡. 新时期大数据分析与应用关键技术研究. 信息技术与信息化. 2020(01): 204-206 . 百度学术
    14. 顾东虎. Hadoop云平台下基于P-WAP的大数据聚类挖掘算法. 长春师范大学学报. 2020(10): 29-35 . 百度学术
    15. 姜一，刘菁，姚嵘. 基于智能感知的电力多元数据集群热点处理研究. 电子设计工程. 2020(21): 20-23+28 . 百度学术
    16. 罗兰溪，柯行思，宋凯. 基于云平台的电力大数据变化趋势预测. 信息技术. 2020(11): 60-65 . 百度学术
    17. 孙卫红，吕文新. 区域集群下板材订单配置模型及算法研究. 运筹与管理. 2020(12): 38-42+50 . 百度学术
    18. 庞慧，刘丽娟，周丽莉. 有效网络大数据流多任务传输调度方法. 计算机仿真. 2020(12): 391-395 . 百度学术
    19. 朱晔，姜志博，田浩，陶汉涛，吴大伟，张磊，何君. 电网雷电大数据采集系统研发. 高压电器. 2019(04): 160-168 . 百度学术
    20. 刘甜. 大数据时代下计算机软件技术的应用探索. 计算机产品与流通. 2019(06): 20 . 百度学术
    21. 邵必林，王莎莎. 基于负载预测的HDFS动态负载均衡改进算法. 探测与控制学报. 2019(02): 75-80 . 百度学术
    22. 李维虎，张顶山，崔慧明，周龙，朱志挺，谢挺. 数据中心网络coflow调度机制结构构建及仿真. 电子测量技术. 2019(10): 78-81 . 百度学术
    23. 黄高攀，何金陵，庄岭，张利. 面向应用检测任务的负载均衡算法研究. 计算技术与自动化. 2019(01): 71-76 . 百度学术
    24. 郜广兰，徐晶晶，任刚，朱命冬，张超. 面向高校科研人员的高性能集群计算科研平台建设研究. 河南机电高等专科学校学报. 2019(03): 4-7 . 百度学术
    25. 陈湉，林勇. 大数据分析背景下地震后紧急物流资源调度模型设计. 地震工程学报. 2018(06): 1343-1349 . 百度学术

    其他类型引用(14)

    • 资源附件(0)
计量
  • 文章访问数:  1215
  • HTML全文浏览量:  3
  • PDF下载量:  800
  • 被引次数: 39
出版历程
  • 发布日期:  2018-01-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(39)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计