• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

一种面向大规模数据密集计算的缓存方法

周恩强, 张伟, 卢宇彤, 侯红军, 董勇

周恩强, 张伟, 卢宇彤, 侯红军, 董勇. 一种面向大规模数据密集计算的缓存方法[J]. 计算机研究与发展, 2015, 52(7): 1522-1530. DOI: 10.7544/issn1000-1239.2015.20148073
引用本文: 周恩强, 张伟, 卢宇彤, 侯红军, 董勇. 一种面向大规模数据密集计算的缓存方法[J]. 计算机研究与发展, 2015, 52(7): 1522-1530. DOI: 10.7544/issn1000-1239.2015.20148073
shu
Zhou Enqiang, Zhang Wei, Lu Yutong, Hou Hongjun, Dong Yong. A Cache Approach for Large Scale Data-Intensive Computing[J]. Journal of Computer Research and Development, 2015, 52(7): 1522-1530. DOI: 10.7544/issn1000-1239.2015.20148073
Citation: Zhou Enqiang, Zhang Wei, Lu Yutong, Hou Hongjun, Dong Yong. A Cache Approach for Large Scale Data-Intensive Computing[J]. Journal of Computer Research and Development, 2015, 52(7): 1522-1530. DOI: 10.7544/issn1000-1239.2015.20148073
shu
周恩强, 张伟, 卢宇彤, 侯红军, 董勇. 一种面向大规模数据密集计算的缓存方法[J]. 计算机研究与发展, 2015, 52(7): 1522-1530. CSTR: 32373.14.issn1000-1239.2015.20148073
引用本文: 周恩强, 张伟, 卢宇彤, 侯红军, 董勇. 一种面向大规模数据密集计算的缓存方法[J]. 计算机研究与发展, 2015, 52(7): 1522-1530. CSTR: 32373.14.issn1000-1239.2015.20148073
shu
Zhou Enqiang, Zhang Wei, Lu Yutong, Hou Hongjun, Dong Yong. A Cache Approach for Large Scale Data-Intensive Computing[J]. Journal of Computer Research and Development, 2015, 52(7): 1522-1530. CSTR: 32373.14.issn1000-1239.2015.20148073
Citation: Zhou Enqiang, Zhang Wei, Lu Yutong, Hou Hongjun, Dong Yong. A Cache Approach for Large Scale Data-Intensive Computing[J]. Journal of Computer Research and Development, 2015, 52(7): 1522-1530. CSTR: 32373.14.issn1000-1239.2015.20148073
shu

一种面向大规模数据密集计算的缓存方法

  • 1(高性能计算国家重点实验室(国防科学技术大学) 长沙 410073)

  • 2(中国石油集团东方地球物理勘探公司 河北涿州 072751) (eqzhou@nudt.edu.cn)

基金项目: 国家自然科学基金项目(61120106005)；国家“八六三”高技术研究发展计划基金项目(2012AA01A301)
详细信息

  • 中图分类号: TP311

A Cache Approach for Large Scale Data-Intensive Computing

  • 1(State Key Laboratory of High Performance Computing (National University of Defense Technology), Changsha 410073)

  • 2(Bureau of Geophysical Prospecting, China National Petroleum Corporation, Zhuozhou, Hebei 072751)

摘要

    摘要
  • 摘要: 随着高性能计算机逐步应用在大规模数据处理领域，存储系统将成为制约数据处理效率的主要瓶颈.在分析了影响数据密集型计算I/O性能若干关键因素的基础上，提出使用计算结点本地存储构建协作式非易失缓存、以分布式存储架构加速集中式存储架构的方法.该方法基于应用层协同使用分布化的本地存储资源，使用非易失存储介质构成大缓存空间，存放大规模数据分析的中间过程结果，以此实现高缓存命中率，并利用并发度约束控制等手段避免I/O竞争，充分利用本地存储的特定性能优势保证缓存加速效果，从而有效地提高了大规模数据处理过程的I/O效率.基于多平台多种I/O模式的测试结果证实了该方法的有效性，聚合I/O带宽具有高扩展性，典型数据密集应用的整体性能最大可提升6倍.
    Abstract: With HPC systems widely used in today’s modern science computing, more data-intensive applications are generating and analyzing the increasing scale of datasets, which makes HPC storage system facing new challenges. By comparing the different storage architectures with the corresponding approaches of file system, a novel cache approach, named DDCache, is proposed to improve the efficiency of data-intensive computing. DDCache leverages the distributed storage architecture as performance booster for centralized storage architecture by fully exploiting the potential benefits of node-local storage distributed across the system. In order to supply much larger cache volume than volatile memory cache, DDCache aggregates the node-local disks as huge non-volatile cooperative cache. Then high cache hit ratio is achieved through keeping intermediate data in the DDCache as long as possible during overall process of applications. To make the node-local storage efficient enough to act as data cache, locality aware data layout is used to make cached data close to compute tasks and evenly distributed. Furthermore, concurrency control is introduced to throttle I/O requests flowing into or out of DDCache and regain the special advantage of node-local storage. Evaluations on the typical HPC platforms verify the effectiveness of DDCache. Scalable I/O bandwidth is achieved on the well-known HPC scenario of checkpoint/restart and the overall performance of typical data-intensive application is improved up to 6 times.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(53)

  • 期刊类型引用(15)

    1. 吴宪，汤红波，赵宇，许明艳. 一种有状态容器跨集群实时迁移方法. 计算机研究与发展. 2024(02): 494-502 . 本站查看
    2. 张人杰，李頔，王方，刘慧. NFV场景下基于协议和目的端口的负载均衡策略. 湖南邮电职业技术学院学报. 2024(03): 1-7 . 百度学术
    3. 梁婷婷，张向利. 基于优先级的网络切片映射算法. 桂林电子科技大学学报. 2024(06): 606-612 . 百度学术
    4. 王雅倩，陈心怡，曲睿，周振宇. 基于SDN/NFV的电力物联网时延敏感业务编排方法. 华北电力大学学报(自然科学版). 2023(01): 84-91 . 百度学术
    5. 苏警. 面向大数据的可扩展网络服务框架设计. 兰州文理学院学报(自然科学版). 2023(01): 50-55 . 百度学术
    6. 陈婷婷，肖源源. 浅析“新工科”背景下大数据综合实验平台的建设. 中国新通信. 2023(01): 42-47 . 百度学术
    7. 刘光远，曹晶仪，庞紫园，黄书翠. 一种低时延虚拟网络功能映射及调度优化算法. 西安交通大学学报. 2023(02): 121-130 . 百度学术
    8. 王媛滔，舒兆港，钟一文，邱彩钰，田佳霖. 基于VNF实例共享的服务功能链部署算法. 计算机应用研究. 2023(06): 1806-1811 . 百度学术
    9. 熊泽凯，王素红，王靖君，祝长鸿，覃团发. 移动边缘计算中服务功能链的自适应优化部署策略. 电讯技术. 2023(11): 1678-1686 . 百度学术
    10. 张庆华，张先超，王寅昊，陆军. 面向医疗急救的信息网络服务功能链调度方法. 电子学报. 2023(11): 3128-3136 . 百度学术
    11. 陈炳丰，谢光强，朱鉴. 基于FusionCompute的虚拟化技术在计算机实验室中的应用. 实验技术与管理. 2022(04): 224-227 . 百度学术
    12. 任诚，陈绪祥，唐斌文，王宇，李豪. 多源多播服务功能链优化部署算法. 计算机应用研究. 2022(06): 1814-1819 . 百度学术
    13. 朱国晖，景文焕，李世昌. 基于改进麻雀搜索算法的服务功能链优化映射算法. 计算机应用研究. 2022(07): 2120-2123+2131 . 百度学术
    14. 陈嘉亮，王丰，张潇. 移动边缘计算网络下的服务功能链部署优化设计. 计算机应用研究. 2022(10): 3108-3113 . 百度学术
    15. 陈杨，刘作，黎聪，龙俊霖，赵群帅. 基于SDN与NFV的云通信软交换能力切片化部署稳定性研究. 通信技术. 2021(09): 2163-2168 . 百度学术

    其他类型引用(38)

    • 资源附件(0)
计量
  • 文章访问数:  1177
  • HTML全文浏览量:  4
  • PDF下载量:  768
  • 被引次数: 53
出版历程
  • 发布日期:  2015-06-30

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(53)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计