• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

一种适用于异构存储系统的缓存管理算法

李勇, 王冉, 冯丹, 施展

李勇, 王冉, 冯丹, 施展. 一种适用于异构存储系统的缓存管理算法[J]. 计算机研究与发展, 2016, 53(9): 1953-1963. DOI: 10.7544/issn1000-1239.2016.20150157
引用本文: 李勇, 王冉, 冯丹, 施展. 一种适用于异构存储系统的缓存管理算法[J]. 计算机研究与发展, 2016, 53(9): 1953-1963. DOI: 10.7544/issn1000-1239.2016.20150157
shu
Li Yong, Wang Ran, Feng Dan, Shi Zhan. A Cache Management Algorithm for the Heterogeneous Storage Systems[J]. Journal of Computer Research and Development, 2016, 53(9): 1953-1963. DOI: 10.7544/issn1000-1239.2016.20150157
Citation: Li Yong, Wang Ran, Feng Dan, Shi Zhan. A Cache Management Algorithm for the Heterogeneous Storage Systems[J]. Journal of Computer Research and Development, 2016, 53(9): 1953-1963. DOI: 10.7544/issn1000-1239.2016.20150157
shu
李勇, 王冉, 冯丹, 施展. 一种适用于异构存储系统的缓存管理算法[J]. 计算机研究与发展, 2016, 53(9): 1953-1963. CSTR: 32373.14.issn1000-1239.2016.20150157
引用本文: 李勇, 王冉, 冯丹, 施展. 一种适用于异构存储系统的缓存管理算法[J]. 计算机研究与发展, 2016, 53(9): 1953-1963. CSTR: 32373.14.issn1000-1239.2016.20150157
shu
Li Yong, Wang Ran, Feng Dan, Shi Zhan. A Cache Management Algorithm for the Heterogeneous Storage Systems[J]. Journal of Computer Research and Development, 2016, 53(9): 1953-1963. CSTR: 32373.14.issn1000-1239.2016.20150157
Citation: Li Yong, Wang Ran, Feng Dan, Shi Zhan. A Cache Management Algorithm for the Heterogeneous Storage Systems[J]. Journal of Computer Research and Development, 2016, 53(9): 1953-1963. CSTR: 32373.14.issn1000-1239.2016.20150157
shu

一种适用于异构存储系统的缓存管理算法

  • 1(中国电子科技集团公司第二十八研究所 南京 210007)

  • 2(武汉光电国家实验室(筹)(华中科技大学) 武汉 430074) (liyong01@hust.edu.cn)

基金项目: 国家“九七三”重点基础研究发展计划基金项目(2011CB302301)；国家“八六三”高技术研究发展计划基金项目(2013AA013203)；国家自然科学基金项目(61025008，6123004，61472153)
详细信息

  • 中图分类号: TP303

A Cache Management Algorithm for the Heterogeneous Storage Systems

  • 1(The 28th Research Institute of China Electronics Technology Group Corporation, Nanjing 210007)

  • 2(Wuhan National Laboratory for Optoelectronics (Huazhong University of Science and Technology), Wuhan 430074)

摘要

    摘要
  • 摘要: 当前数据中心广泛采用虚拟化、混合存储等技术以满足不断增长的存储容量和性能需求，这使得存储系统异构性变得越来越普遍.异构存储系统的一个典型问题是由于设备负载和服务能力不匹配，使得存储系统中广泛使用的条带等并行访问技术难以充分发挥作用，导致性能降低.针对这一问题，提出了一种基于负载特征识别和访问性能预测的缓存分配算法(access-pattern aware and performance prediction-based cache allocation algorithm, Caper)，通过缓存分配来调节不同存储设备之间的I/O负载分布，使得存储设备上的负载和其本身服务能力相匹配，从而减轻甚至消除异构存储系统中的性能瓶颈.实验结果表明，Caper算法能够有效提高异构存储系统的性能，在混合负载访问下，比Chakraborty算法平均提高了约26.1%，比Forney算法平均提高了约28.1%，比Clock算法平均提高了约30.3%,比添加预取功能的Chakraborty算法和Forney算法分别平均提高了约7.7%和17.4%.
    Abstract: The scale of storage system is becoming larger with the rapid increase of the amount of produced data. Along with the development of computer technologies, such as cloud computing, cloud storage and big data, higher requirements are put forward to storage systems: higher capacity, higher performance and higher reliability. In order to satisfy the increasing requirement of capacity and performance, modern data center widely adopts multi technologies to implement the dynamic increasing of storage and performance, such as virtualization, hybrid storage and so on, which makes the storage systems trend more and more heterogeneous. The heterogeneous storage system introduces multiple new problems, of which one key problem is the degradation of performance as load unbalance. Thats because the difference of capacity and performance between heterogeneous storage devices make the parallelism technologies hardly to obtain high performance, such as RAID, Erasure code. For this problem, we propose a caching algorithm based on performance prediction and identification of workload characteristic, named Caper (access-pattern aware and performance prediction-based cache allocation algorithm). The main idea of Caper algorithm is to allocate the load according to the capacity of the storage devices, which aims to alleviate the load unbalance or eliminate the performance bottleneck in the heterogeneous storage systems. The Caper algorithm is composed of three parts: prediction of performance for I/O request, analysis of caching requirement for storage device, and caching replacement policy. The algorithm also classifies the application workload into three types: random access, sequential access, and looping access. In order to ensure high caching utility, the algorithm adjusts the size of logic cache partition based on the analysis of the caching requirement. Besides, in order to adapt to the heterogeneous storage system, the Caper algorithm improves the Clock cache replacement algorithm. The experimental results also show that the Caper algorithm can significantly improve the performance about 26.1% compared with Charkraborty algorithm under mixed workloads, 28.1% compared with Forney algorithm, and 30.3% compared with Clock algorithm. Even adding prefetching operation, Caper algorithm also improves the performance about 7.7% and 17.4% compared with Charkraborty algorithm and Forney algorithm respectively.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(54)

  • 期刊类型引用(21)

    1. 李禹纬，付锐，刘帆. 改进YOLOv7的轻量化交通标志检测算法. 太原理工大学学报. 2024(01): 195-203 . 百度学术
    2. 李旭东 ，廖婷婷 ，乐文毅 ，曾小信 ，陈思墨 ，李宗平 . 基于YOLOv3的袋式除尘器滤袋破损自动检测方法. 烧结球团. 2024(01): 99-105 . 百度学术
    3. 江金懋，钟国韵. 基于双向嵌套级联残差的交通标志检测方法. 现代电子技术. 2024(05): 176-181 . 百度学术
    4. 韩长江，刘丽娟. 基于Transformer改进YOLOv5的交通标志检测算法. 信息技术. 2024(11): 21-27 . 百度学术
    5. 张京淇，李超，李晓磊. 基于改进YOLOv8s的交通标志检测算法. 电脑知识与技术. 2024(30): 31-34 . 百度学术
    6. 胡昭华，王莹. 改进YOLOv5的交通标志检测算法. 计算机工程与应用. 2023(01): 82-91 . 百度学术
    7. 金晓康，吴瑶，施莹娟，沈才有. 基于YOLO框架的实时交通标志识别算法研究与系统实现. 软件. 2023(01): 20-23 . 百度学术
    8. 刘翀豪，潘理虎，杨帆，张睿. 改进YOLOv5的轻量化口罩检测算法. 计算机工程与应用. 2023(07): 232-241 . 百度学术
    9. 王能文，张涛. 改进YOLOX-S实时多尺度交通标志检测算法. 计算机工程与应用. 2023(21): 167-175 . 百度学术
    10. 方猛，邹亚洲. 基于车载点云数据的道路交通指示标志检测方法. 北京测绘. 2023(08): 1121-1127 . 百度学术
    11. 王浩，雷印杰，陈浩楠. 改进YOLOV3实时交通标志检测算法. 计算机工程与应用. 2022(08): 243-248 . 百度学术
    12. 刘万军，李嘉欣，曲海成. 基于多尺度卷积神经网络的交通标示识别研究. 计算机应用研究. 2022(05): 1557-1562 . 百度学术
    13. 张上，王恒涛，冉秀康. 基于YOLOv5的轻量化交通标志检测方法. 电子测量技术. 2022(08): 129-135 . 百度学术
    14. 刘宇宸，石刚，崔青，刘明辉，郑秋萍. 改进MobileNetv3-YOLOv3交通标志牌检测算法. 东北师大学报(自然科学版). 2022(02): 53-60 . 百度学术
    15. 高宇鹏，梁世军. 交通禁令标志自动图像识别方法设计与仿真. 计算机仿真. 2022(06): 123-126+145 . 百度学术
    16. 闵锋，侯泽铭. 铁路接触网主要部件检测方法. 计算机工程与设计. 2022(10): 2911-2917 . 百度学术
    17. 马宇，张丽果，杜慧敏，毛智礼. 卷积神经网络的交通标志语义分割. 计算机科学与探索. 2021(06): 1114-1121 . 百度学术
    18. 马永杰，程时升，马芸婷，马义德. 卷积神经网络及其在智能交通系统中的应用综述. 交通运输工程学报. 2021(04): 48-71 . 百度学术
    19. 张力天，孔嘉漪，樊一航，范灵俊，包尔固德. 基于宏微观因素的概率级别的车辆事故预测. 计算机研究与发展. 2021(09): 2052-2061 . 本站查看
    20. 陈燕，杨志刚. 自然场景建筑工程标志信息逐级细化识别算法. 计算机仿真. 2021(08): 450-454 . 百度学术
    21. 任坤，黄泷，范春奇，高学金. 基于多尺度像素特征融合的实时小交通标志检测算法. 信号处理. 2020(09): 1457-1463 . 百度学术

    其他类型引用(33)

    • 资源附件(0)
计量
  • 文章访问数:  1624
  • HTML全文浏览量:  5
  • PDF下载量:  793
  • 被引次数: 54
出版历程
  • 发布日期:  2016-08-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(54)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计