• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

纠删码存储系统单磁盘错误重构优化方法综述

傅颖勋, 文士林, 马礼, 舒继武

傅颖勋, 文士林, 马礼, 舒继武. 纠删码存储系统单磁盘错误重构优化方法综述[J]. 计算机研究与发展, 2018, 55(1): 1-13. DOI: 10.7544/issn1000-1239.2018.20160506
引用本文: 傅颖勋, 文士林, 马礼, 舒继武. 纠删码存储系统单磁盘错误重构优化方法综述[J]. 计算机研究与发展, 2018, 55(1): 1-13. DOI: 10.7544/issn1000-1239.2018.20160506
shu
Fu Yingxun, Wen Shilin, Ma Li, Shu Jiwu. Survey on Single Disk Failure Recovery Methods for Erasure Coded Storage Systems[J]. Journal of Computer Research and Development, 2018, 55(1): 1-13. DOI: 10.7544/issn1000-1239.2018.20160506
Citation: Fu Yingxun, Wen Shilin, Ma Li, Shu Jiwu. Survey on Single Disk Failure Recovery Methods for Erasure Coded Storage Systems[J]. Journal of Computer Research and Development, 2018, 55(1): 1-13. DOI: 10.7544/issn1000-1239.2018.20160506
shu
傅颖勋, 文士林, 马礼, 舒继武. 纠删码存储系统单磁盘错误重构优化方法综述[J]. 计算机研究与发展, 2018, 55(1): 1-13. CSTR: 32373.14.issn1000-1239.2018.20160506
引用本文: 傅颖勋, 文士林, 马礼, 舒继武. 纠删码存储系统单磁盘错误重构优化方法综述[J]. 计算机研究与发展, 2018, 55(1): 1-13. CSTR: 32373.14.issn1000-1239.2018.20160506
shu
Fu Yingxun, Wen Shilin, Ma Li, Shu Jiwu. Survey on Single Disk Failure Recovery Methods for Erasure Coded Storage Systems[J]. Journal of Computer Research and Development, 2018, 55(1): 1-13. CSTR: 32373.14.issn1000-1239.2018.20160506
Citation: Fu Yingxun, Wen Shilin, Ma Li, Shu Jiwu. Survey on Single Disk Failure Recovery Methods for Erasure Coded Storage Systems[J]. Journal of Computer Research and Development, 2018, 55(1): 1-13. CSTR: 32373.14.issn1000-1239.2018.20160506
shu

纠删码存储系统单磁盘错误重构优化方法综述

  • 1(北方工业大学计算机学院 北京 100144)

  • 2(清华大学计算机科学与技术系 北京 100084) (mooncape1986@126.com)

基金项目: 国家自然科学基金项目(61232003,61702013)；北京市优秀人才培养资助项目(2016000020124G016)；北京市教委科技计划项目(KM201710009008)；北方工业大学学术创新团队项目(XN018001)；北方工业大学科研启动项目
详细信息

  • 中图分类号: TP309.3

Survey on Single Disk Failure Recovery Methods for Erasure Coded Storage Systems

  • 1(College of Computer Science, North China University of Technology, Beijing 100144)

  • 2(Department of Computer Science and Technology, Tsinghua University, Beijing 100084)

摘要

    摘要
  • 摘要: 随着云存储的迅猛发展与大数据时代的来临，越来越多的存储系统开始采用纠删码技术，以保障数据的可靠性.在基于纠删码的存储系统中，一旦有磁盘出错，系统需根据其他磁盘里存储的冗余信息，重构所有失效数据.由于当前存储系统中绝大部分磁盘错误都是单磁盘错误，因此，如何快速地在单磁盘错误的情况下重构失效数据，已成为存储系统的研究热点.首先介绍了存储系统中基于纠删码的单磁盘错误重构优化方法的研究背景与研究意义，给出了纠删码的基本概念与定义，并分析了单磁盘错误重构优化的基本原理；接着归纳了现有的一些主流单磁盘错误重构方法的构造算法及其优缺点与适用范围，并分类介绍了一些用于优化单磁盘错误重构效率的新型纠删码技术；最后指出了存储系统中基于纠删码的磁盘错误重构方法的进一步研究方向.
    Abstract: With the rapid development of cloud storage, erasure codes which can tolerate a series of disk failures with low storage overhead have attracted a lot of attentions. The implementations for erasure codes constructing over storage systems are erasure coded storage systems. Once disk failures happen, erasure coded storage systems need to access the information storing on the surviving disks, and then reconstruct the lost information by a certain recovery algorithm. With the development of storage scale, disk failures happen very frequently, where most of disk failures are single disk failure. Therefore, how to fast recover the lost data from single disk failures has becoming a key problem for erasure coded storage systems. In this paper, we first introduce the background and significance for single disk failure recoveries, and then give some fundamental terms and principles for erasure codes. Afterward, we illustrate the hybrid recovery principle, elaborate the key ideas for current construction-based recovery methods and search-based recovery methods in detail, and summarize their typical application scenarios. We also summarize some new erasure coding techniques for optimizing the single disk failure recovery efficiency. At the end of the paper, we discuss the research directions for disk failure recoveries under erasure coded storage systems in the future.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(26)

  • 期刊类型引用(13)

    1. 沈佳杰，向望，沈敏虎，武博淳，赵泽宇，张凯. 纠删码存储系统中数据修复性能优化研究进展与展望. 广西科学. 2023(01): 149-168 . 百度学术
    2. 肖逸飞，周世杰. 基于XOR的TAR-CAU数据更新方法. 电子科技大学学报. 2023(05): 773-779 . 百度学术
    3. 徐家冰，朱浩辰，杨丽. 一种基于纠删码的多节点失效修复算法. 计算机与现代化. 2021(03): 18-23 . 百度学术
    4. 包涵，王意洁，许方亮. 基于生成矩阵变换的跨数据中心纠删码写入方法. 计算机研究与发展. 2020(02): 291-305 . 本站查看
    5. 杨洪章，杨雅辉，屠要峰，孙广宇，吴中海. 基于“采集—预测—迁移—反馈”机制的主动容错技术. 计算机研究与发展. 2020(02): 306-317 . 本站查看
    6. 邱红艳. 大数据平台舰船行驶信息优化提取系统. 舰船科学技术. 2020(02): 10-12 . 百度学术
    7. 郭亮. 基于数据挖掘的存储数据纠删码容错方法仿真. 计算机仿真. 2020(04): 142-146 . 百度学术
    8. 李慧，李贵洋，胡金平，周悦，江小玉，韩鸿宇. 基于分布式存储的OHitchhiker码. 计算机工程与设计. 2020(07): 1941-1946 . 百度学术
    9. 任楷. 基于分布式SAR系统的侦察卫星目标定位技术. 计算机测量与控制. 2020(09): 218-222+237 . 百度学术
    10. 沈记全，谢果君，杨焕焕. 基于纠删码技术的云存储数据块部署方案. 信息与控制. 2019(02): 232-238+256 . 百度学术
    11. 陈诚. 磁盘数据安全保密系统的设计与实践探究. 科技经济导刊. 2019(14): 33-34 . 百度学术
    12. 孟宇龙，关智允，徐东，张子迎，任龙. 基于分组码的跳跃纠删码. 哈尔滨工程大学学报. 2019(11): 1896-1902 . 百度学术
    13. 来燃，冯兴杰，王晴，李杰，焦文欢. 一种可行的优化降级读性能RAID-6编码算法. 中国民航大学学报. 2018(04): 49-53 . 百度学术

    其他类型引用(13)

    • 资源附件(0)
计量
  • 文章访问数:  1610
  • HTML全文浏览量:  1
  • PDF下载量:  831
  • 被引次数: 26
出版历程
  • 发布日期:  2017-12-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(26)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计