基于多级网络编码的多副本云数据存储

徐光伟; 史春红; 冯向阳; 罗辛; 石秀金; 韩松桦; 李玮

doi:10.7544/issn1000-1239.2021.20200340

基于多级网络编码的多副本云数据存储

(东华大学计算机科学与技术学院上海 201620) (gwxu@dhu.edu.cn)

基金项目: 国家自然科学基金项目(61772018, 61772128)；上海市自然科学基金项目(19ZR1402000,17ZR1400200)；上海市教育科研项目(C160076)

详细信息

中图分类号: TP391
计量
- 文章访问数: 800
- HTML全文浏览量: 3
- PDF下载量: 430
出版历程
- 发布日期: 2021-01-31

Multi-Replica Cloud Data Storage Based on Hierarchical Network Coding

(School of Computer Science and Technology, Donghua University, Shanghai 201620)

Funds: This work was supported by the National Natural Science Foundation of China (61772018, 61772128), the Natural Science Foundation of Shanghai (19ZR1402000, 17ZR1400200), and the Shanghai Education and Scientific Research Project (C160076).

摘要

摘要: 云数据存储的快速发展对数据的可用性提出了较高要求.目前，主要采用纠删码计算数据编码块进行分布式冗余数据存储来保证数据的可用性.虽然这种数据编码技术保证了存储数据的安全性并减少了额外的存储空间，但在损坏数据恢复时会产生较大的计算和通信开销.提出一种基于多级网络编码的多副本生成和损坏数据恢复算法.算法基于多级网络编码对纠删码的编码矩阵进行改进形成多级编码矩阵，利用其级联性生成多级编码(hierarchical coding, HC码)来构成多副本数据，使得各副本之间存在编码关系.在损坏数据恢复时，利用数据所有者提供的数据编码信息和云存储中保存的数据块直接计算进行恢复，从而避免从云存储中远程下载数据.理论分析和实验表明，所提算法在相同的存储空间下显著减少了损坏数据恢复时的通信开销并提高了数据的可用性.
- 云存储 /
- 多副本 /
- 多级网络编码 /
- 多级编码矩阵 /
- 数据恢复
Abstract: The rapid development of cloud data storage presents a high demand on the availability of stored data. Currently, the main technique of ensuring data availability is to use erasure coding to calculate coded blocks for the stored data, and then utilize distributed storage to store multiple redundant coded blocks in cloud storage space. Although this data coding technology can ensure the security of stored data and reduce extra storage space, it also causes a large calculation and communication overhead when recovering corrupted data. In this paper a multi-replica generation and corrupted data recovery algorithm is proposed based on hierarchical network coding. The algorithm improves the coding matrix of erasure coding based on hierarchical network coding to form the hierarchical coding (HC). Then multi-replicas which are built based on the cascade of the hierarchical coding forms the coding relationship between each other. In the process of corrupted data recovery, the data encoding information provided by the data owner and the complete data blocks stored by the cloud server are jointly computed to recover the corrupted data blocks, avoiding remote data downloading from the cloud storage space. Theoretical analysis and simulation experiments indicate that the proposed algorithm reduces the communication overhead significantly when recovering corrupted data and improves the availability of stored data under the same storage space.
- cloud storage /
- multiple replica /
- hierarchical network coding /
- hierarchical coding matrix /
- data recovery

HTML全文

参考文献(0)

施引文献(19)

期刊类型引用(11)

1.	李萍，刘金金. 基于改进模糊聚类算法的大数据随机挖掘仿真. 计算机仿真. 2024(02): 496-499+521 . 百度学术
2.	李来存. 基于物联网技术的信息系统数据存储系统. 信息技术. 2024(05): 120-126+132 . 百度学术
3.	何芳州，王祉淇. 知识图谱特征重构下无线传感网络数据存储恢复. 传感技术学报. 2024(07): 1265-1270 . 百度学术
4.	万晓云，张泰，程妍. 基于弹性空间模型的实验室网络数据存储算法. 计算机仿真. 2024(09): 368-371+428 . 百度学术
5.	梁志宏. 电力异构数据集群存储动态副本选择系统. 电子设计工程. 2024(24): 105-109 . 百度学术
6.	孙淳晔，庞亚南，邓芳. 分布式存储在运营商中的应用与研究. 广东通信技术. 2023(02): 71-74 . 百度学术
7.	谢振杰，付伟. 基于可审计多副本的云存储差错副本恢复机制. 计算机应用. 2023(04): 1102-1108 . 百度学术
8.	姜宇鸣，周益民. 海量机载激光点云数据分布式分片存储方法研究. 电子器件. 2023(04): 978-983 . 百度学术
9.	辛明勇，祝健杨，徐长宝，姚浩，刘德宏. 基于循环神经网络的多核处理器层次化存储技术. 电子设计工程. 2023(22): 121-124+129 . 百度学术
10.	梁杨，丁长松，胡志刚. 基于“推荐-学习”的两阶段数据布局策略. 南京师大学报(自然科学版). 2023(04): 80-90 . 百度学术
11.	白亮，郭新营，潘旭东，叶德力·波拉提，古再奴尔·艾再孜. 基于大数据的信息系统资源利用率人工智能预测方法. 电力大数据. 2022(06): 43-48 . 百度学术