• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

基于持久性内存和SSD的后端存储MixStore

屠要峰, 陈正华, 韩银俊, 陈兵, 关东海

屠要峰, 陈正华, 韩银俊, 陈兵, 关东海. 基于持久性内存和SSD的后端存储MixStore[J]. 计算机研究与发展, 2021, 58(2): 406-417. DOI: 10.7544/issn1000-1239.2021.20200389
引用本文: 屠要峰, 陈正华, 韩银俊, 陈兵, 关东海. 基于持久性内存和SSD的后端存储MixStore[J]. 计算机研究与发展, 2021, 58(2): 406-417. DOI: 10.7544/issn1000-1239.2021.20200389
shu
Tu Yaofeng, Chen Zhenghua, Han Yinjun, Chen Bing, Guan Donghai. MixStore: Back-End Storage Based on Persistent Memory and SSD[J]. Journal of Computer Research and Development, 2021, 58(2): 406-417. DOI: 10.7544/issn1000-1239.2021.20200389
Citation: Tu Yaofeng, Chen Zhenghua, Han Yinjun, Chen Bing, Guan Donghai. MixStore: Back-End Storage Based on Persistent Memory and SSD[J]. Journal of Computer Research and Development, 2021, 58(2): 406-417. DOI: 10.7544/issn1000-1239.2021.20200389
shu
屠要峰, 陈正华, 韩银俊, 陈兵, 关东海. 基于持久性内存和SSD的后端存储MixStore[J]. 计算机研究与发展, 2021, 58(2): 406-417. CSTR: 32373.14.issn1000-1239.2021.20200389
引用本文: 屠要峰, 陈正华, 韩银俊, 陈兵, 关东海. 基于持久性内存和SSD的后端存储MixStore[J]. 计算机研究与发展, 2021, 58(2): 406-417. CSTR: 32373.14.issn1000-1239.2021.20200389
shu
Tu Yaofeng, Chen Zhenghua, Han Yinjun, Chen Bing, Guan Donghai. MixStore: Back-End Storage Based on Persistent Memory and SSD[J]. Journal of Computer Research and Development, 2021, 58(2): 406-417. CSTR: 32373.14.issn1000-1239.2021.20200389
Citation: Tu Yaofeng, Chen Zhenghua, Han Yinjun, Chen Bing, Guan Donghai. MixStore: Back-End Storage Based on Persistent Memory and SSD[J]. Journal of Computer Research and Development, 2021, 58(2): 406-417. CSTR: 32373.14.issn1000-1239.2021.20200389
shu

基于持久性内存和SSD的后端存储MixStore

  • 1(南京航空航天大学计算机科学与技术学院 南京 211106)

  • 2(中兴通讯股份有限公司 南京 210012) (tu.yaofeng@zte.com.cn)

基金项目: 国家重点研发计划项目(2018YFB1003301)；江苏省重点研发计划项目(BE2019012)
详细信息

  • 中图分类号: TP316

MixStore: Back-End Storage Based on Persistent Memory and SSD

  • 1(Department of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 211106)

  • 2(ZTE Corporation, Nanjing 210012)

Funds: This work was supported by the National Key Research and Development Program of China (2018YFB1003301) and the Key Research and Development Program of Jiangsu Province(BE2019012).

摘要

    摘要
  • 摘要: 持久性内存(persistent memory, PMEM)同时具备内存的低时延字节寻址和磁盘的持久化特性，将对现有软件架构体系产生革命性的变化和深远的影响.分布式存储在云计算和数据中心得到了广泛的应用，然而现有的以Ceph BlueStore为代表的后端存储引擎是面向传统机械盘和固态硬盘(solid state disk, SSD)设计的，其原有的优化设计机制不适合PMEM特性优势的发挥.提出了一种基于持久性内存和SSD的后端存储MixStore，通过易失区段标记和待删除列表技术实现了适用于持久性内存的并发跳表，用于替代RocksDB实现元数据管理机制，在保证事务一致性的同时，消除了BlueStore的compaction所引发的性能抖动等问题，同时提升元数据的并发访问性能；通过结合元数据管理机制的数据对象存储优化设计，把非对齐的小数据对象存放在PMEM中，把对齐的大块数据对象存储在SSD上，充分发挥了PMEM的字节寻址、持久性特性和SSD的大容量低成本优势，并结合延迟写入和CoW(copy-on-write)技术实现数据更新策略优化，消除了BlueStore的WAL日志引起的写放大，提升小数据写入性能.测试结果表明，在同样的硬件环境下,相比BlueStore，MixStore的写吞吐提升59%，写时延降低了37%，有效地提升了系统的性能.
    Abstract: Persistent memory (PMEM) has both the low-latency byte addressing of memory and the persistence characteristics of disk, which will bring revolutionary changes and far-reaching impact on the existing software architecture system. Distributed storage has been widely used in cloud computing and data centers, but the existing back-end storage engines represented by Ceph BlueStore are designed for traditional mechanical disks and solid state disks(SSD), and its original optimization design mechanism is not suitable for exerting the advantages of PMEM. In this paper, a back-end storage MixStore is proposed based on PMEM and SSD. Through the volatile range marking and to-be-deleted list technology, a Concurrent SkipList suitable for persistent memory is implemented, which is used to replace RocksDB to implement the metadata management mechanism. While ensuring transaction consistency, it eliminates the performance jitter and other issues caused by BlueStore’s compaction, and improves the concurrent access performance of metadata. The storage optimization design of data objects based on the metadata management mechanism is adopted, non-aligned small blocks of data objects are stored in PMEM, and the aligned large blocks of data objects are stored in SSD. This makes full use of the byte addressing and durability characteristics of the PMEM, and the large-capacity and low-cost advantage of the SSD. The data update policy is optimized based on the delayed writing and copy-on-write (CoW) technology, eliminating the write amplification caused by the WAL log of BlueStore and improving the performance of small data writing. The test results show that under the same hardware environment, MixStore’s write throughput is increased by 59% and the write latency is reduced by 37% compared with that of BlueStore, which effectively improves the system performance.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(54)

  • 期刊类型引用(21)

    1. 李禹纬，付锐，刘帆. 改进YOLOv7的轻量化交通标志检测算法. 太原理工大学学报. 2024(01): 195-203 . 百度学术
    2. 李旭东 ，廖婷婷 ，乐文毅 ，曾小信 ，陈思墨 ，李宗平 . 基于YOLOv3的袋式除尘器滤袋破损自动检测方法. 烧结球团. 2024(01): 99-105 . 百度学术
    3. 江金懋，钟国韵. 基于双向嵌套级联残差的交通标志检测方法. 现代电子技术. 2024(05): 176-181 . 百度学术
    4. 韩长江，刘丽娟. 基于Transformer改进YOLOv5的交通标志检测算法. 信息技术. 2024(11): 21-27 . 百度学术
    5. 张京淇，李超，李晓磊. 基于改进YOLOv8s的交通标志检测算法. 电脑知识与技术. 2024(30): 31-34 . 百度学术
    6. 胡昭华，王莹. 改进YOLOv5的交通标志检测算法. 计算机工程与应用. 2023(01): 82-91 . 百度学术
    7. 金晓康，吴瑶，施莹娟，沈才有. 基于YOLO框架的实时交通标志识别算法研究与系统实现. 软件. 2023(01): 20-23 . 百度学术
    8. 刘翀豪，潘理虎，杨帆，张睿. 改进YOLOv5的轻量化口罩检测算法. 计算机工程与应用. 2023(07): 232-241 . 百度学术
    9. 王能文，张涛. 改进YOLOX-S实时多尺度交通标志检测算法. 计算机工程与应用. 2023(21): 167-175 . 百度学术
    10. 方猛，邹亚洲. 基于车载点云数据的道路交通指示标志检测方法. 北京测绘. 2023(08): 1121-1127 . 百度学术
    11. 王浩，雷印杰，陈浩楠. 改进YOLOV3实时交通标志检测算法. 计算机工程与应用. 2022(08): 243-248 . 百度学术
    12. 刘万军，李嘉欣，曲海成. 基于多尺度卷积神经网络的交通标示识别研究. 计算机应用研究. 2022(05): 1557-1562 . 百度学术
    13. 张上，王恒涛，冉秀康. 基于YOLOv5的轻量化交通标志检测方法. 电子测量技术. 2022(08): 129-135 . 百度学术
    14. 刘宇宸，石刚，崔青，刘明辉，郑秋萍. 改进MobileNetv3-YOLOv3交通标志牌检测算法. 东北师大学报(自然科学版). 2022(02): 53-60 . 百度学术
    15. 高宇鹏，梁世军. 交通禁令标志自动图像识别方法设计与仿真. 计算机仿真. 2022(06): 123-126+145 . 百度学术
    16. 闵锋，侯泽铭. 铁路接触网主要部件检测方法. 计算机工程与设计. 2022(10): 2911-2917 . 百度学术
    17. 马宇，张丽果，杜慧敏，毛智礼. 卷积神经网络的交通标志语义分割. 计算机科学与探索. 2021(06): 1114-1121 . 百度学术
    18. 马永杰，程时升，马芸婷，马义德. 卷积神经网络及其在智能交通系统中的应用综述. 交通运输工程学报. 2021(04): 48-71 . 百度学术
    19. 张力天，孔嘉漪，樊一航，范灵俊，包尔固德. 基于宏微观因素的概率级别的车辆事故预测. 计算机研究与发展. 2021(09): 2052-2061 . 本站查看
    20. 陈燕，杨志刚. 自然场景建筑工程标志信息逐级细化识别算法. 计算机仿真. 2021(08): 450-454 . 百度学术
    21. 任坤，黄泷，范春奇，高学金. 基于多尺度像素特征融合的实时小交通标志检测算法. 信号处理. 2020(09): 1457-1463 . 百度学术

    其他类型引用(33)

    • 资源附件(0)
计量
  • 文章访问数:  798
  • HTML全文浏览量:  1
  • PDF下载量:  393
  • 被引次数: 54
出版历程
  • 发布日期:  2021-01-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(54)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计