• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

一种多核友好的持久性内存键值系统

汪庆, 朱博弘, 舒继武

汪庆, 朱博弘, 舒继武. 一种多核友好的持久性内存键值系统[J]. 计算机研究与发展, 2021, 58(2): 397-405. DOI: 10.7544/issn1000-1239.2021.20200381
引用本文: 汪庆, 朱博弘, 舒继武. 一种多核友好的持久性内存键值系统[J]. 计算机研究与发展, 2021, 58(2): 397-405. DOI: 10.7544/issn1000-1239.2021.20200381
shu
Wang Qing, Zhu Bohong, Shu Jiwu. A Multicore-Friendly Persistent Memory Key-Value Store[J]. Journal of Computer Research and Development, 2021, 58(2): 397-405. DOI: 10.7544/issn1000-1239.2021.20200381
Citation: Wang Qing, Zhu Bohong, Shu Jiwu. A Multicore-Friendly Persistent Memory Key-Value Store[J]. Journal of Computer Research and Development, 2021, 58(2): 397-405. DOI: 10.7544/issn1000-1239.2021.20200381
shu
汪庆, 朱博弘, 舒继武. 一种多核友好的持久性内存键值系统[J]. 计算机研究与发展, 2021, 58(2): 397-405. CSTR: 32373.14.issn1000-1239.2021.20200381
引用本文: 汪庆, 朱博弘, 舒继武. 一种多核友好的持久性内存键值系统[J]. 计算机研究与发展, 2021, 58(2): 397-405. CSTR: 32373.14.issn1000-1239.2021.20200381
shu
Wang Qing, Zhu Bohong, Shu Jiwu. A Multicore-Friendly Persistent Memory Key-Value Store[J]. Journal of Computer Research and Development, 2021, 58(2): 397-405. CSTR: 32373.14.issn1000-1239.2021.20200381
Citation: Wang Qing, Zhu Bohong, Shu Jiwu. A Multicore-Friendly Persistent Memory Key-Value Store[J]. Journal of Computer Research and Development, 2021, 58(2): 397-405. CSTR: 32373.14.issn1000-1239.2021.20200381
shu

一种多核友好的持久性内存键值系统

  • (清华大学计算机科学与技术系 北京 100084) (q-wang18@mails.tsinghua.edu.cn)

详细信息

  • 中图分类号: TP302.1

A Multicore-Friendly Persistent Memory Key-Value Store

  • (Department of Computer Science and Technology, Tsinghua University, Beijing 100084)

摘要

    摘要
  • 摘要: 相比于传统内存，持久性内存具有容量大和非易失的特点，这为构建大规模键值存储系统提供了新的机遇.然而，在多核服务器架构下设计持久性内存键值系统面临着诸多挑战，包括并发控制带来的CPU缓存抖动、对持久性内存有限写带宽的消耗和竞争以及持久性内存高延迟带来的线程冲突加剧.提出一种多核友好的持久性内存键值系统(multicore-friendly persistent memory key-value store, MPKV)，通过设计高效并发控制方法和减少对持久性内存的写操作，充分提高多核并发性能.为避免锁资源带来的额外持久性内存写带宽消耗，MPKV引入了易失性锁管理机制，将写锁资源从索引中分离，在DRAM(dynamic RAM)中单独维护它们.为保证崩溃一致性和提高并发查询性能，MPKV引入了2阶段原子写机制，利用CPU提供的原子写操作指令将系统从一个一致性状态原子地切换到另一个一致性状态，并支持了无锁查询.基于易失性锁管理机制，MPKV还提出一种并发写消除机制，以提高更新操作之间的并发效率.当出现2个冲突的更新操作时，并发写消除机制让其中一个操作直接返回，不做任何持久性内存的分配与写操作.实验显示，MPKV相比于pmemkv具有更良好的性能以及多核扩展性.其中，在18线程环境下，MPKV的吞吐达到pmemkv的1.7~6.2倍.
    Abstract: Compared with traditional memory, i.e., DRAM, persistent memory has the characteristics of large capacity and non-volatility, which brings new opportunities for building large-scale persistent memory key-value store systems. However, designing a persistent memory key-value store under a multicore server architecture faces many challenges, including CPU cache thrash due to concurrency control, the consumption and competition of limited write bandwidth for persistent memory, and aggravated conflicts between threads caused by high latency of persistent memory. In this paper, MPKV, a multicore-friendly persistent memory key-value store is proposed. By designing efficient concurrency control methods and reducing write operations to persistent memory, the system’s multicore concurrency performance is fully improved. To avoid the extra persistent memory write bandwidth consumption caused by lock resources, MPKV introduces a volatile lock management mechanism to separate write lock resources from indexes and maintain them separately in DRAM. To ensure crash consistency and improve concurrent query performance, MPKV introduces a two-phase atomic write mechanism, which uses the atomic write operation instructions provided by the CPU to atomically switch the system from one consistent state to another consistent state, and further supports lock-free query. Based on the volatile lock management mechanism, MPKV also introduces a concurrent write elimination mechanism to improve the efficiency of concurrency between update operations. When two conflicting update operations occur, the concurrent write elimination mechanism allows one of the operations to return directly without any persistent memory allocation and write. Experiments show that MPKV has better performance and multicore scalability than pmemkv. Specifically, in the 18-thread environment, the throughput of MPKV reaches 1.7 to 6.2 times of pmemkv.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(49)

  • 期刊类型引用(20)

    1. 冉玲琴，彭长根，许德权，吴宁博. 基于区块链技术架构的隐私泄露风险评估方法. 计算机工程. 2023(01): 146-153 . 百度学术
    2. 张学旺，林金朝，黎志鸿，姚亚宁. 基于新型公平盲签名和属性基加密的食用农产品溯源方案. 电子与信息学报. 2023(03): 836-846 . 百度学术
    3. 俞惠芳，吕芝蕊. 基于联盟链的身份环签密方案. 电子与信息学报. 2023(03): 865-873 . 百度学术
    4. 陈亮，黄华威，吴嘉婧，郑子彬. 区块链原理与技术课程建设探索与实践. 计算机教育. 2023(04): 74-78 . 百度学术
    5. 宋露燕，刘雪凤. 区块链赋能海洋数据共享：技术路径与风险议题. 科技与经济. 2023(02): 66-70 . 百度学术
    6. 陈志刚. 论非同质化通证的数据财产属性. 政法论丛. 2023(05): 149-160 . 百度学术
    7. 邓崧，吕雨婷，杨迪. 数据垄断的演化与分类——基于国内公共数据与商业数据. 信息资源管理学报. 2022(01): 80-90 . 百度学术
    8. 陈丽莎，李雪莲，高军涛. 支持数据完整性验证的可问责数据交易方案. 系统工程与电子技术. 2022(04): 1364-1371 . 百度学术
    9. 乔鹏程，张岩松. 农业公司使用区块链技术能否提升营运效率？. 会计之友. 2022(12): 144-150 . 百度学术
    10. 袁冰. 智媒环境下个人信息保护的场域迁移与框架建构. 科技传播. 2022(10): 126-128 . 百度学术
    11. 钟锭，刘金红，夏新斌，周良荣. 基于区块链技术的湖南省道地药材全过程追溯体系构建. 中国医药导报. 2022(24): 194-197 . 百度学术
    12. 许思源，李畅，李贺鑫，谢沂伯，肖飞. 基于区块链的生物样本信息共享系统模型研究. 中国卫生信息管理杂志. 2022(04): 471-475+534 . 百度学术
    13. 宋晓玲，刘勇，董景楠，黄勇飞. 元宇宙中区块链的应用与展望. 网络与信息安全学报. 2022(04): 45-65 . 百度学术
    14. 周磊，陈珍珠，付安民，苏铓，俞研. 支持密钥更新与审计者更换的云安全审计方案. 计算机研究与发展. 2022(10): 2247-2260 . 本站查看
    15. 程晗蕾，鲁静. 区块链技术驱动融资租赁平台优化策略探究. 财会月刊. 2022(20): 154-160 . 百度学术
    16. 黄思云，齐金平. 云计算环境下基于XML的异构数据共享研究. 信息与电脑(理论版). 2022(19): 16-19 . 百度学术
    17. 岳增龙，陈海燕，张晓晶. NKN区块链技术在物联网中的应用. 中国新通信. 2021(10): 91-92 . 百度学术
    18. 张茹，曹佳远. 基于区块链技术的造纸绿色材料供应量控制技术. 造纸科学与技术. 2021(04): 53-57+76 . 百度学术
    19. 杨信廷，王杰伟，邢斌，罗娜，于华竟，孙传恒. 基于区块链的畜牧养殖资产监管身份认证研究. 农业机械学报. 2021(11): 170-180 . 百度学术
    20. 刘芬，朱壮友，许勇. 基于区块链的电子病历数据共享模型研究. 安徽师范大学学报(自然科学版). 2021(06): 536-544 . 百度学术

    其他类型引用(29)

    • 资源附件(0)
计量
  • 文章访问数:  786
  • HTML全文浏览量:  4
  • PDF下载量:  424
  • 被引次数: 49
出版历程
  • 发布日期:  2021-01-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(49)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计