• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

一个基于日志结构的非易失性内存键值存储系统

游理通, 王振杰, 黄林鹏

游理通, 王振杰, 黄林鹏. 一个基于日志结构的非易失性内存键值存储系统[J]. 计算机研究与发展, 2018, 55(9): 2038-2049. DOI: 10.7544/issn1000-1239.2018.20180258
引用本文: 游理通, 王振杰, 黄林鹏. 一个基于日志结构的非易失性内存键值存储系统[J]. 计算机研究与发展, 2018, 55(9): 2038-2049. DOI: 10.7544/issn1000-1239.2018.20180258
shu
You Litong, Wang Zhenjie, Huang Linpeng. A Log-Structured Key-Value Store Based on Non-Volatile Memory[J]. Journal of Computer Research and Development, 2018, 55(9): 2038-2049. DOI: 10.7544/issn1000-1239.2018.20180258
Citation: You Litong, Wang Zhenjie, Huang Linpeng. A Log-Structured Key-Value Store Based on Non-Volatile Memory[J]. Journal of Computer Research and Development, 2018, 55(9): 2038-2049. DOI: 10.7544/issn1000-1239.2018.20180258
shu
游理通, 王振杰, 黄林鹏. 一个基于日志结构的非易失性内存键值存储系统[J]. 计算机研究与发展, 2018, 55(9): 2038-2049. CSTR: 32373.14.issn1000-1239.2018.20180258
引用本文: 游理通, 王振杰, 黄林鹏. 一个基于日志结构的非易失性内存键值存储系统[J]. 计算机研究与发展, 2018, 55(9): 2038-2049. CSTR: 32373.14.issn1000-1239.2018.20180258
shu
You Litong, Wang Zhenjie, Huang Linpeng. A Log-Structured Key-Value Store Based on Non-Volatile Memory[J]. Journal of Computer Research and Development, 2018, 55(9): 2038-2049. CSTR: 32373.14.issn1000-1239.2018.20180258
Citation: You Litong, Wang Zhenjie, Huang Linpeng. A Log-Structured Key-Value Store Based on Non-Volatile Memory[J]. Journal of Computer Research and Development, 2018, 55(9): 2038-2049. CSTR: 32373.14.issn1000-1239.2018.20180258
shu

一个基于日志结构的非易失性内存键值存储系统

  • (上海交通大学计算机科学与工程系 上海 200240) (litong.you@sjtu.edu.cn)

基金项目: 国家重点研发计划项目(2018YFB1003302)；国家自然科学基金项目(61472241) This work was supported by the National Key Research and Development Program of China (2018YFB1003302) and the National Natural Science Foundation of China (61472241).
详细信息

  • 中图分类号: TP391

A Log-Structured Key-Value Store Based on Non-Volatile Memory

  • (Department of Computer Science and Engineering, Shanghai Jiao Tong University, Shanghai 200240)

HTML全文

    摘要
  • 摘要: 非易失性内存(non-volatile memory， NVM)技术是非常具有应用前景的计算机内存技术，将会对计算机存储层次结构产生极大的影响.NVM具有可字节寻址、可持久存储、低访问延迟等特点，这为DRAM和NVM在统一的主存储空间中的结合提供了巨大的机会.NVM可通过内存总线以及CPU相关指令进行数据访存，这使得在非易失性内存中设计快速的持久存储系统成为可能.现有的键值存储系统将NVM作为块设备使用，未能充分发挥NVM的性能.当硬件支持出现故障(例如高速缓存刷新)时，一些现有的键值存储系统无法保证数据的一致性.提出了一种基于日志结构的非易失性内存键值存储系统TinyKV，该系统利用键值数据负载的特性提出了一个静态并发、缓存友好的Hash表实现方案.TinyKV为每个工作线程维护单独的数据日志，以实现高并发性.此外，TinyKV采用日志结构技术进行内存管理，设计多层级内存分配器，以保证一致性.此外，系统通过减少对NVM的写入与缓存刷新指令，以降低写入延迟.实验显示：与传统的键值存储系统相比，TinyKV具有良好的吞吐性能与扩展能力.
    Abstract: Non-volatile memory (NVM) technologies are promising that would change the future of storage. NVM possesses many attractive capabilities such as byte addressability, low access latency, and persistence. It provides a great opportunity for the integration of DRAM and NVM in a unified main storage space. NVM could access data through the memory bus and CPU related instructions, which makes it possible to design a fast and persistent storage system in non-volatile memory. Existing key-value stores proposed for block devices implement NVM as block devices, which conceal the performance that NVM provides. A few existing key-value stores for NVM fail to provide consistency when hardware supports (e.g., cache flush) on power failures are unavailable. In this paper, we present a non-volatile memory key-value storage system, named TinyKV, which utilizes the log structure as its core framework. We propose a static concurrent, cache-friendly Hash table implementation using the characteristics of the key-value workloads. TinyKV separates the maintenance for data log of each worker thread in order to guarantee high concurrency. In addition, we implement the log structure technology for memory management and design a multi-tier memory allocator to ensure consistency. To reduce write latency, we reduce writes to NVM and cache flushing instructions by using cache flushing instructions. Our experiments demonstrate that TinyKV outperforms traditional key-value stores in both throughput and scalability.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(190)

  • 期刊类型引用(78)

    1. 郭胜楠，罗翼霄，李镜. 基于区块链存储技术的用户行为数据分析. 计算机与网络. 2025(01): 62-66 . 百度学术
    2. 张婷，邓小飞. 边缘计算结合区块链技术的金融风险防控体系研究. 焦作大学学报. 2025(02): 63-67 . 百度学术
    3. 董陵，解锦明，朱艳杰，金灿. 基于人工智能的5G消息内容安全检测方法研究. 江苏通信. 2024(01): 105-109+126 . 百度学术
    4. 刘志磊，王劲松，赵泽宁. 面向可视分析的比特币交易地址去重算法研究. 天津理工大学学报. 2024(02): 84-91 . 百度学术
    5. 李广，陈梓钿，卞静，周杰英，吴维刚，中山大学. 区块链欺诈行为识别技术综述. 信息安全学报. 2024(04): 1-30 . 百度学术
    6. 李鸣，宋文鹏，宗燕，刘冕宸. 基于区块链的元宇宙生态体系架构. 计算机研究与发展. 2024(09): 2364-2383 . 本站查看
    7. 邹文涛，李传艺，葛季栋，骆斌. 基于混合链的协作业务流程的隐私保护和数据监管. 计算机集成制造系统. 2024(08): 2897-2912 . 百度学术
    8. 张桂玉，刘博文，梁晓晨，张笑颜，吕城锦，于思佳，李硕. 基于区块链的算网可信交易激励机制研究. 网络与信息安全学报. 2024(04): 175-186 . 百度学术
    9. 杨昌霖，牛星宇. 编码区块链中存储分配的分布式学习协议. 计算机应用研究. 2024(10): 2918-2925 . 百度学术
    10. 贾金萍，肖诗涵，钱堃，杨艳琴，张召. Web 3.0数字经济风险感知技术综述. 计算机研究与发展. 2024(12): 3005-3026 . 本站查看
    11. 朱涵，吴胜. 区块链跨链技术及其安全性综述. 计算机应用研究. 2024(12): 3543-3552 . 百度学术
    12. 沈蒙，车征，祝烈煌，徐恪，高峰，余聪聪，吴言. 区块链数字货币交易的匿名性：保护与对抗. 计算机学报. 2023(01): 125-146 . 百度学术
    13. 谭朋柳，王润庶，曾文豪，王诗堃，邹雯诗. 区块链共识算法综述. 计算机科学. 2023(S1): 691-702 . 百度学术
    14. 王群，李馥娟，倪雪莉，夏玲玲，梁广俊. 区块链数据形成与隐私威胁. 计算机工程. 2023(08): 1-12 . 百度学术
    15. 谷志峰，张虎. 一种改进的实用拜占庭容错算法. 计算机与数字工程. 2023(06): 1223-1226+1243 . 百度学术
    16. 傅唯佳，冯瑞，葛小玲，叶成杰，张帆，王桢絮，蒋龙泉，张晓波. 基于区块链技术的儿科区域医疗数据共享平台建设. 中国医疗器械信息. 2023(17): 47-51+110 . 百度学术
    17. 胡漠，郑彦宁，周宁人. Polkadot跨链技术赋能医养信息跨链协同模式研究. 信息资源管理学报. 2023(05): 115-125+148 . 百度学术
    18. 叶翰文，欧阳思源，包振强. 引入秘密共享的改进实用拜占庭容错算法. 小型微型计算机系统. 2023(06): 1146-1152 . 百度学术
    19. 周昌慧，刘万里，梁峰，李荣臻，徐雷. 基于防预测分组的PBFT算法改进方案. 计算机与数字工程. 2023(09): 1945-1948+1978 . 百度学术
    20. 刁一晴 ，叶阿勇 ，张娇美 ，邓慧娜 ，张强 ，程保容 . 基于群签名和同态加密的联盟链双重隐私保护方法. 计算机研究与发展. 2022(01): 172-181 . 本站查看
    21. 方燚飚，周创明，李松，宋亚飞，高娜，刘唐. 联盟链中实用拜占庭容错算法的改进. 计算机工程与应用. 2022(03): 135-142 . 百度学术
    22. 徐涛 ，杨阳 ，刘才华 . 基于区块链技术的航班协同运行保障系统架构设计. 计算机应用与软件. 2022(03): 14-18 . 百度学术
    23. 周健，张杰，闫石. 基于链上数据的区块链欺诈账户检测研究. 计算机应用研究. 2022(04): 992-997 . 百度学术
    24. 毛典辉，梁秀霞，赵爽，郝治昊. 面向区块链平台的庞氏骗局模式检测方法. 计算机技术与发展. 2022(05): 153-159 . 百度学术
    25. 王小伟，吕友辉. 基于区块链的冬季项目远程支援平台架构设计. 信息记录材料. 2022(05): 169-172 . 百度学术
    26. 陈霄汉，赵相福，张登记，费佳佳. SlightDetection：一种以太坊智能合约安全漏洞的静态分析工具. 应用科学学报. 2022(04): 695-712 . 百度学术
    27. 王劲松，赵述佳，赵泽宁，张洪玮. 基于交易网络的公有链用户识别方法. 计算机工程. 2022(08): 30-36 . 百度学术
    28. 钱程. 广州区块链产业发展态势及其推进对策. 科技创新发展战略研究. 2022(05): 43-48 . 百度学术
    29. 张晓波，冯瑞，葛小玲，叶成杰，王蓓蓓，傅唯佳，曹云，周建国，黄国英，蒋龙泉，傅国慧，张帆，汤梁峰，顾莺，郑如意，张志峰，倪洪涛，沈兵，徐虹. 基于5G+区块链的危重新生儿转运信息平台构建策略与效果评估. 中国卫生资源. 2022(05): 581-587 . 百度学术
    30. 林丹，林凯欣，吴嘉婧，郑子彬. 基于字节码的以太坊智能合约分类方法. 网络与信息安全学报. 2022(05): 111-120 . 百度学术
    31. 苏小芳，李兴旺. 区块链技术在我国主要领域的创新应用. 现代商业. 2022(34): 133-136 . 百度学术
    32. 沈传年. 区块链跨链技术研究综述. 物联网学报. 2022(04): 183-196 . 百度学术
    33. Zigui Jiang，Kai Chen，Hailin Wen，Zibin Zheng. Applying blockchain-based method to smart contract classification for CPS applications. Digital Communications and Networks. 2022(06): 964-975 . 必应学术
    34. 沈蒙，桑安琪，祝烈煌，孙润庚，张璨. 基于动机分析的区块链数字货币异常交易行为识别方法. 计算机学报. 2021(01): 193-208 . 百度学术
    35. 蔡晓晴，邓尧，张亮，史久琛，陈全，郑文立，刘志强，龙宇，王堃，李超，过敏意. 区块链原理及其核心技术. 计算机学报. 2021(01): 84-131 . 百度学术
    36. 刘峰，杨杰，李志斌，齐佳音. 一种基于区块链的泛用型数据隐私保护的安全多方计算协议. 计算机研究与发展. 2021(02): 281-290 . 本站查看
    37. 季钰翔，黄建华，王喆，郑红，唐瑞琮. 基于信任度匹配的改进PBFT共识算法. 计算机科学. 2021(02): 303-310 . 百度学术
    38. 王黎亚，谢祖光，李海峰，杨国辉，李江城. 区块链技术在烟草溯源和防伪中的应用. 企业科技与发展. 2021(01): 41-42+45 . 百度学术
    39. 罗世刚，杨鹏飞，何炅轩. 基于区块链技术在分布式电源电费结算中的应用研究. 通信电源技术. 2021(01): 213-216 . 百度学术
    40. 张国潮，唐华云，陈建海，沈睿，何钦铭，黄步添. 基于区块链的数字音乐版权管理系统. 计算机应用. 2021(04): 945-955 . 百度学术
    41. 陶然，李慧君. 区块链技术在审计中的应用探讨. 现代商贸工业. 2021(15): 92-94 . 百度学术
    42. 何帅，黄襄念，陈晓亮. 区块链跨链技术发展及应用研究综述. 西华大学学报(自然科学版). 2021(03): 1-14 . 百度学术
    43. 方燚飚，周创明，雷晓莉，宋亚飞，高娜. 基于区块链技术的供应链交易系统设计. 计算机工程. 2021(06): 23-31 . 百度学术
    44. 吴奕，仲盛. 区块链共识算法Raft研究. 信息网络安全. 2021(06): 36-44 . 百度学术
    45. 刘林林. 区块链驱动下的供应链金融平台商业模式创新研究. 潍坊学院学报. 2021(05): 24-29 . 百度学术
    46. 赵跃，林振威，陆奇鹏，虞丽娟. 基于区块链架构的医用耗材供应链管理研究. 医学信息学杂志. 2021(12): 50-54+60 . 百度学术
    47. 张逸飞，曹少中，祁德力，王亮，杨彦红. 基于区块链的图书侵权记录存证平台. 应用科学学报. 2020(01): 184-196 . 百度学术
    48. 姚红梅. 区块链技术在化工企业环境污染治理上的应用研究. 化工管理. 2020(01): 35-36 . 百度学术
    49. 曹怀虎，张艳梅，王坚，李海峰，崔丽欣. DAG区块链中基于确定性退火技术的融合分割遗传任务调度算法. 中国科学:信息科学. 2020(02): 261-274 . 百度学术
    50. 徐美强，高志远，王伟，袁浩，姜玉磊. 基于区块链技术的智能变电站配置版本管理. 电力系统保护与控制. 2020(02): 60-67 . 百度学术
    51. 刘哲，郑子彬，宋苏，张兆田. 区块链存在的问题与对策建议. 中国科学基金. 2020(01): 7-11 . 百度学术
    52. 傅易文晋，陈华辉，钱江波，董一鸿. 面向时空数据的区块链研究综述. 计算机工程. 2020(03): 1-10 . 百度学术
    53. 汪家伟，饶元，常仲禹. 基于区块链的茶叶可信溯源系统的设计与实现. 黑龙江八一农垦大学学报. 2020(02): 74-81+90 . 百度学术
    54. 康文博，汤卓凡，郑庆荣，茅伟杰，戴人杰，邹海涵，刘明川，罗晨曦. 区块链技术在电力物联网中的应用现状与前景展望. 电力与能源. 2020(02): 149-154+159 . 百度学术
    55. 丁勇，王端瑞，侯本忠. 新时期审计管理与作业一体化研究. 经济师. 2020(05): 103-104+106 . 百度学术
    56. 阳震青，牛月月. 区块链技术下公司财务风险管理探究. 合作经济与科技. 2020(16): 98-100 . 百度学术
    57. 刘琰，杨博，王瑜. 基于区块链技术的食品可追溯系统研究. 中国自动识别技术. 2020(04): 62-67 . 百度学术
    58. 张倩妮. 区块链技术赋能会计信息质量初探. 北方经贸. 2020(09): 90-92 . 百度学术
    59. 薛鑫波. 区块链背景下保险业信用度提升对策的调查——以中国人寿为例. 生产力研究. 2020(08): 49-53 . 百度学术
    60. 李书霞，王国卿，庄雷. 区块链智能合约安全的逆向实时模型检测方法. 小型微型计算机系统. 2020(10): 2030-2035 . 百度学术
    61. 鲍禹含，付印金，陈卫卫. 多云存储关键技术研究进展. 计算机工程. 2020(10): 18-32+40 . 百度学术
    62. 单志红，李纯. 区块链在企业财务管理中的应用研究——以丰田汽车公司为例. 中国高新科技. 2020(16): 63-65 . 百度学术
    63. 方燚飚，周创明. 基于区块链智能合约的代币系统. 计算机应用研究. 2020(12): 3686-3690+3698 . 百度学术
    64. 安述倩，李文明，范志华，吴海彬，吴萌，王达，张浩，唐志敏. NDP-Ledger:面向区块链应用的通用高通量加速架构. 高技术通讯. 2020(11): 1093-1103 . 百度学术
    65. 戎晨珊. 区块链能否创新新闻业商业模式. 东南传播. 2019(01): 71-73 . 百度学术
    66. 连耿雄. 基于区块链的可信移动应用市场. 计算机与现代化. 2019(03): 58-61+67 . 百度学术
    67. 戎晨珊. 区块链技术对新闻业商业模式的影响. 中国传媒科技. 2019(02): 10-13 . 百度学术
    68. 刘窈君，杨艳萍. 食品添加剂行业运用区块链技术的可行性及实施路径分析. 创新科技. 2019(02): 79-83 . 百度学术
    69. 海沫，朱建明. 区块链网络最优传播路径和激励相结合的传播机制. 计算机研究与发展. 2019(06): 1205-1218 . 本站查看
    70. 明锐. 区块链技术在政府环境污染治理中的应用研究. 环境科学与管理. 2019(06): 85-89 . 百度学术
    71. 张本才. 未来法学论纲. 法学. 2019(07): 3-17 . 百度学术
    72. 孟韬，董政，关钰桥. 区块链技术驱动下的企业管理与创新. 管理现代化. 2019(04): 64-70 . 百度学术
    73. 肖建宏. 基于区块链技术的高校企业实践教学管理系统. 现代计算机. 2019(20): 96-100 . 百度学术
    74. 黄达明. 区块链技术在教育领域的应用现状与展望. 南京信息工程大学学报(自然科学版). 2019(05): 541-550 . 百度学术
    75. 王冰钰，颜拥，文福拴，周自强，林少娃，陈星莺. 基于区块链的分布式电力交易机制. 电力建设. 2019(12): 3-10 . 百度学术
    76. 高颖. “区块链+审计”的应用现状及前景研究. 现代商业. 2019(31): 156-158 . 百度学术
    77. 刘杰，汪川琳，韩洪灵，陈汉文. “区块链+审计”作业模式的理想与现实. 财会月刊. 2019(08): 3-10 . 百度学术
    78. 杭茂燕，沈逸君，李宁. 基于区块链技术的高校联盟在线阅读互动平台构建研究. 江苏科技信息. 2018(36): 17-19 . 百度学术

    其他类型引用(112)

    • 资源附件(0)
计量
  • 文章访问数:  1484
  • HTML全文浏览量:  17
  • PDF下载量:  638
  • 被引次数: 190
出版历程
  • 发布日期:  2018-08-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(190)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计