A Key-Value Database Optimization Method Based on Raw Flash Device
-
摘要: 近年来，非关系型的key-value数据库得到越来越广泛的应用.然而，目前主流的key-value数据库或者是基于磁盘设计的，或者是传统的基于文件系统和闪存转换层FTL来构建的，难以发挥闪存存储设备的特性，限制了I/O的并发性能，且垃圾回收过程复杂.设计并实现了一种基于裸闪存的key-value数据管理架构Flashkv，通过用户态下的管理单元进行空间管理和垃圾回收，充分利用了闪存设备内部的并发特性，并简化了垃圾回收过程，去除了传统文件系统和FTL中的冗余功能，缩短了I/O路径.提出了基于闪存特点的I/O调度技术，优化了闪存的读写延迟，提高了吞吐率；提出了用户态缓存管理技术，降低了数据写入量和频繁系统调用所带来的开销.测试结果表明，Flashkv性能是levelDB的1.9~2.2倍，写入量减少60%~65%.
-
关键词:
- key-value数据库 /
- 闪存 /
- 裸设备 /
- 数据存储 /
- 使用寿命
Abstract: In recent years, NoSQL key-value databases have been widely used. However, the current mainstream key-value databases are based either on disk, or on traditional file system and flash translation layer, which makes it difficult to utilize the characteristics of flash devices, and also limits I/O concurrency of flash devices. Moreover, garbage collection process under such kind of architecture is complex. This paper designs and implements Flashkv, a key-value data management architecture based on raw flash device. Flashkv doesn’t use file system and flash translation layer, instead, it’s space management and garbage collection are done by the management unit in the user mode. Flashkv makes full use of the concurrent features inside the flash device, and simplifies the garbage collection process and removes redundant function modules which exist in both traditional file system and flash translation layer, and also shortens the I/O path. This paper proposes I/O scheduling technology based on the characteristics of flash memory, which reduces read and write latency of flash memory and improves throughput. The user mode cache management technology is proposed, which reduces write amount and also the cost of frequent system calls. Test results show that Flashkv’s performance is 1.9 to 2.2 times that of levelDB and the write amount reduces by 60% to 65%.-
Keywords:
- key-value database /
- flash memory /
- raw device /
- data storage /
- lifespan
-
-
期刊类型引用(13)
1. 程巍，王红英，娄岩. 基于“5G云+VR”的心脏解剖虚拟仿真教学系统的构建与应用. 中国医学教育技术. 2025(02): 223-228 . 
百度学术
2. 费星瑞，谢逸. 基于HMM-NN的用户点击流识别. 计算机科学. 2022(07): 340-349 . 百度学术
3. 王同贺，华昊辰，曹军威. 共识边缘计算及其在能源互联网中的应用. 电力建设. 2021(02): 116-125 . 百度学术
4. 柴艳娜. 内核网络堆栈的Go语言实现与分析. 电子设计工程. 2021(13): 34-37+42 . 百度学术
5. 樊琦，李卓，陈昕. 基于边缘计算的分支神经网络模型推断延迟优化. 计算机应用. 2020(02): 342-346 . 百度学术
6. 向安玲，杨钰雯. 边缘计算在传媒领域的应用. 中国传媒科技. 2020(03): 113-116 . 百度学术
7. 常国锋. 基于信任域的环形网络介质访问时延控制仿真. 计算机仿真. 2020(03): 349-353 . 百度学术
8. 董召杰，林志达. 基于边缘计算的机巡图像缺陷识别算法研究. 自动化与仪器仪表. 2020(07): 77-80 . 百度学术
9. 张翠芳，姬楠楠. 基于模糊矩阵的多线程网络通信延迟检测技术研究. 科学技术与工程. 2020(27): 11198-11203 . 百度学术
10. 华昊辰，李宇童，王同贺，秦兆铭，曹军威. 一种基于混合随机H_2/H_∞方法的能源互联网边缘计算系统控制策略. 中国电机工程学报. 2020(21): 6875-6885 . 百度学术
11. 闫朝峰，刘清莉. 王者荣耀业务网络感知保障浅析. 通讯世界. 2019(09): 81-82 . 百度学术
12. 肖文华，刘必欣，刘巍，程钢，王跃华. 面向恶劣环境的边缘计算综述. 指挥与控制学报. 2019(03): 181-190 . 百度学术
13. 丁祥海，王志会. 边缘计算在计算机科学方向的进展研究. 信息与管理研究. 2019(06): 73-83 . 百度学术
其他类型引用(6)
计量
- 文章访问数: 1751
- HTML全文浏览量: 3
- PDF下载量: 879
- 被引次数: 19
下载:
