• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

一种基于RDMA多播机制的分布式持久性内存文件系统

陈茂棠, 郑圣安, 游理通, 王晶钰, 闫田, 屠要峰, 韩银俊, 黄林鹏

陈茂棠, 郑圣安, 游理通, 王晶钰, 闫田, 屠要峰, 韩银俊, 黄林鹏. 一种基于RDMA多播机制的分布式持久性内存文件系统[J]. 计算机研究与发展, 2021, 58(2): 384-396. DOI: 10.7544/issn1000-1239.2021.20200369
引用本文: 陈茂棠, 郑圣安, 游理通, 王晶钰, 闫田, 屠要峰, 韩银俊, 黄林鹏. 一种基于RDMA多播机制的分布式持久性内存文件系统[J]. 计算机研究与发展, 2021, 58(2): 384-396. DOI: 10.7544/issn1000-1239.2021.20200369
shu
Chen Maotang, Zheng Sheng’an, You Litong, Wang Jingyu, Yan Tian, Tu Yaofeng, Han Yinjun, Huang Linpeng. A Distributed Persistent Memory File System Based on RDMA Multicast[J]. Journal of Computer Research and Development, 2021, 58(2): 384-396. DOI: 10.7544/issn1000-1239.2021.20200369
Citation: Chen Maotang, Zheng Sheng’an, You Litong, Wang Jingyu, Yan Tian, Tu Yaofeng, Han Yinjun, Huang Linpeng. A Distributed Persistent Memory File System Based on RDMA Multicast[J]. Journal of Computer Research and Development, 2021, 58(2): 384-396. DOI: 10.7544/issn1000-1239.2021.20200369
shu
陈茂棠, 郑圣安, 游理通, 王晶钰, 闫田, 屠要峰, 韩银俊, 黄林鹏. 一种基于RDMA多播机制的分布式持久性内存文件系统[J]. 计算机研究与发展, 2021, 58(2): 384-396. CSTR: 32373.14.issn1000-1239.2021.20200369
引用本文: 陈茂棠, 郑圣安, 游理通, 王晶钰, 闫田, 屠要峰, 韩银俊, 黄林鹏. 一种基于RDMA多播机制的分布式持久性内存文件系统[J]. 计算机研究与发展, 2021, 58(2): 384-396. CSTR: 32373.14.issn1000-1239.2021.20200369
shu
Chen Maotang, Zheng Sheng’an, You Litong, Wang Jingyu, Yan Tian, Tu Yaofeng, Han Yinjun, Huang Linpeng. A Distributed Persistent Memory File System Based on RDMA Multicast[J]. Journal of Computer Research and Development, 2021, 58(2): 384-396. CSTR: 32373.14.issn1000-1239.2021.20200369
Citation: Chen Maotang, Zheng Sheng’an, You Litong, Wang Jingyu, Yan Tian, Tu Yaofeng, Han Yinjun, Huang Linpeng. A Distributed Persistent Memory File System Based on RDMA Multicast[J]. Journal of Computer Research and Development, 2021, 58(2): 384-396. CSTR: 32373.14.issn1000-1239.2021.20200369
shu

一种基于RDMA多播机制的分布式持久性内存文件系统

  • 1(上海交通大学计算机科学与工程系 上海 200240)

  • 2(清华大学计算机科学与技术系 北京 100084)

  • 3(中兴通讯股份有限公司 南京 210012) (chenmaotang@sjtu.edu.cn)

基金项目: 国家重点研发计划项目(2018YFB1003302)；上海交通大学-华为联合实验室项目(FA2018091021-202004)
详细信息

  • 中图分类号: TP391

A Distributed Persistent Memory File System Based on RDMA Multicast

  • 1(Department of Computer Science and Engineering, Shanghai Jiao Tong University, Shanghai 200240)

  • 2(Department of Computer Science and Technology, Tsinghua University, Beijing 100084)

  • 3(ZTE Corporation, Nanjing 210012)

Funds: This work was supported by the National Key Research and Development Program of China (2018YFB1003302) and the SJTU-Huawei Innovation Research Lab Project (FA2018091021-202004).

HTML全文

    摘要
  • 摘要: 持久性内存技术与远程直接内存访问(remote direct memory access, RDMA)技术的发展，为高效分布式系统的设计提供了新的思路.然而，现有的基于RDMA的分布式系统没有充分利用RDMA的多播能力，难以解决1对多传输场景下的多拷贝文件数据传输问题，严重影响了系统性能.针对此问题，提出一种基于RDMA多播机制的分布式持久性内存文件系统(RDMA multicast transmission based distributed persistent memory file system, MTFS)，通过低延迟多播通信机制充分利用RDMA多播能力，将数据高效传输到多个数据节点，从而避免了多拷贝传输操作带来的高延迟.为提升传输操作灵活性，MTFS设计了多模式多播远程过程调用(remote procedure call, RPC)机制，实现了RPC请求自适应识别，并通过优化返回机制将部分传输操作移出关键路径，进一步提升传输效率.同时MTFS提供了轻量级一致性保障机制，通过设计故障恢复功能、数据校验系统、重传策略与窗口机制，当节点出现崩溃时进行快速恢复，并在传输出现错误时实现数据精准检测与纠正，保证了数据的可靠性和一致性.实验证明，MTFS在各测试集上相比现有系统GlusterFS吞吐量提升了10.2~219倍.在Redis数据库的工作负载下，MTFS相比于NOVA取得了最高10.7%的性能提升，并在多线程测试中取得了良好的可扩展性.
    Abstract: The development of persistent memory and remote direct memory access(RDMA) provides new opportunities for designing efficient distributed systems. However, the existing RDMA-based distributed systems are far from fully exploiting RDMA multicast capabilities, which makes them difficult to solve the problem of multi-copy file data transmission in one-to-many transmission, degrading system performance. In this paper, a distributed persistent memory and RDMA multicast transmission based file system(MTFS) is proposed. It efficiently transmits data to different data nodes by the low-latency multicast transmission mechanism, which makes full use of the RDMA multicast capability, hence avoiding high latency due to multi-copy file data transmission operations. To improve the flexibility of transmission operations, a multi-mode multicast remote procedure call(RPC) mechanism is proposed, which enables the adaptive recognition of RPC requests, and moves transmission operations out of the critical path to further improve transmission efficiency. MTFS also provides a lightweight consistency guarantee mechanism. By designing a crash recovery mechanism, a data verification module and a retransmission scheme, MTFS is able to quickly recover from a crash, and achieves file system reliability and data consistency by error detection and data correction. Experimental results show that MTFS has greatly increased the throughput by 10.2-219 times compared with GlusterFS. MTFS outperforms NOVA by 10.7% on the Redis workload, and achieves good scalability in multi-thread workloads.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(48)

  • 期刊类型引用(20)

    1. 肖鸿洲 ，李长云，王志兵 ，甘英华 ，任国鑫 . 一种稀疏体压特征人员识别方法. 现代电子技术. 2025(03): 111-118 . 百度学术
    2. 王莹. 未经授权的人脸识别支付法律责任解释论. 运城学院学报. 2024(02): 70-74+89 . 百度学术
    3. 洪延青. 人脸识别技术应用的分层治理理论与制度进路. 法律科学(西北政法大学学报). 2024(01): 89-99 . 百度学术
    4. 王勇，熊毅，杨天宇，沈益冉. 一种面向耳戴式设备的用户安全连续认证方法. 计算机研究与发展. 2024(11): 2821-2834 . 本站查看
    5. 杨光锴. 基于扩散模型的指纹图像生成方法. 河北省科学院学报. 2023(01): 13-18+66 . 百度学术
    6. 徐胜超，熊茂华. 基于子模式的人脸局部遮挡智能识别方法. 信息技术. 2023(03): 35-39 . 百度学术
    7. 周宇，向剑文，郑倩荣，赵冬冬. 保护用户数量信息的安全虹膜识别方案. 信息安全学报. 2023(03): 49-64 . 百度学术
    8. 张星星，钟陈，王文峰，苏立伟. 生物特征识别标准概述. 信息技术与标准化. 2023(11): 64-68 . 百度学术
    9. 张雪锋，常振会，张俊杰，王超飞. 指纹和虹膜特征融合的可撤销模板保护方法. 西安邮电大学学报. 2023(04): 51-60 . 百度学术
    10. 钟陈，苏立伟，王文峰. 生物特征识别呈现攻击检测标准化研究. 信息技术与标准化. 2022(Z1): 50-53 . 百度学术
    11. 张宗华，王晟贤，高楠，孟召宗. 基于曲面类型与深度学习融合的三维掌纹识别技术. 电子与信息学报. 2022(04): 1469-1475 . 百度学术
    12. 胡先智，陈浩，梁艳. 多模态生物特征信息安全防护体系研究. 计算机技术与发展. 2022(04): 86-91 . 百度学术
    13. 张波，贺楚博. 基于可撤销人脸的模糊保险箱算法研究与实现. 计算机技术与发展. 2022(06): 126-130 . 百度学术
    14. 帕孜来提·努尔买提，古丽娜孜·艾力木江，乎西旦·居马洪，朱双玲. 一种基于深度学习方法的面部微变识别的研究. 伊犁师范大学学报(自然科学版). 2022(02): 41-46+52 . 百度学术
    15. 杨丽红，尚泽昊. 基于区块链和模糊提取的多特征融合身份认证模型. 数字技术与应用. 2022(08): 218-220 . 百度学术
    16. 董芸嘉，张雪锋，姜文. 基于指纹和手指静脉特征融合的模板保护方法. 传感器与微系统. 2022(11): 9-13 . 百度学术
    17. 张波，佟玉强. 基于双随机相位编码的多特征人脸模板保护方法. 激光与光电子学进展. 2022(18): 215-222 . 百度学术
    18. 王晟贤，张宗华，高楠，孟召宗. 融合曲面类型与迁移学习的三维掌纹识别方法. 传感器与微系统. 2022(12): 118-121 . 百度学术
    19. 丁勇，李佳慧，唐士杰，王会勇. 基于随机映射技术的声纹识别模板保护. 计算机研究与发展. 2020(10): 2201-2208 . 本站查看
    20. 张佳，王红. 基于生物特征识别的Android身份认证终端技术研究. 电子测试. 2020(24): 78-79+56 . 百度学术

    其他类型引用(28)

    • 资源附件(0)
计量
  • 文章访问数:  1364
  • HTML全文浏览量:  3
  • PDF下载量:  570
  • 被引次数: 48
出版历程
  • 发布日期:  2021-01-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(48)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计