基于代理的并行文件系统元数据优化与实现

易建亮; 陈志广; 肖侬; 卢宇彤

doi:10.7544/issn1000-1239.2018.20160796

基于代理的并行文件系统元数据优化与实现

¹(国防科技大学计算机学院长沙 410073)
²(高性能计算国家重点实验室(国防科技大学) 长沙 410073)
³(中山大学数据科学与计算机学院广州 510275) (jianliang.yi@foxmail.com)

基金项目: 国家重点研发计划(2016YFB1000302);国家自然科学基金项目(U1611261,61433019,61402503);广东省引进创新创业团队项目(2016ZT06D211)

详细信息

中图分类号: TP311.1
计量
- 文章访问数: 1162
- HTML全文浏览量: 1
- PDF下载量: 511
出版历程
- 发布日期: 2018-01-31

Proxy Based Metadata Optimization and Implementation in Parallel Filesystem

¹(College of Computer, National University of Defense Technology, Changsha 410073)
²(State Key Laboratory of High Performance Computing (National University of Defense Technology), Changsha 410073)
³(School of Data and Computer Science, Sun Yat-sen University, Guangzhou 510275)

摘要

摘要: 在高性能计算环境中，并行文件系统面临百万量级的客户端，这些客户端往往在同一时间段内发出大量并发I/O请求，使元数据服务器承载巨大的压力.另一方面，这些客户端发出的并发读写请求往往指向同一目录，导致很难将元数据负载调度到多个服务器上.为此，提出在并行文件系统的客户端和元数据服务器之间增加一级代理(proxy)，并给出相应的优化措施降低元数据服务器的负载.在元数据代理上实现2方面的优化:1)由于高性能计算程序往往并发访问大量的文件，可以考虑通过元数据聚合将大量请求合并成1个请求发送到元数据服务器上，降低元数据服务器的负载；2)高性能计算程序的并发I/O往往指向同一目录，而传统的元数据负载均衡机制一般采用子树划分的方法将元数据负载调度到多个元数据服务器上，无法实现针对同一目录元数据操作的负载均衡，通过代理将针对同一目录的元数据操作调度到多个元数据服务器上，实现细粒度的负载均衡.
- 代理服务器 /
- 高并发 /
- 高性能计算 /
- 并行文件系统 /
- 负载均衡
Abstract: In high-performance computing environment, parallel file system faces a mega client. These clients often issue a large number of concurrent IO request to the system in the same period of time, making the metadata server under a huge pressure. On the other hand, concurrent read and write requests from these clients often relate to the same directory. It makes it difficult to schedule work load across multiple servers. Therefore, we add a proxy server between the client and the metadata server and propose corresponding optimization methods to reduce the work load of the metadata server. In this paper, we realize two aspects of optimization based on proxy server. First of all, since the high-performance computing program often access files concurrently, we consider merging the numerous requests into a big one and then sent it to metadata server. Secondly, concurrent IO from the high-performance computing program often points to the same directory. Traditional metadata load balancing mechanism commonly use sub-tree partitioning method to dispatch work load across multiple server. This method is unable to realize load balancing in the situation where all operations relate to the same directory. The paper realizes fine-grained load balancing by scheduling the operations from the same directory to the plurality of metadata servers.
- proxy server /
- high concurrency /
- high performance computing /
- parallel file system /
- load balancing

HTML全文

参考文献(0)

施引文献(23)

期刊类型引用(15)

1.	原娇杰，焦梦甜，赵杰文. 基于光纤传感网络的多目标分类识别算法设计. 光通信技术. 2025(02): 17-22 . 百度学术
2.	冯丽佳，苑柳青，熊丽丽. 基于数据挖掘的光纤周界振动信号识别. 激光杂志. 2023(07): 137-142 . 百度学术
3.	邓郁旭，佘春华. 基于信号处理技术的光纤入侵行为识别方法. 激光杂志. 2022(03): 143-147 . 百度学术
4.	孙世政，向洋，党晓圆，张辉，何盛港. 基于粒子群解耦算法的FBG流量温度复合传感研究. 仪器仪表学报. 2022(01): 2-10 . 百度学术
5.	吕方舟. VoIP模式地空通信数据链信号特征量识别算法. 吉林大学学报(信息科学版). 2022(02): 307-312 . 百度学术
6.	管立伟，卢宇，何志杰，陈曦. 基于光纤传感的智能安防报警系统设计与开发. 红外与激光工程. 2022(08): 396-401 . 百度学术
7.	范珍珍. 面向敏感环境的反射式光纤传感防盗系统设计. 红外与激光工程. 2022(10): 230-235 . 百度学术
8.	杜永生，蒿琳，石秦峰. 低质量红外偏振图像热像特征提取方法. 激光杂志. 2022(11): 159-163 . 百度学术
9.	严其强，朱亦凡，郭婉华，宣辰扬，张曹锋，何邦乐. 基于光纤动态感知技术在电缆通道在线监控中的研究与实现. 电力大数据. 2022(10): 69-80 . 百度学术
10.	杨纯，李垠韬，宋伟，杨广涛，孟继军，门宝霞，叶宝安. Φ-OTDR光纤传感电缆防外破监测数据预处理方法. 激光与红外. 2021(04): 486-492 . 百度学术
11.	贾徐庆，张琳，李杰. 用于安全告警的光纤周界入侵振动信号智能识别. 激光杂志. 2021(06): 108-111 . 百度学术
12.	林秋珍，赵越，孙忠阁. 大规模光纤网络数据流的自动分类. 激光杂志. 2021(09): 80-84 . 百度学术
13.	张新梅，范量，张新科，李前程. 基于常时微动的建筑群垂向振动特性监控仿真. 计算机仿真. 2021(10): 487-491 . 百度学术
14.	任孝锋. 考虑光纤入侵信号的安防系统信号分级识别算法研究. 激光杂志. 2020(07): 162-166 . 百度学术
15.	郭继坤，曹权，贾皓翔. 改进的马赫-曾德尔干涉仪的光纤传感定位系统. 黑龙江科技大学学报. 2019(06): 720-724 . 百度学术