一种改进的基于缓存池机制的小文件I/O策略OA北大核心CSCDCSTPCD
Improved I/O policy of small files based on cache pool
Lustre文件系统对大文件的I/O性能较好,但对小文件不佳。针对这个问题,提出建立一个基于MDS节点的小文件缓存池机制,在缓存池里缓存经常被访问的小文件。在该机制中,小文件缓存池与OST使用全相联映射方式对应,并且使用贯穿读出式和直写式策略保持文件的一致性;缓存池更新策略综合考虑了文件的访问时间和次数等因素,使用改进的近期最少使用算法(LRU)更新替换。实验结果表明,改进后的Lustre文件系统减少了小文件的网络传输开销和访问时间,对小文件的I…查看全部>>
The I/O performance is excellent for the large files on Lustre file system, but is poor for the small files. To solve the problem, this paper proposes a small file cache pool mechanism based on MDS node, the frequently accessed small files are put in the pool. In this mechanism, the pool uses a fully associative mapping to correspond with OST file cache, and uses look through style and write through strategy to ensure the file consistency. The cache pool upd…查看全部>>
聂瑞华;谢文君;梁军
华南师范大学 计算机学院,广州 510631华南师范大学 计算机学院,广州 510631华南师范大学 网络中心,广州 510631
信息技术与安全科学
Lustre文件系统全相联映射近期最少使用算法(LRU)I/O性能
Lustre file systemfully associative mappingLeast Recently Used(LRU)I/O performance
《计算机工程与应用》 2016 (16)
210-215,6
教育部-中移动基金项目(No.MCM20130651);广州市科技和信息化局基金项目(No.2014Y2-00006);华南师范大学青年教师科研培育基金(No.2012KJ006)。
评论