一种海量小文件存储读取的优化方法和系统

基本信息

申请号 CN201610697088.6 申请日 -
公开(公告)号 CN107766374B 公开(公告)日 2021-05-25
申请公布号 CN107766374B 申请公布日 2021-05-25
分类号 G06F16/172(2019.01)I;G06F3/06(2006.01)I 分类 计算;推算;计数;
发明人 丁晓杰;颜新波;曹敬涛;朱雷军;徐启亮 申请(专利权)人 上海凯翔信息科技有限公司
代理机构 上海专利商标事务所有限公司 代理人 施浩
地址 200233上海市徐汇区田林路200号A2楼803室
法律状态 -

摘要

摘要 本发明公开了一种海量小文件存储读取的优化方法和系统,能够解决因为海量小文件的存储性能不足而影响服务能力的问题,且在不明显增加成本以及不显著改变流程的前提下,加快整体的访问效率。其技术方案为:通过增加一块或多块高速磁盘来存放元数据,以使数据的访问加速提升整体的服务性能。新增的高速磁盘和原有分区整合成一个块设备,并对已新格式化好的文件系统进行优化处理,在处理完成后,将文件系统的元数据部分迁移到高速磁盘中,而原来存放元数据区域以及原来的真实数据区域,都用作新的真实数据区域来使用。此后所有元数据的读写增删等操作以及对目录的操作,都会在高速磁盘上进行,以用来加快整体访问速度。