首页/ 北京京安佳新技术有限公司/ 专利详情

一种基于Hadoop的海量小文件处理方法和设备

基本信息

申请号 CN202010313667.2 申请日 -
公开（公告）号 CN111538702A 公开（公告）日 2020-08-14
申请公布号 CN111538702A 申请公布日 2020-08-14
分类号 G06F16/13(2019.01)I 分类 -
发明人 谢翔;王光勤 申请（专利权）人 北京京安佳新技术有限公司
代理机构 北京睿博行远知识产权代理有限公司 代理人 龚家骅
地址 100089北京市海淀区信息路22号6层B座6层602-611室
法律状态 -

摘要

摘要 本发明公开了一种基于Hadoop的海量小文件处理方法和设备，该方法包括：根据文件合并请求和预设合并路径获取与文件合并请求对应的大文件和索引文件，所述文件合并请求是在所述预设合并路径中小文件的数量达到预设的阈值时触发的；根据所述小文件和所述大文件确定所述小文件在所述索引文件中的索引信息，根据所述小文件的预设压缩方式确定所述小文件在所述大文件中的压缩信息；根据所述索引信息和所述压缩信息对所述小文件进行合并，通过本申请的技术方案，能够简化文件合并过程以及提高处理小文件的检索效率。