Hadoop文件处理方法、装置、存储介质及服务器
基本信息
申请号 | CN201910840684.9 | 申请日 | - |
公开(公告)号 | CN110765082A | 公开(公告)日 | 2020-02-07 |
申请公布号 | CN110765082A | 申请公布日 | 2020-02-07 |
分类号 | G06F16/16;G06F16/182 | 分类 | 计算;推算;计数; |
发明人 | 李亮光 | 申请(专利权)人 | 深圳平安通信科技有限公司 |
代理机构 | 深圳中一联合知识产权代理有限公司 | 代理人 | 深圳平安通信科技有限公司 |
地址 | 518000 广东省深圳市前海深港合作区临海大道59号海运中心主塔楼319号 | ||
法律状态 | - |
摘要
摘要 | 本发明属于计算机技术领域,尤其涉及一种Hadoop文件处理方法、装置、计算机可读存储介质及服务器。所述方法包括:接收终端设备下发的Hadoop文件处理指令,并从所述Hadoop文件处理指令中提取文件筛选维度、文件筛选范围以及文件处理方式;按照所述文件筛选维度对预设的第一文件信息表中的文件条目进行升序排序,得到第二文件信息表,所述第一文件信息表用于存储Hadoop分布式文件系统中的文件信息;在所述第二文件信息表中查找第一文件条目和第二文件条目;按照所述文件处理方式对指定文件集合进行处理,所述指定文件集合为由所述第一文件条目和所述第二文件条目之间的各个文件条目所对应的各个文件组成的集合。在需要进行批量文件处理时,极大提升了处理效率。 |
