一种基于hdfs存储且用lucene做索引的文件存储方法
基本信息
申请号 | CN202011313364.7 | 申请日 | - |
公开(公告)号 | CN112231437A | 公开(公告)日 | 2021-01-15 |
申请公布号 | CN112231437A | 申请公布日 | 2021-01-15 |
分类号 | G06F16/31;G06F16/33;G06F16/182 | 分类 | 计算;推算;计数; |
发明人 | 母延年 | 申请(专利权)人 | 南京好鱼科技有限公司 |
代理机构 | 南京中软知识产权代理事务所(特殊普通合伙) | 代理人 | 郑燕飞 |
地址 | 210000 江苏省南京市江宁区董村路39号2幢天琪科技大厦706室(江宁开发区) | ||
法律状态 | - |
摘要
摘要 | 本发明涉及文件索引技术领域的基于hdfs存储且用lucene做索引的文件存储方法,包括首先,搭建索引系统并获取Lucene分布式索引系统维护过程不断更新产生的各个索引文件;然后,对获取的各个索引文件进行筛选分类后再进行索引文件合并处理,将分散的小索引文件合并为单一索引文件;对类型为tim、tip、doc、dvd、dvm、fdx、pay以及pos的文件均合并为一个文件;将文件按照顺序规则存放起来;对存放数据进行数据验证,经过验证合并后的文件可以正常的读取后进行最终存储,至此完成文件的存储处理本发明能够提供一种减少文件读写次数、处理存储高效且缩短操作延时的基于hdfs存储且用lucene做索引的文件存储方法。 |
