一种基于hdfs存储且用lucene做索引的文件存储方法

基本信息

申请号 CN202011313364.7 申请日 -
公开(公告)号 CN112231437A 公开(公告)日 2021-01-15
申请公布号 CN112231437A 申请公布日 2021-01-15
分类号 G06F16/31;G06F16/33;G06F16/182 分类 计算;推算;计数;
发明人 母延年 申请(专利权)人 南京好鱼科技有限公司
代理机构 南京中软知识产权代理事务所(特殊普通合伙) 代理人 郑燕飞
地址 210000 江苏省南京市江宁区董村路39号2幢天琪科技大厦706室(江宁开发区)
法律状态 -

摘要

摘要 本发明涉及文件索引技术领域的基于hdfs存储且用lucene做索引的文件存储方法,包括首先,搭建索引系统并获取Lucene分布式索引系统维护过程不断更新产生的各个索引文件;然后,对获取的各个索引文件进行筛选分类后再进行索引文件合并处理,将分散的小索引文件合并为单一索引文件;对类型为tim、tip、doc、dvd、dvm、fdx、pay以及pos的文件均合并为一个文件;将文件按照顺序规则存放起来;对存放数据进行数据验证,经过验证合并后的文件可以正常的读取后进行最终存储,至此完成文件的存储处理本发明能够提供一种减少文件读写次数、处理存储高效且缩短操作延时的基于hdfs存储且用lucene做索引的文件存储方法。