一种减少Lucene无字典n-gram切词占用存储空间的方法
基本信息
| 申请号 | CN201911307360.5 | 申请日 | - |
| 公开（公告）号 | CN111078824A | 公开（公告）日 | 2020-04-28 |
| 申请公布号 | CN111078824A | 申请公布日 | 2020-04-28 |
| 分类号 | G06F16/31 | 分类 | 计算；推算；计数; |
| 发明人 | 母延年 | 申请（专利权）人 | 南京录信软件技术有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 210000 江苏省南京市江宁区滨江经济开发区盛安大道739号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及计算机算法技术领域，具体公开了一种减少Lucene无字典n‑gram切词占用存储空间的方法，包括如下步骤，S1：输入数据样例；S2：对数据样例进行SNGram切割，获得跳跃倒排表；S3：对步骤S2所获得的数据倒排表进行ngram切词，创建SNGram的映射；S4：完成数据样例的存储；本发明所提供的方法，先进行粗粒度级别的切词，如每隔8个字切一个词；将粗粒度的词，排重后进一步得出细粒度的词，针对细粒度的词创建索引；从而大幅度的减少倒排表的体积，并提升创建索引的性能，提升1*这种需要匹配很多倒排term的扫描性能。 |
