一种基于大范围扫描的词典优化方法专利查询专利号|摘要-满商公司网

一种基于大范围扫描的词典优化方法

基本信息

申请号	CN202011309180.3	申请日	-
公开（公告）号	CN112269855A	公开（公告）日	2021-01-26
申请公布号	CN112269855A	申请公布日	2021-01-26
分类号	G06F16/31;G06F16/36	分类	计算；推算；计数;
发明人	母延年	申请（专利权）人	南京好鱼科技有限公司
代理机构	南京中软知识产权代理事务所（特殊普通合伙）	代理人	郑燕飞
地址	210000 江苏省南京市江宁区董村路39号2幢天琪科技大厦706室（江宁开发区）
法律状态	-

摘要

本发明涉及大数据处理技术领域的基于大范围扫描的词典优化方法，具体包括首先设定一个固定筛选阀值，将tim词典中对应的doc文件小于该阀值的词全部筛选出来，而大于该阀值的doclist进行保留；每间隔固定周期就将所有词的doclist进行小文件合并处理同时根据各个文件位置偏移量进行记录doclist所属的分区信息；将每个文件对应的分区偏移量信息记录在大文件的尾部，在每次获取所需文件时进行读取文件尾部位置信息来获得所有doclist的偏移量；合并大文件放入一个kv系统里面，kv系统进行快速读取，将随机目录的小文件进行合并后避免大量的随机磁盘数据输入或输出处理；本发明能够提供一种消耗计算资源少、处理速度快且对文件损耗低的基于大范围扫描的词典优化方法。