支持大量词库的分词方法、计算机可读存储介质及系统
基本信息
| 申请号 | CN202011592528.4 | 申请日 | - |
| 公开（公告）号 | CN112307753A | 公开（公告）日 | 2021-06-22 |
| 申请公布号 | CN112307753A | 申请公布日 | 2021-06-22 |
| 分类号 | G06F40/284;G06F40/242 | 分类 | 计算；推算；计数; |
| 发明人 | 胡小敏 | 申请（专利权）人 | 启业云大数据（南京）有限公司 |
| 代理机构 | 北京众合诚成知识产权代理有限公司 | 代理人 | 刘珊珊 |
| 地址 | 210000 江苏省南京市江北新区产业技术研创园江淼路88号腾飞大厦A座11层-14层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提出一种支持大量词库的分词方法、计算机可读存储介质及系统，该方法包括以下步骤：构建领域词典；构建基于领域词典的离线分词模型；对于待分词的原始文本，通过离线分词模型进行分词，得到第一分词结果；对待分词的原始文本进行待搜索词提取，然后基于待搜索词在领域词典内进行一级索引搜索和二级索引搜索，最后对二级索引结果进行筛选，提取出候选词；将候选词和第一分词结果进行重组，基于重组结果构建原始文本的有向图，并基于最短路径法算出最优分词结果。本发明将单一领域分词结果与大词搜索的结果进行组合，基于组合结果构建有向图，将求解最优分词方案的问题转化为最优路径的问题快速求解，非常适合分出大词。 |
