分离词典的构建方法、基于分离词典的分词方法及设备
基本信息
申请号 | CN202110513880.2 | 申请日 | - |
公开(公告)号 | CN113111655A | 公开(公告)日 | 2021-07-13 |
申请公布号 | CN113111655A | 申请公布日 | 2021-07-13 |
分类号 | G06F40/289(2020.01)I;G06F40/242(2020.01)I | 分类 | 计算;推算;计数; |
发明人 | 贾宁 | 申请(专利权)人 | 数库(上海)科技有限公司 |
代理机构 | 上海十蕙一兰知识产权代理有限公司 | 代理人 | 刘秋兰 |
地址 | 201112上海市闵行区陈行路2388号9号楼8层801室 | ||
法律状态 | - |
摘要
摘要 | 本发明属于语言处理技术领域,具体涉及一种分离词典的构建方法、一种基于分离词典的分词方法及相关设备。其中分词方法,包括:获取待分词的文字S,调用初始化后的分离词典,在分离词典内查找是否存在文字S内的字串,若找到,则保存字串;使用预设的分词工具segger,根据已保存的字串对文字S进行分词。本发明与现有技术相比,采用索引和分离式词典来存储和使用用户词典,节省了内存空间。 |
