一种混合分词方法
基本信息
申请号 | CN201811479085.0 | 申请日 | - |
公开(公告)号 | CN109657235A | 公开(公告)日 | 2019-04-19 |
申请公布号 | CN109657235A | 申请公布日 | 2019-04-19 |
分类号 | G06F17/27(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 张文斌; 刘洋 | 申请(专利权)人 | 云孚科技(北京)有限公司 |
代理机构 | 北京世誉鑫诚专利代理事务所(普通合伙) | 代理人 | 孙国栋 |
地址 | 100085 北京市海淀区上地信息路2号(北京实创高科技发展总公司2-2号D栋1-8层)一层D100-0705室 | ||
法律状态 | - |
摘要
摘要 | 本发明公开的混合分词方法,涉及语义分析技术领域,利用经训练数据训练过的语言模型对语句进行标注,得到语句各个词的标签序列,初始化一个词组序列,依次对标签序列进行解码,根据解码结果,对语句进行分词,得到分词结果,实现了自动对语句内的所有语言进行分词,节省了人工成本、分词效率较高,解决了现有技术存在的不能对对语句内的所有语言进行分词,需要通过人工去分词而导致的人工成本高及分词效率低的缺陷。 |
