一种混合分词方法

基本信息

申请号 CN201811479085.0 申请日 -
公开(公告)号 CN109657235A 公开(公告)日 2019-04-19
申请公布号 CN109657235A 申请公布日 2019-04-19
分类号 G06F17/27(2006.01)I 分类 计算;推算;计数;
发明人 张文斌; 刘洋 申请(专利权)人 云孚科技(北京)有限公司
代理机构 北京世誉鑫诚专利代理事务所(普通合伙) 代理人 孙国栋
地址 100085 北京市海淀区上地信息路2号(北京实创高科技发展总公司2-2号D栋1-8层)一层D100-0705室
法律状态 -

摘要

摘要 本发明公开的混合分词方法,涉及语义分析技术领域,利用经训练数据训练过的语言模型对语句进行标注,得到语句各个词的标签序列,初始化一个词组序列,依次对标签序列进行解码,根据解码结果,对语句进行分词,得到分词结果,实现了自动对语句内的所有语言进行分词,节省了人工成本、分词效率较高,解决了现有技术存在的不能对对语句内的所有语言进行分词,需要通过人工去分词而导致的人工成本高及分词效率低的缺陷。