首页/ 中国移动通信集团辽宁有限公司/ 专利详情

分词处理方法、装置、计算设备及存储介质

基本信息

申请号 CN202010163540.7 申请日 -
公开（公告）号 CN113378562A 公开（公告）日 2021-09-10
申请公布号 CN113378562A 申请公布日 2021-09-10
分类号 G06F40/289（2020.01）I;G06F40/216（2020.01）I;G06F16/33（2019.01）I;G06F16/387（2019.01）I 分类 计算；推算；计数;
发明人 姜荣鑫 申请（专利权）人 中国移动通信集团辽宁有限公司
代理机构 北京市浩天知识产权代理事务所（普通合伙） 代理人 梁倩
地址 110000辽宁省沈阳市浑南新区新隆街6号
法律状态 -

摘要

摘要 本发明公开了一种分词处理方法、装置、计算设备及存储介质，方法包括：基于平均感知器算法对语料库中的语料样本进行训练，得到第一分词统计模型；其中，将每一次训练后得到的参数权值求平均值，将平均值作为第一分词统计模型中的参数权值；统计第一分词统计模型中各个特征的权重，根据统计结果确定权重阈值，将权重小于权重阈值的特征从第一分词统计模型中删除，得到第二分词统计模型；当接收到待分词文件数据时，利用第二分词统计模型对待分词文件数据完成分词匹配处理。通过上述方式，本发明能够节省训练模型的时间和资源，同时在不影响模型的性能的情况下减小了模型文件的大小。