一种词汇表的筛选方法

基本信息

申请号 CN201910390439.2 申请日 -
公开(公告)号 CN110134767B 公开(公告)日 2021-07-23
申请公布号 CN110134767B 申请公布日 2021-07-23
分类号 G06F16/33(2019.01)I;G06F40/216(2020.01)I;G06F40/30(2020.01)I;G06F40/284(2020.01)I;G06K9/62(2006.01)I 分类 计算;推算;计数;
发明人 陈峰 申请(专利权)人 云知声(上海)智能科技有限公司
代理机构 北京冠和权律师事务所 代理人 朱健;张国香
地址 200000上海市徐汇区桂箐路65号1幢702室03单元
法律状态 -

摘要

摘要 本发明提供了一种词汇表的筛选方法,包括:确定预设词汇在预先存储的语料库中出现的频率;确定预设词汇在预先存储的语料库中的预设语段中的位置信息,并根据所述位置信息获得所述预设词汇对应的位置熵;根据所确定的预设词汇在预先存储的语料库中出现的频率和获得的所述预设词汇对应的位置熵,计算出所述预设词汇的权重;根据所计算出的所述预设词汇的权重结果,从预先存储的语料库中筛选出相关的预设词汇,构成筛选词汇表。用以提高筛选词汇的准确性和可靠性。