一种基于web检索和新词发现的领域词典构建方法专利查询专利号|摘要-满商公司网

一种基于web检索和新词发现的领域词典构建方法

基本信息

申请号	CN202010068095.6	申请日	-
公开（公告）号	CN111325018A	公开（公告）日	2020-06-23
申请公布号	CN111325018A	申请公布日	2020-06-23
分类号	G06F40/242(2020.01)I	分类	-
发明人	杜梦豪;赵琨;刘杰鹏;丁健;梁栋彬;袁显峰	申请（专利权）人	上海恒企教育培训有限公司
代理机构	深圳紫晴专利代理事务所（普通合伙）	代理人	程玉红
地址	上海市杨浦区国宾路18号701B-1室
法律状态	-

摘要

本发明公开了一种基于web检索和新词发现的领域词典构建方法，针对文本数据的多样性和丰富性(包含网络数据和文献数据)，以及新词中也存在领域词等特点，提出一种基于web检索和新词发现的领域词典构建方法。该方法由以下两部分组成：基于种子词典爬取网络数据，然后基于自定义的抽取模式抽取领域词；基于互信息和左右熵学习字与字之间的自由度和粘合度，然后基于BiLstm‑CRF实现新词发现。本发明与现有的技术相比的优点在于：本发明基于互信息和左右熵学习字与字之间的粘合度和自由度，然后基于BiLstm‑CRF模型学习文本的上下文信息，整体提升低频词的识别率,基于检索和统计的方法，对抽取的新词和发现的词进行校验,省去人工校验，能够高抽取的领域词的质量。