关联计算的预处理方法及装置
基本信息
申请号 | CN201610050952.3 | 申请日 | - |
公开(公告)号 | CN105488033B | 公开(公告)日 | 2018-01-02 |
申请公布号 | CN105488033B | 申请公布日 | 2018-01-02 |
分类号 | G06F17/27(2006.01)I;G06F17/30(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 修保新;陈发君;刘忠;黄金才;朱承;程光权;陈超;冯旸赫;杨文辉;龙开亮 | 申请(专利权)人 | 长沙市源本信息科技有限公司 |
代理机构 | 北京中济纬天专利代理有限公司 | 代理人 | 中国人民解放军国防科学技术大学;长沙市源本信息科技有限公司 |
地址 | 410073 湖南省长沙市开福区德雅路109号 | ||
法律状态 | - |
摘要
摘要 | 本发明提供一种关联计算的预处理方法及装置,该方法在对文本分词的基础上,使用LDA模型算法对文本进行主题聚类计算得到文档‑主题概率分布以及主题‑词概率分布。然后通过文档‑主题概率分布计算出文本的非相关主题集合,通过主题‑词概率分布计算出文本的非相关词,从而将与文档主题内容不相关的词识别提取出来。将过滤结果用于进一步的关联计算。从而降低了非相关词对关联计算的干扰。 |
