一种结合主题语义与TF*IDF算法的大规模文本分类方法及系统
基本信息
| 申请号 | CN202110481459.8 | 申请日 | - |
| 公开（公告）号 | CN113032573A | 公开（公告）日 | 2021-06-25 |
| 申请公布号 | CN113032573A | 申请公布日 | 2021-06-25 |
| 分类号 | G06F16/35;G06F40/30;G06F40/284 | 分类 | 计算；推算；计数; |
| 发明人 | 任伟;吴晨;缪建明;张全;韦向峰;袁毅;徐永潜 | 申请（专利权）人 | 《中国学术期刊（光盘版）》电子杂志社有限公司 |
| 代理机构 | 北京天奇智新知识产权代理有限公司 | 代理人 | 王泽云 |
| 地址 | 100084 北京市海淀区清华园清华大学36区1407、1408、1409 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种语种无关的结合主题语义与TF*IDF算法的大规模文本分类方法及系统，本方法以TF*IDF算法为基础，在特征向量选择和权重计算过程中利用LDA计算的主题语义，通过LDA建模分析得到文档‑主题分布和主题‑词语分布，以此为基础计算主题语义因子TSF，并将TSF作为新的量化维度引入特征选择和特征向量权重计算中。本方法有效利用了特征项之间内在的关联性信息。也避免了直接根据LDA浅层主题语义进行文本分类而造成的实时增量分类处理能力弱，计算结果不稳定的问题。采用数据驱动的处理模式，与语种无关，无需额外的语言知识支撑，适合大规模、多语种文本数据的快速高效分类处理。 |
