一种基于杰卡德距离的实时文本聚类方法专利查询专利号|摘要-满商公司网

一种基于杰卡德距离的实时文本聚类方法

基本信息

申请号	CN202010451072.3	申请日	-
公开（公告）号	CN111538839A	公开（公告）日	2020-08-14
申请公布号	CN111538839A	申请公布日	2020-08-14
分类号	G06F16/35(2019.01)I	分类	计算；推算；计数;
发明人	金勇;胡华;孙涛	申请（专利权）人	武汉烽火普天信息技术有限公司
代理机构	上海精晟知识产权代理有限公司	代理人	武汉烽火普天信息技术有限公司
地址	430000湖北省武汉市东湖开发区关山二路附4号
法律状态	-

摘要

本发明涉及一种基于杰卡德距离的实时文本聚类方法，具体包括以下步骤：S1：文本相似度计算：从待聚类数据中选取两个文本，分别从两个文本中抽取关键词，再计算不同文本对应关键词之间的交集、并集，进一步得到杰卡德距离；S2：设定层次聚类阈值；S3：构建聚类模型，依次读取新加载数据，计算每条数据和每个类之间的平均距离，并与阈值比较，确定是否聚到该类还是单独划分一类，不断迭代更新；S4：将S3的聚类结果以更新聚类标识的形式写入Hbase和ES数据库，ES数据库中具有相同聚类标识的数据被聚为一类。本申请的文本聚类方法可以实现海量文本数据的实时分析，类似文本聚类，有效去重，提升用户体验，同时还能改善文本分类结果。