一种大规模相似新闻标题快速归一化方法
基本信息
| 申请号 | CN201910521164.1 | 申请日 | - |
| 公开（公告）号 | CN110245275A | 公开（公告）日 | 2019-09-17 |
| 申请公布号 | CN110245275A | 申请公布日 | 2019-09-17 |
| 分类号 | G06F16/9032（2019.01）I; G06F16/951（2019.01）I; G06F16/9535（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 鲍翊平; 曹扬; 王进; 何春辉; 张翀; 葛斌; 夏利锋; 王绍丽 | 申请（专利权）人 | 贵州华云创谷科技有限公司 |
| 代理机构 | 长沙市护航专利代理事务所（特殊普通合伙） | 代理人 | 中电科大数据研究院有限公司; 贵州华云创谷科技有限公司; 长沙军民先进技术研究有限公司 |
| 地址 | 550000 贵州省贵阳市贵阳国家高新技术产业开发区金阳科技产业园黎阳大厦 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种大规模相似新闻标题快速归一化方法，所述方法包括：S1、预处理新闻标题数据；S2、将与任意给定新闻标题相关的新闻标题数据进行排序；S3、计算相关新闻标题与该新闻标题之间相似度并排序；S4、比较相关新闻标题中最大相似度值与设定相似度阈值并判断索引中是否存在相似新闻标题，若存在则将最大相似度新闻标题MD5值作为该新闻标题归一化序列码，若不存在则进入步骤S5；S5、计算该新闻标题MD5值，作为其归一化序列码与其内容存入索引中；S6、重复步骤S2和S5，完成所有新闻标题的归一化映射。本发明可以快速找出相关的新闻标题并做出相似性判定，然后将相似新闻标题映射成唯一的归一化序列码，实现了大规模相似新闻标题的快速归一化。 |
