一种文本去重方法及系统
基本信息
| 申请号 | CN201810134643.3 | 申请日 | - |
| 公开（公告）号 | CN108345586A | 公开（公告）日 | 2018-07-31 |
| 申请公布号 | CN108345586A | 申请公布日 | 2018-07-31 |
| 分类号 | G06F17/27 | 分类 | 计算；推算；计数; |
| 发明人 | 孙世通;刘德彬;万杰;严开;陈玮 | 申请（专利权）人 | 重庆电信系统集成有限公司 |
| 代理机构 | 重庆中流知识产权代理事务所（普通合伙） | 代理人 | 重庆誉存大数据科技有限公司;重庆电信系统集成有限公司 |
| 地址 | 401121 重庆市渝北区黄山大道中段53号附2号麒麟C座18层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供一种文本去重方法，包括以下步骤，目标文本数据预处理步骤；生成目标文本正文局部敏感哈希值和目标文本标题局部敏感哈希值步骤；去重步骤。本发明针对网络文本独有的特性，在应用SimHash算法的策略上做出调整，在以新闻文本背后事件为主体进行去重时，获得更优效果与更高鲁棒性。 |
