一种新闻内容的查重方法、系统及装置
基本信息
| 申请号 | CN201911364865.5 | 申请日 | - |
| 公开（公告）号 | CN113051907A | 公开（公告）日 | 2021-06-29 |
| 申请公布号 | CN113051907A | 申请公布日 | 2021-06-29 |
| 分类号 | G06F40/289;G06F16/215;G06F16/22;G06F16/25 | 分类 | 计算；推算；计数; |
| 发明人 | 程刚;张剑;王昕;刘轶;黄石磊;宋晓;杨大明 | 申请（专利权）人 | 深圳市北科瑞声科技股份有限公司 |
| 代理机构 | 深圳市万商天勤知识产权事务所（普通合伙） | 代理人 | 罗建平 |
| 地址 | 518000 广东省深圳市南山区高新区南区深港产学研基地大楼西座四楼W406室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种新闻内容的查重方法、系统及装置，方法包括：对采集的新闻数据进行格式转换处理，将处理后的新闻数据转为List列表；对得到的列表进行初步的去重处理，以降低列表中新闻数据的重复度；将列表中有效数据写入数据库；对数据库中的新闻数据建立全文索引；基于全文索引，从数据库中查找与目标新闻内容重复的新闻数据。对于日益增长的数据，本发明首先对列表中的新闻数据进行初步的去重处理，再通过全文索引作进一步的新闻去重。相对于无监督的方法，本发明可以使其抽取的性能越来越好。而相对于有监督的方法，本发明对数据的依赖比现有的方法低。 |
