文本去重的方法、装置以及存储介质
基本信息
| 申请号 | CN202110891600.1 | 申请日 | - |
| 公开（公告）号 | CN113688629A | 公开（公告）日 | 2021-11-23 |
| 申请公布号 | CN113688629A | 申请公布日 | 2021-11-23 |
| 分类号 | G06F40/289;G06F16/35;G06K9/62;G06N3/04;G06N3/08 | 分类 | 计算；推算；计数; |
| 发明人 | 金博昊;陈凌云;李宁;徐彬;陈炎;汤鑫;张文琰;李明旭;李文婷;陈旭;马丽媛 | 申请（专利权）人 | 德邦证券股份有限公司 |
| 代理机构 | 北京万思博知识产权代理有限公司 | 代理人 | 刘冀 |
| 地址 | 200120 上海市浦东新区福山路500号城建国际中心18楼 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请公开了一种文本去重的方法、装置以及存储介质。其中，文本去重的方法，包括：根据预先设置的分类模型，对获取的资讯海量文本进行分类，确定多个第一海量文本；利用预先设置的局部哈希敏感算法，对第一海量文本集合进行文本去重，确定第二海量文本集合，其中第一海量文本集合中的文本包括文本内容以及文本标题；利用局部哈希敏感算法，根据第二海量文本集合中的文本标题对第二海量文本集合进行去重，确定第三海量文本集合；以及利用局部哈希敏感算法，根据第三海量文本集合中的文本内容对第三海量文本集合进行去重，确定第四海量文本集合。 |
