一种海量短文本自适应分桶的反向去重方法
基本信息
| 申请号 | CN202011500654.2 | 申请日 | - |
| 公开（公告）号 | CN112487177A | 公开（公告）日 | 2021-03-12 |
| 申请公布号 | CN112487177A | 申请公布日 | 2021-03-12 |
| 分类号 | G06F16/335(2019.01)I;G06F40/289(2020.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 杨祎聪;金霞;杨红飞 | 申请（专利权）人 | 杭州火石数智科技有限公司 |
| 代理机构 | 杭州求是专利事务所有限公司 | 代理人 | 刘静 |
| 地址 | 310051浙江省杭州市滨江区江南大道3880号华荣时代大厦1310室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种海量短文本自适应分桶的反向去重方法，该方法包括以下步骤：首先对全量数据进行自适应分桶；然后对每个桶内的数据进行排序，去重时将排序靠后的数据去重，对排序后的数据进行两两比较，根据相似度判断两个数据之间是高度相似、相似还是不相似，不相似的数据不被去重，相似的数据直接被去重，高度相似的数据比较特征子串，将特征子串一样的去重。最后合并各个桶被去重的数据，从全量数据中剔除被去重的数据得到去重的全量数据。本发明可以在保证尽可能将相似的数据分到一个桶的情况下有效避免数据倾斜，解决了同一个桶内本应该被去重的数据遗漏的问题。 |
