一种基于动态规划方法实现数据去重装置及方法
基本信息
| 申请号 | CN201711372970.4 | 申请日 | - |
| 公开（公告）号 | CN108052626A | 公开（公告）日 | 2018-05-18 |
| 申请公布号 | CN108052626A | 申请公布日 | 2018-05-18 |
| 分类号 | G06F17/30 | 分类 | 计算；推算；计数; |
| 发明人 | 余良波;余国晶;洪玉;李华;雷俊智 | 申请（专利权）人 | 号百信息服务有限公司 |
| 代理机构 | 北京高沃律师事务所 | 代理人 | 号百信息服务有限公司 |
| 地址 | 200080 上海市虹口区四川北路61号13-19楼 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开一种基于动态规划方法实现数据去重装置及方法。包括数据排序单元，数据分组单元，数据清洗单元，数据相似度分析单元，数据输出单元；对所有数据进行排序得到排序后数据；将相似的排序后数据编成数据组；对数据组内提取source和traget进行清洗得到清洗后数据；对所述清洗后数据进行相似度分析得到分析结果；判断分析结果是否合格，判断合格后，输出合格数据。本发明大大降低人工匹配相似度信息，减少人工成本，提高工作效率，也保证数据质量准确性、一致性、标准性、完整性。 |
