文件的去重处理方法和装置
基本信息
| 申请号 | CN201611016883.0 | 申请日 | - |
| 公开（公告）号 | CN106708927B | 公开（公告）日 | 2021-01-05 |
| 申请公布号 | CN106708927B | 申请公布日 | 2021-01-05 |
| 分类号 | G06F16/174 | 分类 | 计算；推算；计数; |
| 发明人 | 赵汝成;曾鸿军;王鹏雷 | 申请（专利权）人 | 北京二六三企业通信有限公司 |
| 代理机构 | 北京同立钧成知识产权代理有限公司 | 代理人 | 北京二六三企业通信有限公司 |
| 地址 | 100013 北京市朝阳区和平里东土城路14号建达大厦17层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供一种文件的去重处理方法和装置。本发明提供的文件的去重处理方法，包括：从上述文件中获取至少两个数据块；根据预设的哈希算法分别计算每个数据块的消息摘要，并根据上述至少两个数据块的消息摘要得到组合消息摘要；根据上述组合消息摘要进行去重比对操作。本发明提供的文件的去重处理方法，可降低组合消息摘要碰撞的概率，进而降低进行全文比对的概率，从而避免因全文比对导致的增加比对的工作量、增加比对的成本的问题。 |
