首页/ 北京云宽志业网络技术有限公司/ 专利详情

数据去重处理方法、装置、设备及存储介质

基本信息

申请号 CN202011439014.5 申请日 -
公开（公告）号 CN112559452B 公开（公告）日 2021-12-17
申请公布号 CN112559452B 申请公布日 2021-12-17
分类号 G06F16/13（2019.01）I;G06F16/16（2019.01）I;G06F16/174（2019.01）I 分类 计算；推算；计数;
发明人 高华龙 申请（专利权）人 北京云宽志业网络技术有限公司
代理机构 北京市铸成律师事务所 代理人 邓海鸿;杨瑾瑾
地址 100195北京市海淀区东冉北街9号宝蓝金园国际中心B段三层3009号
法律状态 -

摘要

摘要 本申请提出一种数据去重处理方法、装置、设备及存储介质，通过目标数据块的目标哈希值，确定该目标哈希值的历史出现次数是否大于或等于预设次数，在该目标数据块的目标哈希值的历史出现次数大于或等于预设次数的情况下，确定该目标数据块为重复数据块，并向预设设备反馈该目标数据块在存储系统中的实际存储位置。在对目标数据块进行检索的过程中，参考了该目标数据块的目标哈希值的历史出现次数来确定该目标数据块是否为重复数据块。而记录目标哈希值的历史出现次数所需的存储空间较小，从而提高了目标数据块的检索效率，促进了去重技术在超大规模存储中的应用。