数据去重方法、装置、计算机设备和计算机可读存储介质
基本信息
| 申请号 | CN202011437631.1 | 申请日 | - |
| 公开（公告）号 | CN112597138A | 公开（公告）日 | 2021-04-02 |
| 申请公布号 | CN112597138A | 申请公布日 | 2021-04-02 |
| 分类号 | G06F16/215(2019.01)I;G06F11/30(2006.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 王秀双;马旭东;赵玉红;李良敏;赵春波 | 申请（专利权）人 | 浙江岩华文化科技有限公司 |
| 代理机构 | 杭州华进联浙知识产权代理有限公司 | 代理人 | 范丽霞 |
| 地址 | 313200浙江省湖州市德清县舞阳街道塔山街901号1幢101室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请涉及一种数据去重方法、装置、计算机设备和计算机可读存储介质，其中，该数据去重方法包括：获取预处理后的日志数据，日志数据携带有去重标识；去重标识基于预设压缩规则以及预设时间戳提取规则对日志数据进行预处理得到；预设压缩规则至少包括哈希算法；解析日志数据，并提取日志数据对应的去重标识；判断去重标识是否存储在数据库中；若去重标识存储在数据库中，则基于去重标识清除获取到的日志数据，或者，基于去重标识清除所述数据库中的日志数据。通过本申请，解决了相关技术中去重效率低的问题。 |
