大数据的订单去重方法和装置
基本信息
| 申请号 | CN202110027862.3 | 申请日 | - |
| 公开（公告）号 | CN113377812A | 公开（公告）日 | 2021-09-10 |
| 申请公布号 | CN113377812A | 申请公布日 | 2021-09-10 |
| 分类号 | G06F16/2455（2019.01）I;G06F16/16（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 唐明;谭吉湘;杨陆;王晓宇 | 申请（专利权）人 | 北京数衍科技有限公司 |
| 代理机构 | 北京超凡宏宇专利代理事务所（特殊普通合伙） | 代理人 | 徐丽 |
| 地址 | 100000北京市朝阳区利泽中二路2号B座五层510室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供了大数据的订单去重方法和装置，应用于服务器，包括：接收客户端发送的订单信息，订单信息包括关键字段、账单文件名和订单数据；根据关键字段判断缓存中是否存在布隆过滤器；如果不存在，则加载布隆过滤器；如果存在，则判断账单文件名是否存在于布隆过滤器中；如果不存在，则将订单数据存储到数据库和缓存中，并且将账单文件名添加到布隆过滤器中；如果存在，则通过缓存和数据库对账单文件名进行确认，得到确认结果；其中，关键字段包括硬件标识和销售时间，可以通过布隆过滤器减少内存占用，并且达到高效的去重数据的目的。 |
