海量数据的清洗方法及装置
基本信息
| 申请号 | CN201910572435.6 | 申请日 | - |
| 公开（公告）号 | CN110334081A | 公开（公告）日 | 2019-10-15 |
| 申请公布号 | CN110334081A | 申请公布日 | 2019-10-15 |
| 分类号 | G06F16/21;G06F16/215 | 分类 | 计算；推算；计数; |
| 发明人 | 张鹏程;柳超 | 申请（专利权）人 | 北京天眼查科技有限公司 |
| 代理机构 | 北京清亦华知识产权代理事务所（普通合伙） | 代理人 | 北京天眼查科技有限公司 |
| 地址 | 100086 北京市海淀区知春路65号院1号楼B座19层1901 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提出一种海量数据的清洗方法及装置，其中方法应用于消息消费者，包括：向预设的中间件发送消息获取请求；中间件用于从数据中心批量获取待清洗消息，并进行存储；接收中间件返回的待清洗消息；对待清洗消息进行清洗处理，得到清洗后消息；根据清洗后消息的标识，将清洗后消息存储至对应的数据库中，从而能够从数据中心批量拉取待清洗消息，缩短总的拉取时间，且拉取和清洗可以并行处理，从而缩短清洗时间，提高清洗效率，确保数据中心的数据无法得到及时清洗。进而提供数据时，提供清洗后数据，提高用户体验。 |
