一种互联网大数据清洗方法
基本信息
| 申请号 | CN201910767145.7 | 申请日 | - |
| 公开（公告）号 | CN110737647A | 公开（公告）日 | 2020-01-31 |
| 申请公布号 | CN110737647A | 申请公布日 | 2020-01-31 |
| 分类号 | G06F16/215（2019.01）; G06F16/27（2019.01）; G06F16/951（2019.01）; G06F16/9536（2019.01）; G06F21/62（2013.01）; G06K9/62（2006.01） | 分类 | 计算；推算；计数; |
| 发明人 | 刘磊; 张洪 | 申请（专利权）人 | 广州宏数科技有限公司 |
| 代理机构 | 广州市红荔专利代理有限公司 | 代理人 | 广州宏数科技有限公司 |
| 地址 | 510640 广东省广州市番禺区沙头街禺山西路329号海伦堡创意园1座2栋809 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及数据清洗技术领域，涉及一种互联网大数据清洗方法，具体步骤如下：S1、利用数据采集模块提取出所需数据；S2、利用爬虫同步模块把oss中的文件同步下来；S3、利用数据清洗模块将处理后的数据打包插入KAFKA模块的kafaka队列中；S4、利用KAFKA模块，运用选举算法将数据合理分配到服务器队列中，通过网络传输数据库模块中；S5、利用数据库模块监测KAFKA模块传输过来的数据，并利用filer‑chainshain扩展监控统计。本发明通过数据清洗模块有效地将数据重新分类整合清洗至各个规范化数据库模块中，提高了数据清洗的准确度，解决了现有技术大数据因数据丢失而造成筛选清洗效率低下的缺陷，达到快速准确筛选清洗数据的目的。 |
