一种基于MYSQL大数据清洗系统及其写入瓶颈的方法
基本信息
| 申请号 | CN202011050133.1 | 申请日 | - |
| 公开（公告）号 | CN112181965A | 公开（公告）日 | 2021-01-05 |
| 申请公布号 | CN112181965A | 申请公布日 | 2021-01-05 |
| 分类号 | G06F16/215(2019.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 任毅 | 申请（专利权）人 | 成都商通数治科技有限公司 |
| 代理机构 | 成都玖和知识产权代理事务所（普通合伙） | 代理人 | 成都商通数治科技有限公司 |
| 地址 | 610000四川省成都市高新区剑南大道中段1537号2栋1单元15楼1506号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于MYSQL大数据清洗系统及其写入瓶颈的方法，包括：基于MYSQL的Web应用服务器，Web应用服务器通过DispatcherServlet分配为多个一级分布式Kafka数据分片，多个所述一级分布式Kafka数据分片内分配多个分页清洗Job，多个所述分页清洗Job内有进行批量更新与插入的二级分布式Kafka数据分片；其中，DispatcherServlet内有将分散在各个Kafka中的相同数据切割的AOP,将一级分布式Kafka数据分片的数据横向切割到独立的Kafka数据分片中；个分页清洗Job对一级分布式Kafka数据进行批量更新与插入清洗，根据清洗数据的大小分配至分页清洗Job的二级分布式Kafka数据分片中。基于MYSQL的Web应用服务器以分级的形式进行分级优化，并且每个阶级同步进行独立对清洗数据、数据插入的方式进行瓶颈优化，快速的进行完成优化。 |
