一种基于python脚本的分布式大数据清洗方法专利查询专利号|摘要-满商公司网

一种基于python脚本的分布式大数据清洗方法

基本信息

申请号	CN202010938368.8	申请日	-
公开（公告）号	CN112115127A	公开（公告）日	2020-12-22
申请公布号	CN112115127A	申请公布日	2020-12-22
分类号	G06F16/215(2019.01)I	分类	计算；推算；计数;
发明人	鲁红军	申请（专利权）人	云基华海信息技术股份有限公司
代理机构	北京市浩东律师事务所	代理人	李雁
地址	710000陕西省西安市高新区高新三路2号海佳云顶商住楼10603室
法律状态	-

摘要

本发明公开了一种基于python脚本的分布式大数据清洗方法，该方法包括如下步骤，首先对待清洗的数据的加载，再对加载后的待清洗的数据进行分片操作，对待清洗的数据进行分布式调度以及执行操作，对待清洗的数据进行请求以及对清洗结果进行回填，其中，步骤一具体分为如下步骤，数据加载，首先从HBase列存数据库加载所需要进行清洗的数据，制定清洗策略，设置数据清洗策略。本发明基于大数据技术，基于HBase列存储数据库做数据清洗，解决了海量数据清洗问题，采用python引擎及脚本做数据清洗，解决了传统SQL清洗规则少的问题和jar包清洗静态编码的问题，基于Spark的分布式计算引擎，并行执行脚本，解决了大数据清洗算力不足的问题。