一种基于数据分析的分布式数据清洗系统及方法
基本信息
| 申请号 | CN202010709750.1 | 申请日 | - |
| 公开（公告）号 | CN111858572A | 公开（公告）日 | 2021-06-15 |
| 申请公布号 | CN111858572A | 申请公布日 | 2021-06-15 |
| 分类号 | G06F16/215;G06K9/62 | 分类 | 计算；推算；计数; |
| 发明人 | 张伟;徐志峰 | 申请（专利权）人 | 山东省科院易达信息科技有限公司 |
| 代理机构 | 江苏长德知识产权代理有限公司 | 代理人 | 周天雯 |
| 地址 | 250000 山东省济南市中国（山东）自由贸易试验区济南片区新泺大街2008号银荷大厦B座303 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种基于数据分析的分布式数据清洗系统，该基于数据分析的分布式数据清洗系统，包括多元异构数据库，存储用户模型、元数据元素以及与其有对应关系的源数据元素；以及至少一个以上的处理单元，可操作来：提取多元异构数据库的用户模型、元数据元素以及源数据元素；选出初始元数据元素；选择所述用户模型的至少一个以上的数据属性项作为关系参数，所述关系参数对应的预设加权值，提取元数据集Q；对元数据集Q中的所述元数据元素进行清洗；本发明基于用户模型配合关系参数的选定能够筛选多个类别的元数据集，对于各个类别的元数据集可以选定针对的清洗规则，提高清洗速度，具有较高的灵活度和实用性，提高了数据清洗的可控性。 |
