基于数据分析的分布式数据清洗系统及方法
基本信息
| 申请号 | CN201710103779.3 | 申请日 | - |
| 公开（公告）号 | CN106933992B | 公开（公告）日 | 2018-02-06 |
| 申请公布号 | CN106933992B | 申请公布日 | 2018-02-06 |
| 分类号 | G06F17/30 | 分类 | 计算；推算；计数; |
| 发明人 | 刘星;张春宏;侯鑫;潘庆东;阳忠平;杨晓斌 | 申请（专利权）人 | 北京华安普惠高新技术有限公司 |
| 代理机构 | 北京五洲洋和知识产权代理事务所（普通合伙） | 代理人 | 刘春成 |
| 地址 | 100070 北京市丰台区汽车博物馆东路1号院1号楼8层南座905室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明属于数据处理技术领域，提供了一种基于数据分析的分布式数据清洗系统及方法。该系统包括：传感器网络，包括多个传感器；数据采集节点，包括数据清洗引擎和数据清洗规则库；数据服务器，包括数据库、数据有效性分析模块、数据清洗规则生成模块和数据清洗规则发布模块。该方法包括：通过传感器网络中的多个传感器采集第一数据；在数据采集节点中根据第一数据生成第二数据；在数据服务器中，根据第二数据，利用数据库、数据有效性分析模块、数据清洗规则生成模块和数据清洗规则发布模块完成数据清洗。本发明的系统和方法能够自适应地调整数据清洗规则，提高分布式传感器网络部署的效率，并及时消除新产生的干扰对采集系统的影响。 |
