一种面向工业大数据的数据清洗和事件处理的云平台系统
基本信息
申请号 | CN202010329550.3 | 申请日 | - |
公开(公告)号 | CN113535422A | 公开(公告)日 | 2021-10-22 |
申请公布号 | CN113535422A | 申请公布日 | 2021-10-22 |
分类号 | G06F9/54(2006.01)I;G06F9/50(2006.01)I;G06F16/215(2019.01)I;G06F16/2458(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 卓琳;黄晁;方浩杰 | 申请(专利权)人 | 宁波中科信息技术应用研究院(宁波人工智能产业研究院) |
代理机构 | - | 代理人 | - |
地址 | 315040浙江省宁波市高新区光华路299弄19号C9幢9层 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种面向工业大数据的数据清洗和事件处理的云平台系统,该系统可实现多数据源数据实时采集、数据预处理、重复记录检测和清洗、事件关系建模,从而提高数据质量,为企业优化流程、预防故障、提高生产效益和社会价值提供实时可靠的事件信息。为了实现上述目的,本发明提供一种面向工业大数据的数据清洗和事件处理的云平台系统,该系统包括:多数据源数据采集模块,用于从多个不同数据源系统采集不同格式的非结构化数据,存入消息中间件;数据预处理模块,用于数据格式标准化、规范化,属性拆分、合并,缺失值补全等操作;重复记录检测和清洗模块,用于识别相似重复记录,检测并清洗离群点数据;事件关系建模模块,用于对之前处理的一系列完整和详细的对事件描述的事件集合进行分类和关联,构建出事件关联图。 |
