一种数据加载清洗引擎、调度与存储系统

基本信息

申请号 CN201610524292.8 申请日 -
公开(公告)号 CN106202346B 公开(公告)日 2019-11-01
申请公布号 CN106202346B 申请公布日 2019-11-01
分类号 G06F16/25(2019.01)I 分类 计算;推算;计数;
发明人 孙永剑; 郑书礼; 裘鑫芳; 董磊 申请(专利权)人 广东省信息网络有限公司
代理机构 新余市渝星知识产权代理事务所(普通合伙) 代理人 何国强
地址 510030 广东省广州市越秀区东风中路305号9号楼第2、5楼
法律状态 -

摘要

摘要 本发明公开了一种数据加载清洗引擎、调度与存储系统,包括数据源、数据仓库和用户展现模块,数据仓库连接有ETL管理模块,ETL管理模块包括ETL调度模块、ETL监控模块、数据质量模块和ETL任务模块,数据仓库包括接口文件区、细节数据暂存区SSA、细节数据SOR、数据集市、数据总结模块、反馈模块和元数据存储MDR。本发明具有实用性强,数据管理便捷,灵活性高,易于推广,高效能数据处理,大吞吐量,能够应对添加更多的数据源,支持更多分析需求的优点。