实时数据仓库平台
基本信息
申请号 | CN201710999711.8 | 申请日 | - |
公开(公告)号 | CN107784098A | 公开(公告)日 | 2018-03-09 |
申请公布号 | CN107784098A | 申请公布日 | 2018-03-09 |
分类号 | G06F17/30 | 分类 | 计算;推算;计数; |
发明人 | 阙子扬;赵卫;刘健;周娜 | 申请(专利权)人 | 百味云科技股份有限公司 |
代理机构 | 北京德恒律治知识产权代理有限公司 | 代理人 | 章社杲;卢军峰 |
地址 | 851400 西藏自治区拉萨市柳梧新区香格里拉大道雪域天街1单元3-88号 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种实时数据仓库平台,该实时数据仓库平台包括:业务数据采集系统、日志数据采集系统、分析系统;业务数据采集系统包括candu模块,candu模块对业务数据的变更日志进行同步解析,并将解析后的数据存储至分析系统的kudu存储模块中;日志数据采集系统,用于收集日志数据、对日志数据进行计算,并将计算结果存储至kudu存储模块中;kudu存储模块根据存储的解析后的数据和计算结果进行实时的数据分析。本发明通过candu模块实时收集分布在各个业务系统上的业务数据的变更日志,实现了业务数据的实时同步。 |
