实时数据仓库平台

基本信息

申请号 CN201710999711.8 申请日 -
公开(公告)号 CN107784098A 公开(公告)日 2018-03-09
申请公布号 CN107784098A 申请公布日 2018-03-09
分类号 G06F17/30 分类 计算;推算;计数;
发明人 阙子扬;赵卫;刘健;周娜 申请(专利权)人 百味云科技股份有限公司
代理机构 北京德恒律治知识产权代理有限公司 代理人 章社杲;卢军峰
地址 851400 西藏自治区拉萨市柳梧新区香格里拉大道雪域天街1单元3-88号
法律状态 -

摘要

摘要 本发明公开了一种实时数据仓库平台,该实时数据仓库平台包括:业务数据采集系统、日志数据采集系统、分析系统;业务数据采集系统包括candu模块,candu模块对业务数据的变更日志进行同步解析,并将解析后的数据存储至分析系统的kudu存储模块中;日志数据采集系统,用于收集日志数据、对日志数据进行计算,并将计算结果存储至kudu存储模块中;kudu存储模块根据存储的解析后的数据和计算结果进行实时的数据分析。本发明通过candu模块实时收集分布在各个业务系统上的业务数据的变更日志,实现了业务数据的实时同步。