一种海量数据平台与大数据平台融合方法

基本信息

申请号 CN201810496314.3 申请日 -
公开(公告)号 CN108959369B 公开(公告)日 2021-11-30
申请公布号 CN108959369B 申请公布日 2021-11-30
分类号 G06F16/2455(2019.01)I;G06F16/25(2019.01)I;G06F16/22(2019.01)I;G06Q50/06(2012.01)I 分类 计算;推算;计数;
发明人 韩嘉佳;犹锋;周升;张晓晓;倪阳旦;张珂珩;孙歆;张高坤;李景;李贤慧;戴桦;李沁园;汪自翔;吕磅;李霁远;王刘旺 申请(专利权)人 江苏瑞中数据股份有限公司
代理机构 南京苏高专利商标事务所(普通合伙) 代理人 张弛
地址 310000浙江省杭州市华电弄1号
法律状态 -

摘要

摘要 本发明公开了一种海量数据平台与大数据平台融合方法,该平台包括数据采集层、数据缓存层和数据存储层;该融合方法包括:数据采集层采用分布式消息队列Kafka机制,实现测点数据传输;数据缓存层采用REDIS键值型内存数据库,实现用户即席查询需求;数据存储层采用HBASE列式存储,结合测点数据时序特征,对测点数据特征进行列式存储,本发明提出的海量数据平台与大数据平台融合方法,实现了海量平台与大数据平台最佳融合,通过统一技术路线、统一技术支持、明确职责分工,实现大数据应用服务平台化,全面支撑各专业大数据应用需求,解决公司各专业的大数据应用需求,保障数据和业务的连续性。